朱元璋建國之後，手下的功臣們分為淮西集團和浙東集團兩大集團，他們為了爭權奪利，進行了你死我活的大爭鬥，結果落得個兩敗俱傷的場景。對此，朱元璋沒有直冷眼觀旁，而是馬上從「標本兼治」上入手，撤銷了權力爭取的中心點——丞相這個職務，同時成立了一個新組織——-錦衣衛。
錦衣衛的前身其實是「拱衛司」。到了洪武二年時（公元1369年），「拱衛司」有了一個新的名字——親軍都尉府，有了自己的掛靠機構——儀鑾司（負責皇帝儀仗的）。洪武十五年（公元1382年），朱元璋在親軍都尉府的基礎上，改成了錦衣衛這個令天下人聞風喪膽的恐怖組織。
朱元璋成立錦衣衛主要有兩個原因：一方面是為了打壓和消滅功臣。另一方面是擔心自己死後，下一代皇帝駕馭不了文武功臣。
錦衣衛擁有秘密調查和刺探情報的權力，相當於皇帝的大內偵探。他們平日或明或暗地監視著大臣們，稍有風吹草動便在第一時間報告給皇帝，正如南鎮撫司《明史·職官志》所說：「盜賊奸宄，街塗溝洫，密緝而時省之」。
另一方面錦衣衛擁有是緝捕、刑獄的權力，相當於皇帝的私人警察。錦衣衛後來還成立了南洋負責偵緝刑事的機構——鎮撫司，專理皇帝欽定的案件，擁有自己的監獄（詔獄），可以自行逮捕、刑訊、處決，不必經過一般司法機構，主宰著生殺大權。
錦衣衛因為其特殊性，很快成為炙手可熱的香悖悖，就如我們現在的公務員一樣，儘管門檻高，但每年參考大軍還是排山倒海。同樣的道理，錦衣衛入選的資格當然也是相當嚴格，大致有以下三點：
一是出身好。出身貧富倒是沒有很大關係，但要求家庭政治背景沒有不良記錄，都屬於良民。
二是身材好。要求長的牛高馬大、虎背熊腰、孔武有力、威嚴之極。同時說話還要中氣十足、聲音洪亮。
三是本領好。要有高強的本領，十八般武藝精通者優先，能草上飛、水裡漂、飛簷走壁的更為優先。
現在一提到「錦衣衛」三字，很多人腦子裡會立即映出流行影視作品中塑造的錦衣衛官員標準形象：身著飛魚服，腰佩繡春刀，飛簷走壁，武藝高強。
「飛魚」就是尾巴像魚尾的四爪龍，主要是以大紅為底色，以雲緞、閃緞、雲絹、紗、羅等為底料，採用織金、妝花等複雜工藝，胸前為龍頭和龍爪，龍身繞過肩膀，龍尾甩到身後。當然飛魚服不是每個錦衣衛都有資格穿的，而是要有一定品級，大抵是屬於錦衣衛大小頭領才允許穿著飛魚服。
「繡春刀」如今並沒有確鑿的實物傳世，但據史學家考證，認為繡春刀刀鞘上面有鞘裙，裙底織有排穗，刀身比一般的腰刀要短小些，刀的全身有弧度，便於拔出和守刀。
錦衣衛從事著保衛皇帝、暗護忠良、刺探倭寇、保國衛民等神聖而又高端大氣上檔次的工作，堪比古代的007。錦衣衛擁有自己的詔獄——錦衣獄。被捕者一旦走進詔獄大門，十分之九便無生還之理。錦衣衛執行偵察和緝拿等任務的部隊則稱為緹騎。緹騎的數量，最少時為1000，最多時多達6萬之眾。
《明史·刑法志》記載：「胡惟庸、藍玉兩案，株連且四萬。」足見其酷烈程度。作俑之始，就是皇帝心術不正的產物，所以其後遺症也特別嚴重。
洪武二十年（1387年），朱元璋下令焚毀錦衣衛刑具，所押囚犯轉交刑部審理；同時下令內外獄全部歸三法司審理，將錦衣衛廢除。
但是明成祖朱棣奪得皇位後，為了鞏固統治，又恢復錦衣衛。明初兩代皇帝重用錦衣衛，後來又有了東廠、西廠、外行廠，直到明朝末年，四大恐怖組織才解散，從此徹底消失。