建隆元年（公元960年）趙匡胤利用陳橋兵變，建立大宋當上皇帝。年末，昭義軍李筠義軍節度使及淮南節度使李重進，先後舉旗反叛。宋太祖趙匡胤領軍，經過一番波折終於平定後。有一天召集自己的心腹謀士，宰相趙普問道「在唐朝滅亡以後這短短的幾十年的時間裡，朝代頻更迭繁，戰爭沒完沒了，百姓苦不堪言，這是什麼原因造成的呢？我現在想平息天下戰亂，建立長治久安的國家，讓百姓得以休養生息，有什麼好辦法嗎。」趙普不愧是宋太祖手下謀士之首，對這些問題早就有謀劃。當即說道：「唐朝的滅亡的根源是各地藩鎮節度使的權力太大，導致中央君主弱地方藩鎮強，自然就會產生各種叛亂。要杜絕這種現象沒有別的辦法，只有控制地方錢糧收入，把取消地方控制軍隊的權利，做到這些天下自然就太平。」聽到這裡趙匡胤連說：「明白啦，我們想到一起了。」
但是當時手握重兵的石守信、王審琦等將領都是趙匡胤舊時的親信朋友、好兄弟。石守信等還是太祖義社十兄弟之一，十分親近。所以剛開始準備消除兵權的時候，趙匡胤並不準備先剝奪他們帶兵的權利。趙普看在眼裡後，覺的首先消除這些禁軍大將的軍權，皇帝親自掌握強大的禁軍後，地方節度使的軍權才能順利消奪。所以對趙匡胤說：「我也不擔心他們會背叛你，但是他們的部下要貪圖富貴，也給他們也一樣披上黃袍後起兵，他們也顧不得忠心於您啦」。趙匡胤聽到這話感覺心裡一緊，終於下決心先解決心腹大將的軍權。
北宋建隆二年（961年）七月的一天晚上趙匡胤特地把石守信等親信禁軍大將留在皇宮喝酒，乘著中途大家酒興正濃的時候，趙匡胤長嘆一口氣說：「我在你們大家擁戴下做了皇帝，心裡啊非常感謝大家。可是當上這個皇帝後才發現，做這個皇帝還沒有做節度使的時候快樂。不瞞大家說我當皇帝這一年多下來，我每天晚上都不敢安枕高臥啊。」石守信等大將們詫異的說：「陛下為什麼會說出這樣的話呢，現在大局已定，誰敢對陛下三心二意，我們首先不放過他啊！」
太祖趙匡胤說：「你們想的太簡單啦，我肯定相信你們肯定是沒有異心的，但是有一天你們的部下也把黃袍披在你們身上的時候，即使你們自己不願意也不行把。」眾將聽到這話馬上明白了，這時皇帝在敲打他們，如果這時候應對不好，很容易招致滅族之禍！大家連忙說：「皇上明鑑，我們這些武將都是些粗人，想不到這些彎彎繞繞，還請皇上給我們指條明路。」趙匡胤緩緩說道：「人生在世，時光過得和白駒過隙一樣快，人生在世時不外乎享受榮華富貴。再給子孫後代積累一些莊園地產，以免他們受到凍餓之苦。你們現在不如放棄兵權，到地方做一個清閒的官，多置辦些田產莊園，給子孫也留下了基業，自己也能快樂安享晚年。我們君臣之間也沒有猜疑。這樣的話大家心裡都能安定，這豈不是一件美事。」聽到這裡大家馬上明白趙匡胤說話的用意，連忙說：「陛下已經為我們想得很周到啦，我們一切憑陛下做主。」
果然，第二天早上早朝石守信等一班禁軍大將一齊上書。說自己已經年老多病，希望能辭去軍職，回家養病。趙匡胤看見大喜，馬上按照他們的要求同意了，同時還獎賞他們大量的土地和錢財。而且還安排了他們當上不用去上班，而又能拿豐厚俸祿的閒職，讓他們過上只拿俸祿不用上班的愜意生活。同時在謀士趙普的提醒下，還用結成親家的方式安撫石守信等心腹故友。
趙匡胤當初想讓弟弟趙光義的嶽父符彥卿統領禁軍，但是這個想的遭到趙普的強烈反對：「符彥卿的名位已經十分高，不再適合掌握軍權否則後果非常嚴重」。趙匡胤不以為然道：「我對符彥卿已經做到問心無愧，符彥卿沒有造反的理由。」趙普緊跟著說了一句讓趙匡胤半天沒有做聲的話：「那麼當初周世宗也做得那麼問心無愧，您怎麼就能辜負他呢？」趙匡胤於打消讓親近大將獨掌握禁軍的想法，下令將禁軍分成三部分，分別由殿前都指揮使司、侍衛馬軍都指揮使司和侍衛步軍都指揮使司，簡稱「三衙」的部門共同統領禁軍。
北宋開寶二年（969年)趙匡胤把當時地方上的手握軍權的節度使，都召集到御花園喝酒。又對他們說這麼一番釋兵權的話。當時北宋中央政府不但掌握強大禁軍，還控制地方政府的財政賦稅。地方節度使再沒有和中央政府對抗的能力了，於是紛紛上表辭官，趙匡胤就這樣完全收回了地方節度使的軍權。同時趙匡胤改革政府制度，挑選各地精兵編練成禁軍由皇帝本人親自控制，各地行政官員必須由中央政府下派。這些制度的實施很快結束地方藩鎮軍事割據的局面，隨後大宋開始統一全國的戰爭。