公元前195年，呂后問病重的劉邦：「陛下百年之後，蕭相國也活不了幾年了，那誰能替代蕭何的位置呢？」劉邦說：「曹參可以。」
劉邦在臨終之際，將大漢的相國都安排好了，蕭何之後是曹參，曹參之後可用的是王陵和陳平，再然後就是周勃。為什麼劉邦將曹參定為蕭何的替代者呢？蕭何和曹參在秦朝時期就是上下級關係，蕭何是主吏，曹參是獄掾，兩人都與劉邦交好，後來就成了劉邦的左膀右臂，曹參為將，蕭何圍相，共同輔佐劉邦。
等到漢朝建立之後，劉邦論功行賞，在這個時候產生了一個分歧，群臣認為曹參戰功赫赫，功勞最多，應該排第一位，但劉邦私心裡決定蕭何當排第一，後來有人提出蕭何當為第一。劉邦也就順水推舟將蕭何定為第一，而曹參為第二。
也就是說西漢的開國功臣中，蕭何和曹參是排在在前面的，只不過一文一武，曹參更多的是在武上立功居多。只不過這個排名讓這對昔日的上下級兼好友之間有了嫌隙，後來在相處過程中不怎麼對付，只不過兩人從此之後也沒有什麼接觸。
因為蕭何繼續為大漢的相國，而曹參被劉邦指派給齊王劉肥為相國，輔佐劉肥。曹參在齊國的主要功績也集中在戰場上，而在治理齊國這一塊上，曹參自知水平有限，遂將齊國國內的長者和讀書人都找來，詢問他們治理齊國的方法，只不過眾說紛紜，曹參一時也不知道該聽從誰的。
後來他聽說膠西有一位擅長黃老學說的蓋公，遂重金將他請來，詢問良方，蓋公認為「治道貴清靜而民自定。」也就是採用清靜無為的治理方法，曹參覺得很有道理，就將自己辦公的正堂讓出來給蓋公住，接下來的九年時間裡，曹參就以蓋公的說法來治理齊國，齊國安定，曹參也收穫了賢相的稱呼。
從曹參在齊國為相的經歷，可以大致看出曹參這個人的行政策略，即採用清靜無為的治理方案，讓百姓自行安定，而不折騰百姓。為此，曹參胸懷寬廣，善用人才，只要是好的方法，他就願意去用，而不會剛愎自用，所以用很少的氣力就贏得了讚譽，這一點在他後來為大漢的相國的時候體現得淋漓至今。
公元前193年，大漢相國蕭何去世，遠在齊國的曹參知道後趕緊讓那個舍人收拾行李，說：「吾將入相。」而事實也確實如此，因為蕭何在臨終之際和漢惠帝劉盈有過一番交談。漢惠帝詢問蕭何百年之後，誰能勝任相國這一職位，蕭何就推薦了曹參。所以，蕭何去世之後，漢惠帝就派人到齊國迎接曹參入朝為相。
曹參成為大漢的第二位相國之後，雷厲風行的做了一件事，即從郡縣和諸侯國中找一些少說多做的厚道人來做丞相的屬官，然後將丞相屬官中那些多說少做追求聲譽的人給辭退了。這本來給很多人釋放了一個信號，即曹參可能會在相國任上大幹一番，但後來讓很多人失望了，曹參「舉事無所變更，一遵蕭何約束。」
也就是說，曹參啥都沒有做，所有的一切遵循的都是蕭何制定下來的制度，也就是說，大家按照蕭何在世的時候行事，而曹參並不插手具體的事物，明面上成了一個無所事事的相國。而且，相府中有人犯了小過錯，曹參並不追究，反而會遮掩過去。
有意思的是，曹參雖然在相國任上沒做什麼，但在生活中卻因為一事出了名，即喜歡喝酒。曹參自從做了大漢的相國之後，就喜歡上了喝酒，他這喝酒倒也不是本身喜歡喝酒，而是想讓人閉嘴。
因為他在政事上的無所事事，讓很多官員對他有了意見，所以就有很多人去勸說曹參，曹參並不喜歡對這些官員一一解釋自己的行為，遂學會了一招，即灌酒，每次有官員去勸說曹參，都被曹參拉著喝酒，酒席上，曹參總是一個勁的勸酒，根本不給人說明來意的機會，直到灌醉離開。
時間長了，曹參的下屬和舍人也都喜歡上了喝酒，當有人站出來希望曹參能約束一下這些人的時候，曹參反而自動加入到宴飲中，與下屬和舍人一同飲酒作樂。
這樣一弄，大家也都知道，沒有人能勸說的了曹參，而漢惠帝劉盈也對曹參的行為很是看不慣，覺得曹參是看不起他這個小皇帝。但曹參畢竟是開國功臣，是相國，劉盈也不能直接就指責曹參不理政事，只能找了個機會讓曹參的兒子曹窋試探一二。
劉盈對曹窋說：「若歸，試私從容問而父曰：『高帝新棄群臣，帝富於春秋，君為相，日飲，無所請事，何以憂天下乎？』然無言吾告若也。」
曹窋休沐的時候回到家中，找了個機會隱晦的提到了這件事，想規勸曹參。曹參聽了之後很是生氣，直接命人打了兒子二百板子，並說：「你的任務就是進宮服侍皇上，這些國家大事不是你應該說的。」
這件事自然很快就傳到了劉盈的耳中，等到上朝的時候，劉盈就問曹參為什麼要懲治曹窋，曹參知道自己必須為自己的行為說點什麼了，他脫下帽子謝罪說：「請陛下想一想，在英明聖武方面，您和高祖誰強呢？」
劉盈幾乎沒有思考就回到：「朕怎麼敢和先帝相比呢。」
曹參繼續問道：「那陛下認為，臣和蕭何，誰更賢能呢？」
劉盈思考了一會，說：「君似乎比不上蕭何。」
曹參這個時候又說：「陛下言之是也。且高帝與蕭何定天下，法令既明，今陛下垂拱，參等守職，遵而勿失，不亦可乎？」
蕭何曾為秦朝的主吏，對秦朝的規章制度很是熟悉，等到漢朝建立之後，蕭何制定了大漢律例，讓漢朝百姓安居樂業，其制定的律法已經很完善，後人只需要執行即可，完全沒有必要進行更改，那樣只會折騰百姓。
很多法度最忌諱朝令夕改，不能因為蕭何已經去世，其繼任者就要按照自己的意志更改蕭何定下的一切。反而應該遵循蕭何制定的法規來治理大漢，這正是曹參不理政事反而喜好喝酒的原因，為的就是延續蕭何制定下來的法度。
聽完曹參的解釋，劉盈也就不再計較了，由著曹參行事，這就是著名的蕭規曹隨的故事。曹參做了大漢三年的相國，去世之後，百姓歌頌曹參的事跡，說：「蕭何為法，顜若畫一；曹參代之，守而勿失。載其清淨，民以寧一。」
曹參的聰明之處正是有所為有所不為，堅持清靜無為，讓經歷了秦末戰亂的百姓能夠安居樂業，因此在政事上無所事事反而成為大功臣，蕭規曹隨的故事也千古傳誦。