蔡襄在北宋時代也算是個名臣了，歷經宋仁宗、宋英宗兩代皇帝，先後任館閣校勘、知諫院、直史館、知制誥、龍圖閣直學士、樞密院直學士、翰林學士等職，慶曆年間曾參與範仲淹主持的慶曆新政。從嘉祐六年（1061年）起，宋仁宗讓蔡襄暫代三司使，主管朝廷財政。宋英宗繼位後，將蔡襄扶正，正式任命他為三司使。
不過，宋英宗對蔡襄似乎很有意見。一次，蔡襄請假不上班，宋英宗生氣了，說：「三司掌管財政，事務繁多，蔡襄十天就請了四五天假，還不如讓別人當三司使。」宋英宗這話講得很重，言下之意是說要把蔡襄撤掉之意，以此試探當時任宰相的韓琦和歐陽修，韓琦和歐陽修趕忙為蔡襄辯解，歐陽修說：「蔡襄的母親80多歲了，經常生病，起居需要照顧，蔡襄只是請早假，晚些會來的，不會耽誤事。」
歐陽修《文忠集》卷一一九：一日，因其請朝假，上變色謂中書曰：「三司掌天下錢穀，事務繁多，而襄十日之中，在假者四五，何不別用人？」韓公已下共奏曰：「三司事無闕失，罷之無名。今更求一人材識名望過襄者，亦未有。」修奏曰：「襄母年八十餘，多病。況其只是請朝假，不趁起居耳，日高后便卻入省，亦不廢事。」
韓琦、歐陽修兩人與蔡襄本是舊識，有一定的交情，替蔡襄說話是理所應當的。可惜，宋英宗並不相信韓琦和歐陽修的話，而是仍然很生氣，這才是奇怪的地方。為什麼說這很奇怪呢？正如宋英宗所說，蔡襄在十天的時間裡有四五天是請假了。在現代的企業中，如果有這種員工，老闆一定會開除。但宋朝是非常講究孝道的，蔡襄請假的理由是母親病了，要照顧母親。宋英宗作為皇帝，理應倡議孝道，他不可能會因此怪罪蔡襄，反倒要給蔡襄開綠燈，讓蔡襄休長假，好好照顧母親。況且，宋英宗本人也是非常講究孝道的，從後來的濮議之爭就可以看出這點。但實際的情況是宋英宗並沒有聽了韓琦和歐陽修的辯解就放過蔡襄，而是在事後仍然三番兩次地找蔡襄的麻煩，顯然宋英宗有故意針對蔡襄之意。
宋英宗和御史傅堯俞的談話也說明這一點。宋英宗曾問傅堯俞：「你怎麼不彈劾蔡襄？」傅堯俞回答：「如果蔡襄有罪，官家為什麼不按照法律予以處置，又何必要臣下彈劾呢？」宋英宗又說：「想讓你彈劾，我再用公議處置他。」傅堯俞回答：「如果交付眾臣來評判，臣下只看到蔡襄營造皇陵有大功，卻沒看到他有罪。臣下是諫官，不能按照皇上的旨意進諫言事。」宋英宗的意圖昭然若揭，就是想指使傅堯俞彈劾蔡襄，好讓他有理由治蔡襄的罪。傅堯俞是名御史，為人正直，認為蔡襄無罪，不願意按照宋英宗的旨意構陷蔡襄。
《宋史·傅堯俞傳》：嘗因論事，英宗日：「卿何不言蔡襄？」對曰：「若襄有罪，陛下何不自正典刑，安用臣言？」英宗曰：「欲使臺諫言，以公議出之。」對日：「若付之公議，臣但見襄辦山陵事有功，不見其罪。臣身為諫官：使臣受旨言事，臣不敢。」
從這兩件事可以看出，宋英宗對蔡襄充滿恨意，總想找理由撤掉蔡襄，甚至治蔡襄的罪。只是蔡襄為官清廉，也沒什麼把柄落在宋英宗手中。治平二年（1065年），蔡襄感受到宋英宗對他的不滿，自求外放，被貶出京城，改任杭州知州。
據相關史料記載，宋英宗對蔡襄如此耿耿於懷是因為此前曾聽到有謠言：宋英宗繼位之前，蔡襄對宋英宗被立為太子有異議。也就是說，蔡襄不支持宋仁宗將宋英宗冊封為太子，如今宋英宗繼位，難免會對蔡襄不滿。不過，韓琦、歐陽修、曾公亮三大宰相都出面針對此謠言對宋英宗做了解釋，說沒有任何文字資料等證據說明蔡襄對宋英宗繼位的異議，希望宋英宗不要相信謠言。宋英宗當時就說：「如果我相信謠言，蔡襄哪還有命在？」宋英宗嘴上說自己不相信謠言，實際上他是相信謠言的。
歐陽修《文忠集》卷一一九·奏事錄：蔡侍郎襄，自給事中、三司使，除禮部侍郎、端明殿學士、知杭州。初，上入為皇子，中外相慶，知大計已定矣。既而稍稍傳雲有異議者，指蔡公為一人。及上即位，始親政，每語及三司事，便有忿然不樂之色。蔡公終以此疑懼，請出。既有除命，韓、曾二公因為上言：「蔡襄事出於流言，難以必信。前世人主以疑似之嫌害及忠良者，可以為鑑也。」臣修亦啟曰：「或聞蔡襄文字尚在禁中，陛下曾親見之乎？」上曰：「文字即不曾見，無則不可知其必無。」臣修奏曰：「若無文字，則事未可知。就使陛下曾見文字，猶須更辨真偽。往時夏竦欲陷富弼，乃先令婢子學石介書字，歲餘學成，乃偽作介與弼書，謀廢立事。書未及上，為言者廉知而發之。賴仁宗聖明，弼得免禍。至如臣，自丁母憂服闋，初還朝時，有嫉臣者乃偽撰臣一札子，言乞沙汰內官，欲以激怒群閹。是時家家有本，中外喧傳。亦賴仁宗保全，得至今日。由是而言，陛下曾見文字，猶須更辨真偽，何況止是傳聞疑似之言，何可為信？」上曰：「官家若信傳聞，蔡襄豈有此命？」
為什麼宋英宗對自己手下這三個大臣都不相信，卻相信謠言呢？我認為原因是謠言未必就是空穴來風。韓琦、歐陽修、曾公亮三大宰相都以沒有文字資料等證明蔡襄對宋英宗繼位有異議，卻忽視的一點是，可能同樣沒有文字記錄等證據表明蔡襄支持宋英宗繼位。宋英宗想了解這一點是非常容易的事情，他只需要查看蔡襄的上書或相關的工作紀要即可。
宋仁宗從至和年間開始就屢屢生病，引起朝臣的擔心。到了嘉祐年間，宋仁宗仍然無子，朝中群臣更是憂心忡忡，紛紛上疏書或當面勸諫宋仁宗立儲。朝臣因避忌諱，當然不會明確要求立宋英宗為太子，但宋仁宗只有宋英宗這麼一個養子，宋英宗是唯一的皇位繼承人。群臣上諫立儲最多的時間有兩個時間段：一個是至和三年（1056年）正月之後，當時宋仁宗大病一場；另一個是嘉祐三年（1058年）前後，宋仁宗當時以後宮董淑妃有身孕為由拒絕，但董淑妃於嘉祐四年（1059年）生下了一個女兒。
從蔡襄的為官經歷來看，蔡襄於至和三年二月到嘉祐五年秋應該不在京城為官，而是在泉州任知州，蔡襄正好錯過了這兩次勸諫立儲的最佳時間。蔡襄於嘉祐六年（1061年），被授為翰林學士、權理三司使，回到京城，宋英宗是在嘉祐七年（1062年）八月被立為太子。顯然在回京後到宋仁宗繼位前的這段時間，蔡襄也並沒有對宋英宗表示支持。
宋英宗為人比較注重感情，如果蔡襄確實支持宋英宗繼位的話，宋英宗不可能會故意針對蔡襄。宋英宗曾對名臣文彥博說過：「朕被立為太子，都是你的功勞。」實際上嘉祐三年（1058年）前後到宋英宗被立為太子這段時間，文彥博根本就不在京城。而在至和三年（1056年）時，宋仁宗大病之後，身為宰相的文彥博和富弼就曾建議宋仁宗立儲，後文彥博被外放出京。文彥博這個建言，宋英宗在8年之後還記得，當他向文彥博說起此事時，心中顯然是充滿感激之情的。
可見，蔡襄對宋英宗被立為太子、並繼承皇位之事並沒有明確支持，宋英宗自己應該是了解這一點的。本來宋英宗也並非小心眼之人，不會計較此事，但謠言隨風飄來，這讓宋英宗心中不得不懷疑：原來蔡襄對他繼位有意見。於是，宋英宗就給蔡襄小鞋穿了。蔡襄其實只是在需要站隊的時候沒有及時站隊而已