公元前312年，孟子辭去客卿的職位，準備帶著弟子們回到家鄉，安心做個「得天下英才而教育之」的老師。齊宣王到孟子家裡挽留，希望他能留下來，為齊國人做個榜樣，但孟子去意已決。齊宣王託人告訴孟子，他會給孟子一套大房子，每年一萬石的俸祿，來養活他和弟子們。孟子說，我辭去十萬石的俸祿，接受這一萬石的俸祿，你以為我是貪財嗎？以孟子的俸祿，在今天可是千萬富翁的水平，但孟子追求的不是財富，而是天下太平；追求的不是鐘鳴鼎食，而是天下的道義，是把仁政推廣到各諸侯國，以平治天下。這就是一個偉人的境界，他們可以「生無一錐土，而存四海心」。
孟子說，「天下有道，以道殉身；天下無道，以身殉道。未聞以道殉乎人者也」。「天下有道，自己被重用，道也隨己得以推行；天下無道，自己不被重用，則以身守道。沒聽說用道來屈從於世俗的人和社會」。這種以身殉道的精神來自於孔子。孔子說，「邦有道則見，無道則隱」，一個國家政治符合大道的時候，就出來做官，不符合大道的時候，就隱居起來。但孟子比孔子更加激進和堅強，他其實並不想學道家那樣，隱居起來獨善其身，他有更高的追求，這種追求，值得他付出生命。就像孔子說的，「志士仁人，無求生以害人，有捨生而求仁」，「那些有志向、有仁德的人，沒有為了謀求生存而損害仁德的，只有獻出自己的生命來成就仁德的」。
孟子在離開齊國之前，還和齊國名嘴淳于髡「幹了一架」。淳于髡認為，重視名譽功業的人，是為了救世救民；輕視名譽功業的人，是為了獨善其身，而孟子一樣也沒有做到，就撂挑子走人，顯然不是仁人。
孟子說，伯夷不願意做官，伊尹和柳下惠喜歡做官，但是他們都是仁人，言外之意，做不做官不是仁人的標準。
淳于髡說，魯國重用子思，結果魯國更加衰弱，可見賢人沒有用。
孟子說虞不用百裡奚而滅亡，秦重用百裡奚而稱霸，怎麼能說賢人沒有用呢？
孟子不想和淳于髡閒扯，他舉了孔子的例子。孔子當年在魯國，國君沒有按照禮儀送來祭肉，孔子就辭職走了，不理解的人還以為孔子嘴饞沒吃到肉沒面子才生氣走的，理解孔子的人知道那是魯國國君不守禮數，孔子生氣才走的。孟子的意思是，知我者謂我心憂，不知我者謂我何求，君子的行為，一般人是不懂的。既然齊國不重用我，我何必還呆在這裡呢。
孟子帶著弟子們離開了齊國，耳邊響起離歌，心裡是「其實不想走，其實我想留」的遺憾與不舍。對孟子來說，齊國是他夢開始的地方，也是最適合行仁政的國家，而齊宣王「非不能而是不願」，他期待齊宣王能回心轉意，派人追他回去。但他在晝這個地方呆了三個晚上，也沒見使者的影子。
一路上，孟子悶悶不樂。弟子充虞問孟子說，老師教導我們不怨天不尤人，怎麼現在悶悶不樂呢？孟子說：
「五百年必有王者興，其間必有名世者。由周而來，七百有餘歲矣。以其數，則過矣；以其時考之，則可矣。夫天未欲平治天下也；如欲平治天下，當今之世，捨我其誰也？」
孟子萬分感慨。「從歷史上來看，每五百年就會有一位聖賢君主興起，其中必定還有名望很高的輔佐者。從周武王以來，到現在已經七百多年了。從年數來看，已經超過了五百年；從時勢來考察，也應該正是時候了。大概上天還不想讓天下太平，如果想使天下太平，在當今這個世界上，除了我還有誰呢？我為什麼不快樂呢？」
孟子不是磨磨唧唧怨天尤人的人，一聲慨嘆又讓他滿血復活。孟子堅信能讓天下安定下來的人，非他莫屬。孟子的這種超級自信，來自於他平治天下的擔當精神。他的廓大雄心、豪邁氣概和慷慨激昂的性格在儒家思想家中無人可及。回首自己遊說諸侯的一生，孟子感到深深的遺憾和悲哀。孟子以孔子為偶像，認為自己距離孔子的時代並不遙遠，自己的家與孔子誕生的地方也很近，但孟子擔心，自己之後再也沒有孔子的繼承人了！
孟子理想的破滅是時代的悲劇，英雄如孟子，也無法擺脫時代洪流的裹挾。在諸侯間競相兼併的形勢下，消弭戰爭必須用戰爭來實現。孟子的夢想距離現實太遠，註定無人理解，他就像一個起的太早摸黑趕路的旅人，註定前路荊棘密布。