蘇軾之所以可以在逆境中可以如此的豁達，除了他能很好調節自己外，和他身邊陪伴的人是分不開的。他的三位夫人和一眾兒子們給了他莫大的鼓勵。三位夫人中，王弗最有才，另二位也是相當優秀。蘇軾的第一位夫人王弗是個聰明恬靜的女子，他聽蘇軾讀書，往往沉默不語，卻能在蘇軾語塞的時候給予提醒，常讓蘇軾刮目相看。王弗識人勝過蘇軾。蘇軾交友甚廣，且交友不擇，王弗經常提醒他不要與那些唯唯諾諾的小人有過多來往，當時的蘇軾往往不以為然，而當他被曾經的朋友陷害時才知道自己妻子的眼光是多麼銳利。王弗心靈手巧，蘭質蕙心，卻不幸英年早逝，死的時候才二十六。
關於王弗，蘇軾有那首著名的《江城子》，「十年生死兩茫茫，不思量，自難忘」，感人至深，催人淚下。當蘇軾在政治上遭到挫折，他自然想到了王弗，蘇軾心中覺得只有王弗才能理解他的心境。如果說王弗是個賢妻的話，那麼蘇軾的第二任夫人，王弗的妹妹王閏之就是個徹徹底底的良母了。王閏之也許給不了蘇軾心靈上的安慰和文學上幫助，但是她盡心扶持蘇軾，相夫教子，對姐姐的兒子也是視如己出，一心一意為了家殫精竭慮。王閏之陪蘇軾度過了人生的起伏，「烏臺詩案」時她憂心如焚，一氣之下燒毀了蘇軾獲罪的「始作俑者」——全部的書稿。蘇軾顯達的時候，她不卑不亢，蘇軾落難的時候，她不離不棄。
王閏之在蘇軾被貶往惠州前就不幸去世，接下來陪伴蘇軾的是侍妾朝雲。朝雲小蘇軾幾十歲，是王閏之在杭州的時候買回來的。她天生伶俐乖巧深得蘇軾喜愛。蘇軾曾經一次問眾妾自己肚子裡裝的是什麼，眾人七嘴八舌，有說是文章的，有說是見識的，只有朝雲說蘇軾肚子裝的是一肚子的不合時宜。一句「不合時宜」引得蘇軾哈哈大笑，一句「不合時宜」道出了蘇軾人生的全部苦澀的緣因，蘇軾引為知己。朝雲和蘇軾曾經有過一個孩子，但是不久就夭折了，這讓朝雲深受打擊，從此一病不起。在惠州的時候，朝雲盡心撫慰蘇軾，給了年老的蘇軾心靈上的慰藉，讓蘇軾迅速從失意中走了出來。
蘇軾是豪放詞的傑出領袖，但他也有悽婉動人的婉約詞，著名的「天涯何處無芳草，多情卻被無情惱」就是寫給朝雲的。據說朝雲聽了這句次之後感時傷懷，竟淚流不止，真是性情中人。朝雲後來死在惠州，她一身信佛，相信一切皆空，還勸蘇軾不要傷心，蘇軾自是再淡定之人，也不能不心痛不已。當蘇軾到儋州的時候，他身邊陪伴著的只有他的三子蘇過。蘇過至孝，連叔父蘇轍都誇讚他，常常用他作為榜樣來教育蘇家的其他子孫。蘇過是蘇軾兒子中才華最出眾的，在儋州的時候他不但照顧父親的起居，還陪父親一起做學問，父子二人是為知音。時人稱蘇過為「小坡」，稱蘇軾為「大坡」，蘇軾衣缽有人矣。
有人說，要是蘇軾在當時稍微收斂或妥協的話，即使不能位列公卿，難道不能平平安安免去災禍嗎？可真如此的話，那還是蘇軾蘇東坡嗎。蘇軾的不平凡一生大致可以用他的《定風波》概括：莫聽穿林打葉聲，何妨吟嘯且徐行，竹杖芒鞋輕勝馬，誰怕一蓑煙雨任平生。料峭春風吹酒醒，微冷，山頭斜照卻相迎。回首向來蕭瑟處，歸去，也無風雨也無晴。