回過頭來看孔子，他一生其實活得不容易。我們對他的學問思想存而不論，單是看他的生活本身，置於今日社會， 也是不幸的。「 幼年喪母，中年喪偶，老年喪子」是我國人所謂的人生三大不幸，孔子都經歷了。
《史記》記載：「 紇與顏氏女野合而生孔子。」孔子三歲的時候，父親去世。「 孔子三歲而叔梁紇卒，葬於防。」因此孔子跟母親相依為命，未能得到父親家族的士大夫身份和地位。他自承：「 吾少也賤。」當季氏宴請士族的時候，孔子不請自去，被季氏家臣陽虎攔住了。陽虎羞辱他：「 季氏饗士，非敢饗子也。」
十來歲時，孔子喪母。「 孔子少孤，不知其墓。殯於五父之衢，人之見之者，皆以為葬也。其慎也，蓋殯也。問於鄹曼父之母，然後得合葬於防。」孔子葬母時不知父母所在， 就做出驚世駭俗之舉，把母親的靈柩放在交通要道上，最後知情人告知其父母所在，總算將父母合葬。
《孔子家語》記載：「（孔子）至十九，娶於宋之亓官氏，一歲而生伯魚。」但孔子跟太太的關係並不融洽，原始儒家文獻《禮記·檀弓上》曾記載，「 伯魚之母死」，唐代孔穎達正義解釋：「 時伯魚母出，父在。」古人有「 七出之條」的說法，就是離婚。很多人為此想像孔子的夫妻生活，有說孔子 的太太不願意跟他過苦日子，選擇了離開；有說孔子忙於時事政治，長年不著家，家庭矛盾升級，最後選擇了離婚；有說孔子的太太過於黏糊，不講夫妻邊界，導致孔子對女人有偏見：「 唯女子與小人為難養也，近之則不孫，遠之則怨。」譚嗣同對孔子離婚的解讀是：「 夫婦者，嗣為兄弟，可合可離，故孔氏不諱出妻，夫婦朋友也。」
孔子晚年，兒子孔鯉去世，白髮人送黑髮人的痛苦孔子也體會到了。孔鯉一生沒有建樹，民間編派的笑話是，孔鯉對兒子孔伋說「 你父不如我父」，又對孔子說「 你子不如我子」。
公正地說，孔子的失意不僅是他的報世無門，也在於他不幸的家人關係。用現代精神分析學或心理學的一些說法， 他未能體驗到家人關係的圓滿。也許正是這些不幸的、不健 全的親情，使孔子一生的學問立足於倫理基礎。他的全部努 力在於，給這個世界上卑微渺小的個體立心立命，讓人們不 再孤苦無依。