《論語·雍也》記樊遲問知時孔子說「務民之義，敬鬼神而遠之」。
孔子主張面向現實，不談鬼神，《孔子家語》及《新序》中記著這樣一個故事：
孔子周遊列國回到魯國以後已經快七十歲了，魯國國君把他奉為「國老」，即尊為道德高尚、學識淵博的顧問，有什麼疑問向他請教。有一天，魯哀公要擴修自己的宮室。這座宮室的西、南、北面早已蓋起了房子，如果向西、南、北擴展，必然擾民害民。只有東面是一片庭院，這裡地勢比較寬闊，如果在這裡建房，不會影響別人。但當魯哀公請一些巫師預測時，都說向東不吉利，並且說魯國自古以來沒有向東擴建房舍的規矩，這種說法是鬼神的意旨。魯哀公帶著這個問題把「國老」孔子請來，問「我聽人家說，向東擴建宅第不吉利，確有此事嗎？」
孔子聽罷，搖搖頭，肯定地說：「沒有此事，絕無此事！」他接著說「向東擴建住宅不吉利的說法，全是某些人假借鬼神瞎造出來的。絕對不會不祥。如果說有不祥的話，天下的事，有五種不吉祥。」
魯哀公問「有那五種不吉祥。」
孔子慢條斯理但卻用肯定的語氣說：「第一，損害別人，自己得到好處，那種抗誆拐騙，獲取個人私利的事是一不吉祥。第二，當政的人罷棄賢才不用，卻任用一些善於拍馬逢迎的小人，致使國家受損，百姓遭殃，是二不吉祥。第三，不孝敬老人，不疼愛子孫，在家裡飛揚跋扈，獨斷獨行，致使家庭敗落，是三不吉祥。第四，年紀輕輕的不事生產，遊手好閒，四處遊蕩，不好好學習，是民間風俗的四不吉祥。第五，聖明的人隱退，愚蠢的人掌權，社會上是非顛倒，黑白混淆，把好好一個國家治理的亂七八糟，是五不吉祥。
最後，孔子肯定地說，天下的事共有這五種不祥，向東擴建住宅不是不吉祥，對於那些假借鬼神來達到自己特殊目的，欺哄別人，騙取錢財的人的話不要聽。
孔子最後的一句話體現出做什麼事情都要「敬鬼神而遠之。」
凡利用鬼神、迷信騙人者，均有其不可告人的目的。戳穿某些人利用鬼神的把戲，就要說理，用實實在在的事實來回擊迷信。當然，由迷信鬼神到否定鬼神是一個很長的認識過程。當人們認識上還沒發展到無神論時，對鬼神表示懷疑，也是很大的進步。春秋末年，奴隸制日落西山，統治者逐漸認識到人的力量，自然就減輕了對鬼神的信賴。孔子「敬鬼神而遠之」，既是時代產物，又體現其高明的智慧。