子曰：「唯上知與下愚不移。」孔子的這句話，兩千年來，爭議最多，正確地理解這句話，非常重要。
孔子是以一道貫之的，如果孔子的確是按照智慧和愚蠢把人分成社會的上下等級，或者孔子思想中含有按照人的先天稟賦和才質來把人劃分成上下等級，那麼孔子的思想可以理解成：肯定了人與人在社會中先天的不平等，進而理解成孔子是維護不平等的等級統治的，進而孔子的思想，在現代平等文化的意義上，要受到拷問，並且要被淘汰的。
《論語》中的這句話，非常精煉卻是含混。歷史上不懷好意的統治者，於是用這句話往自己的臉上貼金。而歷史上的儒家學派，試圖對這句話作出比較公道的人性化解釋，也是甚為其難，很難在平等價值的意義上，對這句話自圓其說。
既然上等的人是天上的一流智慧，而統治者是上等人，很容易推導出少數人因為天生智慧，所以才成為上等的統治者。這同貴族血液等級政治就沒有什麼區別了。如果孔子思想中含有按照人的先天稟賦和才質來把人劃分成上下等級，肯定了人與人在社會中先天的不平等，進而推導出孔子是維護不平等的等級統治的，這種解釋脫離了孔子的精神本質，在《論語》中可以看到「四海之內皆兄弟」的很直觀形象的平等思想，這個平等觀就如同基督教中的，在上帝面前人人平等的思想。
同時大家注意「唯上知與下愚不移」句子的前面一句話，是孔子說的：「性相近也，習相遠也」。「性相近也」的意思，也表達了人生而平等，「習相遠也」，表達了人與人的差別，是後來學習生活習慣的不同而形成的。
緊接著孔子說「唯上知與下愚不移」，上智與下愚固是「天命之性」，然非「性」之全部內涵，而僅僅是智愚一端。孔子所言「性相近」，涵蓋了生存的本能以及社會生活的可能，因此不能簡單認為此章就是補足上章內容，而恐怕是另有語境，此章或是具體語境中對智愚問題的界說，而不是對「性」的界說。不考慮具體語境的話，此章的意思是說，上智、下愚之人不易改變自己的立場、觀點，至於為善為惡則是另外一個問題；上智者自是其是，足以為大善大惡，下愚者智性所囿，難於教化。「性相近」是全稱判斷，上智與下愚則是指「性」之一偏而言，不可混淆。
在「性相近習相遠」的界說中，孔子表達了對於人的生存之肯定，認為人生的意義在於現世的生活當中，而非指向現世之外。因為人生的意義呈現在現世當中，因此生而必然有智愚、勇怯等地分別。在性相近、習相遠的生存之境中，善惡之所以成為可能，當從孔子的語境中的天命角度來理解。天命聖人，這些不同族群的神性祖先，不僅是作器利民、剖開鴻蒙、命名萬物的神，而且還是體天之道，訂立規制的聖人。因此對於普通人來說，善惡、是非問題不是辨明、辨析的問題，而是在群體生活中的規範問題，以及群體的道德向度的提升之階問題，所以教化、習染在孔子的語境中佔有相當重要的位置。
這樣理解，符合孔子的主體精神價值觀，因為孔子教育人，評價人，區分人，都是以被評價對象的主觀學習精神和態度作為判斷依據的。