劉先覺祖籍安徽肥東，1931年冬出生於福建福州。因為父親忙於生計，母親又目不識丁，劉家的孩子在學習上全都「靠天收」。
由於戰亂，初中時代的劉先覺隨家人輾轉到江西，就讀於寧都縣中。初中生活一直讓他難以忘懷，下課以後，他喜歡和同學跑進果園，摘下半生不熟的柚子當足球踢。
劉先覺當時的成績一直名列前茅，卻總是拿不到第一名，短板在於語文。高一的時候，經過語文老師的悉心指點和自己的不懈努力，他終於寫出朗朗上口的好文章，從此語文成績扶搖直上。
為了學好英語，劉先覺煞費苦心。當時，江西的教堂裡有從英美淘到一些舊卡片，劉先覺經常和夥伴們跑過去拿卡片，還不停地跟牧師用英語「套近乎」，他的英語口語因此突飛猛進，還一度幻想能成為外交家。
高中時代，劉先覺偶然讀到描寫金陵大學校園生活的《北極風情畫》《塔裡的女人》，對南京產生了嚮往之情。這段時間，他還迷上了畫畫。彼時，劉先覺有了自己的新理想——做一名建築師。
1949年高考，劉先覺被之江大學錄取。入學以後，發現那裡跟理想的大學生活有些差距，加之教會學校的學費昂貴，劉先覺決定退學重考。
1950年，劉先覺如願來到南京四牌樓，成為一名建築系大學生。當年建築系有16名新生，大二年級8人，大三年級7人，大四則只有3個人，大家都爭分奪秒地學習。
劉先覺的宿舍在四牌樓文昌橋，教室就在如今南高院對面的平房裡。上設計課的時候，全系學生同時坐在同一個教室，座位則按照年級高低從前排到後。楊廷寶、童寯、劉光華三位先生一起授課，四年級3個學生，每個老師負責1人；三年級7個學生，每個老師負責大約2人；以此類推。