有關南京的儒學史，宋周應合纂《景定建康志》卷二十八《儒學志》中有「前代學校興廢」一篇，此文從晉建武元年十一月講起，稱當時的徵南軍司戴邈上疏，講到了自喪亂以來，教育制度被廢，致使社會道德淪喪。而今朝廷定都於建業，故應當重開崇儒之風，以便修正人們的行為道德準則，於是「元帝從之，始立太學」。
太興三年，皇太子到太學舉辦釋奠禮：「鹹康三年，國子祭酒袁瑰、太常馮懷，以江左寢安，請興學校。帝從之，立太學於秦淮水南廢丹陽郡城東南，徵集生徒。而士夫習尚老莊，儒術終不振。太元十年，尚書令謝石請復興國學於太廟之南。」（《景定建康志》）
國子祭酒袁瑰等人看到江南地區長期平安無事，於是提議開辦學校，皇帝同意了他們的建議，而後在秦淮河畔設立太學。但那時社會崇尚老莊之風，儒學還未完全振興，於是在太元十年，在太廟之南又創建國學。到元嘉十五年，南京一地又分別創立了儒學、玄學、史學和文學。
以上所載乃是宋之前的情況，關於宋代的狀況，《景定建康志》中專有「本朝興崇府學」一篇，該篇有如下簡述：「雍熙中有文宣王廟，在府西北三裡冶城故基。天聖七年，丞相張公士遜出為太守，奏徙廟於浮橋東北，建府學，給田十頃，賜書一監。景祐中，陳公執中又徙於府治之東南，即今學基，建炎兵毀。紹興九年，葉公夢得更造學，援西京例，奏增置教官一員。淳熙四年，劉公珙重修。慶元二年，張公杓建閣以奉御書，閣下為『議道堂』，稍重釋奠禮儀，儲典籍，增既廩，文風大振。淳祐初年，別公之傑增修學宇。六年，趙公以夫即命教堂更名『明德』，增造兩廊，以安從祀。十年，吳公淵列祠先賢，增學廩，創義莊。寶祐中，馬公光祖興學校，舉孝廉，集周漢以來名賢祠而祠之，士氣興焉。」
雍熙年間，在冶城創建文廟，後來文廟又遷徙到浮橋的東北，同時在文廟旁建起府學，此後又幾經變遷，但以紹興年間葉夢得對該廟學的復興作用較大。廟學復建之後，葉夢得寫過一篇《府學記》，他在該記中引經據典，談到了文教的重要性，而後稱：「建康領江左八州之地，於東南為大都會，異時文獻，甲於它方。舊有學在州之巽隅，更罹兵火，城郭鞠為丘墟，獨學宮巋然僅存。頹垣敗壁，毀壓相藉，生徒奔散，博士倚席不講。紹興二年，某始以安撫大使分鎮。時自淮以北，裂為盜區，蜂屯豕突，鼙鼓相聞，蓋欲葺而未暇。後七年，大駕還錢塘，詔以建康為留都，蒙恩復畀居守視事之。明年，輯寧荒殘，流亡稍復，民益安業，於是喟然曰：『可以有事於學矣。』乃命其屬，因舊址盡徹而新之。」
葉夢得講到了建康在南方的重要地理位置，而後談到它在文治方面的巨大影響，但那時因為金兵的戰火，使得當地的府廟之學已經成了殘垣斷壁。紹興二年，葉夢得作為安撫大使前往南京任職，當時戰爭仍頻，強盜四起，根本來不及搞文化建設。幾年之後，皇帝改杭州為臨安，同時下詔將建康定為留都，命葉夢得掌管建康。葉夢得採取一系列措施，努力讓老百姓安居樂業，而後修復廟學。
對於廟學的建造情況，葉夢得在《府學記》中簡述說：「起己未孟冬，訖庚申仲春，凡五月，為屋百二十有五間，南向以面秦淮，增斥講肄，列置齋廬，高明爽塏，固有加於前。不侈不陋，不及庖圊，罔不畢具。」
僅用五個多月的時間，葉夢得就組織人建起了125間房屋，所建廟學就在秦淮河邊。
對於葉夢得開辦廟學的功勞，當時有不少文章中提及，比如宋遊九言在《御書閣記》中說：「建康學宮舊在西北隅，景佑初元陳恭公執中徙今地，建炎蕩於胡寇。紹興九年，資政殿學士葉公夢得復新之，規摹略備，獨累朝御書緘藏夫子殿中，嚴奉猶闕。」
建康廟學原處在城的西北角，到景祐初年遷到了秦淮河邊。建炎中，被金兵燒毀。紹興九年，葉夢得在原址復建。宋章汝揖在《修學記》中亦稱：「建康學故在府之西北隅，景祐元年，天章閣待制陳公執中重建茲地，中厄兵燼。紹興九年，左丞葉公夢得實新之，距今裁四十年而椽棟陊橈，瓦飄壁摧，殆無以尊聖祀，宏教基者。」
章汝揖撰寫《修學記》的時間是淳熙五年六月，其稱紹興九年葉夢得重新修建廟學至今已有四十年，因為風吹日曬，又有些破敗了。於是：「淳熙二年，今觀文殿學士建安劉公珙來鎮茲土，謁奠之，始視學圮陋，心拳拳焉。時適以旱告，公視飢由已，惟荒政是力。既民被實惠，若更生，則凡所以教民者，次第修舉，以春秋釋奠。所以事先聖先師者，率不終敬，公己事益虔，必視徹乃退以明道。先生實傳孔孟之統，而仁民愛物之政，著於為上元簿。時乃祠之學宮，以示尊尚。民有與猶子訟至庭者，公佔辭自責，剖析天理，民至感以泣，爭心兩絕，由是家傳戶誦，閭閻興輯睦之風。」
劉珙知建康府，他視察廟學時看到房屋破敗，欲將其修繕，但可惜趕上旱災，使其無力修之。但災情緩解後，劉珙繼續抓文治建設：「公一日詣學，顧謂文學掾汝楫黼曰：學宇之弊若此，葺其時乎。乃捐公帑三百萬，命知上元縣薛、裴董其役、學亦傾積歲所儲得錢百三十餘萬，以佐費僦工市材，易壂之，圮腐而峻整之，飾象之，黓晻而採章之，堂廡齋廬、廩廟庖湢，弊者修，壞者創，計以堅久，不為苟美。寢處所須，凡用嚴具。以淳熙五年二月戊寅始事，四月晦日訖功。」
某天，劉珙到廟學跟張汝揖商量修建廟學之事，劉珙先拿出了一筆錢，經過一番建設，終於又使得廟學煥然一新。然宋末元初的戰爭又使建康廟學被毀。蒙古人奪得天下後，元朝廷下令恢復各地廟學，元盧摯在《集慶路孔子廟碑》中說：「上元年，詔以興學作士，為王政先務。申飭郡縣甚至。二年秋八月，建康孔子廟成。」
元末戰爭時，該文廟又毀於戰火。明洪武十五年，皇帝下詔「改國子學為國子監，左廟右學」（嘉慶《新修江寧府志》）此後在景泰 、成化、弘治、正德等年，該文廟一直得到修葺。到清初時：「國朝改為府學，改彝倫堂為明倫堂。設四齋，門坊、殿廡悉仍舊。」（同治《上江兩縣誌》）
對於在清代時的維修狀況，乾隆版《江寧新縣誌》中簡述說：「康熙五十四年，布政司張公聖佐重修尊經閣。五十八年，按察使李公馥重修文廟及青雲樓。順治九年，恭貯欽命禮部所頒臥碑，康熙四十一年，頒御製訓飭士子文，康熙四十三年，頒御製平定朔漠告成太學碑，雍正三年，頒御製平定青海碑。」
此後的南京文廟又幾毀幾建，也許是為了與復建於冶山的江寧府文廟區分，處在秦淮河邊的文廟被當地人稱為夫子廟。因為江南貢院位於夫子廟旁邊，故這裡的熱鬧程度遠超新建的江寧府廟。再加上夫子廟前的秦淮河乃是歌妓集中之地，故使得夫子廟周圍熱鬧非凡。
晚清時取消科舉，前往夫子廟朝聖的文人就變得很少了，但那裡依然是人們遊覽獵豔之地。比如1936年7月出版的《興業郵乘》第四十七期上刊發了吳申淇所撰《閒話夫子廟》一文，此文稱：「凡是到過南京的人，恐怕沒有不知道這麼一個夫子廟的。南京的夫子廟，正如北平的天橋、上海的城隍廟、蘇州的玄妙觀，倷伲故鄉無錫的崇安寺一樣，是個熱鬧的場所，大眾娛樂的所在。」
民國年間，夫子廟成為了大眾娛樂場所，吳申淇在文中談到其他地方的孔廟都是莊嚴肅穆，他記得在故鄉讀書時每天上學路過孔廟時，總看到那塊「文武官員軍民人等至此下馬」的告示碑，雖然說到民國時已經沒有人遵守這個規矩，但即使頑皮的孩子走到文廟周圍時，也會變得肅穆起來：「而南京的夫子廟，可不然，現在是完全已經給嘈雜喧鬧、惡濁骯髒的空氣包圍了，一些也沒有尊嚴的氣象。這裡的視聽言行，都不是合於『禮』的，這裡也絕不會有人來談修身、齊家、治國平天下的大道理。如果要有些背得出四書五經的迂儒，到這裡來瞻仰瞻仰，那是會給他們一個大失所望的。」
這真是一種奇特的現象，江南貢院的關閉，絲毫沒有影響到夫子廟一帶的繁榮景象，但是夫子廟本身卻少有人涉足了。方繼之在《新都遊覽指南》中說：「夫子廟，在秦淮河北岸。廟西南向，與他邑文廟仿佛，荒蕪零落，蓋已無人涉足其間。但廟前及左右一帶，百戲雜陳，茶寮酒市，鱗次櫛此，實為南京遊樂之中心點，每日午後，遊人麇集。」
當然秦淮河畔歌妓的繁榮乃是有其歷史原因，方繼之在該書中說：「當六朝之際，多風流韻事，遂為千古所豔稱。」這種繁榮景象到明初仍是如此，劉辰在《國初事跡》中說：「明太祖設富樂院於乾道橋，以大火復移武定橋。又以各處將官妓飲生事，盡起妓女赴京入院。」
太平天國定都南京後，洪秀全全面禁娼，同時燒掉孔廟。曾國藩攻下南京後，恢復了府廟一帶歌妓繁榮的狀況。在民國年間，相關部門清理了夫子廟一帶的歌妓，但也有人認為不必如此，比如吳申淇在文中說：「走過文德橋，似乎踏進了特殊的區域、神秘的地帶，許多大街小巷，都是這幾年禁娼的成績。夫子廟所以名譽壞透，一提起到夫子廟去，就覺得應該避諱，也都是為了這點。其實『食色性也』，跟聖之時者的孔老夫子的主張，原不違背；況且南京有這麼一大批靠薪水吃飯的獨身漢，因為養不起老婆，通融暫欠，也是人情之常。但政府則力行禁娼，人民則一提起夫子廟，便避之若浼，捨本逐末，真有些莫名其妙。」
可能有這樣心態的人不在少數，故南京夫子廟周圍的妓女禁而不止。對於夫子廟周圍的妓女的清理問題，直到南京解放後，南京市公安局方予以徹底性解決。高福真在《建國後南京夫子廟的妓女改造》一文中說：「1949年4月23日南京解放後，南京市公安局開始著手消除舊社會遺留下來的各種社會渣滓，消除汙染社會空氣的煙、賭、娼妓。」