1911年前上海文廟的側門
文廟是中國古代祭祀孔子的地方，又叫作孔廟、夫子廟等。在中國的封建社會裡，長期實行科舉制度，以孔子為代表的儒學是科舉制度中必讀和必考的經典。所以，文廟在歷史上也往往是地方的最高學府和教育領導機構。府一級的文廟就被叫作「府學」，縣、鎮一級的文廟則被叫作「縣學」「鎮學」，統稱為「學宮」。過去，規定縣以上的行政區必須設立文廟，所以中國歷史上到底有多少處文廟，恐怕就難以道其詳了。
上海最早的文廟可以追溯到南宋景定年間。當時，上海已經設鎮，上海士紳唐時措、時拱昆仲出資建造了供孔子像的梓潼宮，並建造了一個「古修堂」教授學生，這就成為當時上海的「鎮學」。到了元代，上海升格為縣之後，元元貞元年（1295）真正意義上的上海縣學落成了，然而新建的縣學校舍質量不佳，僅幾年後就發生建築傾斜。於是，重新擇地重建文廟。不過，後繼的官員認為新址風水不佳，於是又重新回到梓潼宮原址拆除重建。
之後，上海文廟歷年重建和擴建，並形成一定的規模。清康熙年間，上海文廟建築發展到最大規模。文廟大門朝南開在今學院路上，除了欞星門、大成殿、尊經閣、明倫堂、魁星閣等文廟規定的建築外，一進大門有寬敞的甬道，甬道處有宣化坊（原名宣教坊）、崇禮坊（原名惠政坊）、澤民坊、集慶坊（原名集議坊）四座石牌坊，還有洗心亭、天光影池、舞雨橋，蒼松翠竹等，儼然是一座城市園林。
清鹹豐三年（1853），上海知縣袁祖德在文廟舉行隆重的丁祭儀式時，小刀會乘機發動起義，並攻佔了上海縣城。義軍領袖、廣東幫首領劉麗川即以文廟為指揮部，組織和領導義軍進行反清鬥爭。鹹豐五年初，清軍在英法列強的配合下，大舉進兵鎮壓，文廟被夷為平地，全部建築和景點毀壞殆盡。起義被鎮壓後，上海知縣認為原址已經不適合重建文廟，於是選址西門內原遊擊右營署廢址重建，並於鹹豐五年（1855）動工，次年竣工。鹹豐十年（1860），太平軍進攻上海時，新文廟一度作為洋槍隊的兵營，文廟的大部分建築又遭到破壞。之後雖然重修，但規模和質量已遠不如初。
光緒三十一年（1905），清廷下令取消科舉制度，文廟的作用和地位日漸式微，但春秋兩季的祭孔活動仍然照常進行，直至1919年「五四」運動，才被徹底終止。1930年，當時上海教育局在文廟內創辦上海市立流通圖書館；次年又在廟內開溝挖地營建文廟公園，並創設文廟動物園。1936年，上海市政府在此創辦上海民眾教育館。解放前夕，上海文廟的格局與建築基本被破壞殆盡。
解放後，上海市人民政府先後撥款重修文廟。20世紀八九十年代，又對文廟進行大規模的修繕，初步恢復原貌。2002年，被公布為上海市文物保護單位。
1986年，文廟自發成為上海最重要的舊書集散中心，曾一度佔據上海書刊批發市場將近九成的份額。1993年，有人提議上海可以開辦類似塞納河邊「十裡書市」那樣的舊書集市，提議當即得到各方的贊同。經過對文廟自發舊書市場的規範和整頓，上海文廟舊書市場便於每周日與公眾見面，並延續至今。
起初，文廟舊書市場的攤位都是用粉筆劃出來的，從欞星門入口到大成殿門口，院子裡、迴廊上，幾乎被一個挨著一個的書攤佔滿，人擠人，好像連腳都沒地方放了。客流量最高時達到八九千人，250個攤位供不應求。那時全國做舊書生意者，不管有沒有來過上海文廟，肯定都知道它的存在。此時的文廟似乎成為另外一種文化符號，繼續發揮著自己的文化能量。
文廟舊書集市除了早上七點半的書市外，在文廟四字牌坊正對面的方斜支路上，還有一個短暫的小市場，便是傳說中的「鬼市」。半夜兩三點擺攤，早上七點左右撤攤消失。看似充足的時間，攤位卻沒那麼充足。很多攤主兩點就來找地盤，因為一旦來晚了，就根本沒有擺攤的地方。
為了能淘到好書，淘書客們自然不輕鬆，各自卯住勁，不僅要經驗豐富，一眼識別出好書、有價值的書，還要站得穩、速度快。當書商「譁啦」一下把書倒在地上，淘書客一邊抵住後方湧動的攻勢，捍衛自己的一角；一邊從書堆認出自己想要的那本書，並以最快的速度從書攤中抓出來拿在自己手中，真正做到眼疾手快。
書攤主與書友大多是舊相識，面對書友詢價，好的書，攤主會先報一個相對高的價，書友便開始挑刺，此時博弈便開始了，心理戰也悄然展開，雙方的專業在這時便開始展現。詢價、還價、喊著行話，一塊、八毛，討價還價。如果書友給的價錢不符合預期，議價的理由不充分，攤主便會不再出價，書快速進入下輪出價，其他書友大致了解攤主的心理價位，感興趣者會拿捏好價位，立馬出價拿下。這已經成為上海文廟書市標誌性的場景了。
在網際網路電商的衝擊下，如今的文廟書市，已然歸於平靜，只留下區區90個攤位，大多數還是固定的老商戶。淘書客三三兩兩，重要的已不是買書，而是對淘書文化的懷舊與體驗。