南京圖書館原址在玄武區成賢街66號，民國時期國立中央圖書館就定在了成賢街，1948年館藏13萬餘冊珍貴書籍去了臺灣，到解放後1950年改為了南京圖書館。
明洪武十四年(1381年)，朱元璋以「治國以教化為先，教化以學校為本」，下詔書在雞籠山(今雞鳴山)南建國子學，次年改名國子監，為明朝最高學府，為當時世界最大高等學府之一。
時人認為讀書人經國子監深造，即「成為賢人」，可入仕為官，故將國子監旁監生常走的街巷謂之成賢街，路測有民國國立中央大學(今東南大學)，國立中央圖書館，民國政府教育部。
新的南京圖書館位於南京市玄武區中山東路189號，簡稱南圖，是中國第三大圖書館、亞洲第四大圖書館，首批全國古籍重點保護單位，國家一級圖書館。
南京圖書館館藏總量超過1200萬冊，其中古籍160萬冊，包括善本14萬冊；民國文獻70萬冊，包括民國時期的圖書40萬餘冊，期刊近萬種，報紙千餘種。已有524種入選國家珍貴古籍名錄。
館藏中還有唐代寫本，遼代寫經，宋、元、明、清歷代寫印珍本，已有524種入選國家珍貴古籍名錄。數字資源有「中國知網」、「瀚堂典藏」、「Proquest」等引進資料庫及自建資料庫等共50餘種。
中文期刊5430餘種、中文報紙340餘種以及大量港臺版書報刊。館藏外文圖書60多萬冊，西文期刊908種、報紙36種。
南京圖書館館藏古籍約160多萬冊，已整理約100萬餘冊，含善本10餘萬冊，包括宋元刻本近200部，明刻本近7千部。
到南京圖書館交通十分方便，地鐵3號線到大行宮，從一號出口上來即到，公交巴士1路、3路、2路、24路、31路，44路，52路，34路，65路、304路等。