金陵大學前身是1888年在南京成立的匯文書院，匯文書院是金陵大學最早的源頭，由美國教會美以美會創辦，院址在南京幹河沿(今金陵中學校址)。它是南京地區最早建立的一所新式學堂，辦學20餘年，為金陵大學的成立奠定了基礎。
1907年，南京的另外兩所教會書院基督書院和益智書院兩書院合併為宏育書院，並於1910年合併匯文書院，成立金陵大學堂，以匯文書院為校址，後遷入鼓樓西南坡的新校舍(今南京大學鼓樓校區校址北園)。
1910年，金大在鼓樓之西南坡購得大片土地作為新校址，這地方名曰"西山"，隨即又從從美國請來測繪師和建築師規劃、設計校舍建築。金陵大學自1916年起，便陸續遷入新校舍。
1927年7月，國民政府正式宣告成立，收回教育權。1927年11月10日，金大理事會在上海開會，文理科科長陳裕光博士當選為金大第一任中國校長，也是國內任教會大學校長的第一位中國人。陳裕光上任後，十分注重中國教育主權，不僅在行政管體制上進行卓有成效的改革，而且在教學上推行"三一制"，即教學、科研和推廣三合一制度。
1934年，金大被美國紐約州立大學承認了與其他國際間之大學同等學術地位，並能頒發獲國際認可之學士和碩士學位。
1937年至1949年，因抗戰爆發，金陵大學舉校西遷，在四川成都華西壩艱苦辦學。12月，金陵大學南京校園 被"南京安全區國際委員會"列為難民區收容所，湧進了大批的難民。1941年，汪偽國民政府在金陵大學原址興辦(汪偽)中央大學。1945年返寧，金陵大學駐寧人員接收汪偽中央大學。同年9月，學校在南京複課， 學校規模有所發展。
1949年至1952年為金陵大學的轉折時期。新中國成立，金陵大學獲得新生。1951年9月，斷絕與美國教會的聯繫後，李方訓任校長，私立金陵大學與私立金陵女子文理學院(原金陵女子大學)合併為公立金陵大學。
1952年，全國高等學校院系調整，金陵大學等西方教會大學撤銷建制，金陵大學文學院、理學院併入新南京大學(南京大學保留文、理學院，其餘部分院系分出)，成為南京大學的一個組成部分。從此金陵大學校名取消，南京大學遷至金陵大學鼓樓校址(南京大學校長潘菽為了照顧新成立的南京工學院，將南大原有的四牌樓校區移交給南京工學院使用 )。根據《南京、金陵兩大學合併、調整工作進行辦法》，金陵大學和中央大學及其前身學校的歷史檔案明確劃歸(新)南京大學。
金陵大學教育系、農學院、農學院林學系、理學院電機系、化工系、水利系等系科分出，和南京大學等有關大學相關院系組建了南京師範學院(南京師範大學)、南京農學院(南京農業大學)、南京林學院(南京林業大學)、南京工學院(電機系在今東南大學，化工系在今南京工業大學)、華東水利學院(河海大學)等校。電影與廣播專修科遷至北京組建電影學校(今北京電影學院)。另有部分院系(經濟系，銀行系，管理系，文理科系)調至上海復旦大學等高校。