徐家匯地區原是明朝太子太保、東閣兼文淵閣大學士、禮部尚書徐光啟的出生地，農業種子實驗場，曾有三條河流（肇家浜，法華涇，蒲匯塘）交匯於此，故得名。利瑪竇神父及其最初的同事們，為江南天主教會的建立打下了基礎。接替他在南京工作的羅如望神父，在1603年勸化了徐光啟，羅神父給他付了洗，聖名保祿。徐光啟是上海地區的第一位天主教友，1608年他邀請郭居敬神父到上海開教，他的本家便成了附近地區教會事業的發源地。不久，在這位著名閣老的影響下，有許多農民信奉了天主教，這就是我們上海許多美好會口的起源。至1663年上海就有兩座教堂，六十六所小堂，約四萬名教友。
十八世紀，中國天主教會經歷的諸多不幸（中西禮儀之爭，雍正及乾隆時期的宗教迫害，耶穌會的解散），使江南地區的教會事業陷入困境。傳信部於1840年在江南教友多次的請願後，派遣耶穌會傳教士重回江南，至1848年耶穌會南格祿會長決定在徐家匯創辦一所住院，提供給神父們每年前來避靜及做歇夏。1851年初，一座與住院相稱的聖堂已必不可少了，於是決定興建一座正式的聖堂。由輔理修士範廷佐（1848年設計董家渡聖方濟各主教座堂）擬訂建築圖樣，羅禮思神父（1860年設計洋涇浜聖若瑟堂）監督營造了一座希臘式的教堂,奉聖依納爵·羅耀拉為主保聖人。這座希臘式的教堂是上海地區第一座按西方建築式樣建造的教堂。自教堂建成後，徐家匯漸漸取代董家渡，成為了江南教區的中心，建造了一系列教育、文化、慈善設施（1847年建徐家匯藏書樓（現徐家匯藏書樓），1850年創聖依納爵公學（現徐匯中學），1870年聖母院從青浦遷來（現上海老站/聖衣會院現為上海電影製片廠），1864年創辦土山灣工藝院（現工藝美術學院），1867年創立博物院和崇德女學，1873年建天文臺（現上海氣象臺），1848年創立耶穌會大修院（神學院）（現徐匯區政府），1904年建啟明女中（現市四中學等）。
到19世紀末，附近教友日漸增多,僅能容納200餘人的老堂已不敷使用，教區決定籌建更大的教堂。從徐光啟後裔獲得一部分土地，陸姓教友家捐獻另一部分土地。並籌措資金，在徐家匯老堂南側新建教堂。1910年新堂落，教堂規模宏大，裝飾華麗，被譽為「遠東第一大教堂」，仍奉聖依納爵為主保。老堂則劃歸聖依納爵公學使用，改稱聖母無原罪堂（1994年，老堂和主教府合拆新建主教公署大樓）。由此主教公署等教會機構都移至此地。
徐家匯天主堂由建築師陶特凡(W.M.DOWDALL)設計，法國上海建築公司先期於1896年開始搭建工棚雕琢石柱。1906年7月31日正式動工,耗時四年建設，1910年10月22日舉行落成典禮。聖堂坐西朝東，最寬處34米，進深84米，內高28米。磚木結構，佔地面積2670平方米，建築面積6670平方米，可容納3000餘人。哥德式建築風格（強調垂直平面，是真正的挺立，教堂及尖頂似乎不受地心引力的影響，睹其風採，眼要往上看，直至頂部），平面為拉丁十字型。外牆清水紅磚砌築，四周尖拱窗有彩繪玻璃鑲嵌其中，牆基用青石，分間處置扶壁。教堂的東立面兩座對峙的鐘樓高達57米，內有兩口大鐘，頂上的一對十字架約有一噸重。立面中間由疊澀形成的多層拱券大門，玫瑰花窗及山牆組成，正門上方曾聳立著耶穌抱十字架的聖像。教堂內為方磚地坪，花瓷鋪砌，頂脊呈尖拱狀。堂中有大小石柱64根，都是用金山石精刻細鑿。深長的主殿將進入者的目光和心靈引向遠端的正祭臺，正祭臺在教堂落成時是臨時的，1919年復活節前特地從巴黎運來一座精緻的祭臺安裝正中，費用由一位法國富孀捐獻。祭臺正中安置有聖依納爵及其他8位聖人像，雕刻精美，色彩鮮明。堂內還另有20座小祭臺。橫軸由南北耳堂組成，十字交叉點上方曾有一座鐘樓。
徐家匯天主堂分為主樓、輔樓兩部分。主樓正門向東，平面呈拉丁十字形，南北向總寬約42米，東西向總長約56米。建築內部為大空間，可容2500人。堂中立有64根楹柱，頂脊呈尖拱狀，脊高近20米。堂中設有19個祭臺，大祭臺在堂後部中央。主樓外牆為紅磚清水牆，主樓兩側設鐘樓，高度約50米，內懸掛銅鐘。輔樓建於1928年，設有連廊與主樓相通。輔樓平面呈L形，東西向總寬約22.8米，南北向總長約24.5米。
1924年中國天主教「第一次全國主教會議」曾在徐家匯天主堂舉行。在抗日戰爭時期，徐家匯天主堂和徐匯中學等辦了難民所，收容數以萬計的難民。
1960年5月27日，徐家匯天主堂堂場上彩旗飄揚，教堂內掛滿了「全堂彩」，祭臺上燈光輝煌。舉行祝聖張家樹主教的典禮，屬於上海教區自選自聖。主禮和襄禮的是中國天主教愛國會主席皮漱石總主教，副主席李維光主教和趙振聲主教。能容納二千餘人的教堂座無虛席，連走道中也站滿了人，真是盛況空前。
1966年8月23日下午，一張「徹底清除帝國主義文化侵略的遺蹟」的大字報貼到了徐家匯天主堂正門上面的牆上，當晚砸爛的革命行動開始了。堂場燃起了火堆，教堂內為正常宗教活動所需要的宗教物品都被拋進了火堆，燒成了灰燼。不到二十四小時，兩個鐘樓上的鐵十字架也被拆了下來。在最初三天中，砸爛的革命行動晝夜不斷。奧地利產管風琴被拆成一堆廢銅爛鐵。之後，在差不多一個月內又時斷時續。徐家匯天主堂被砸得空空如也，徒具四壁。三座鐘樓尖頂被拆，所有彩繪玻璃窗全部被砸，歷經百年的宗教書籍和已被國務院定為國家二級文物的木雕祭臺、聖像和絲織刺繡藝術品全部被拖到教堂前焚毀。徐家匯天主堂砸爛後，曾一度被命名為反帝大會堂。隨即教堂也成了果品倉庫。
1979年落實宗教政策後，已是滿目蒼夷的大堂重新歸還上海教區。經過各有關方面積極協商，採取了一邊將果品倉庫從教堂遷走，一邊進行修理，一邊恢復正常的宗教活動的辦法。倉庫先讓出了後面原來的更衣所，教會把它布置成臨時小堂，1979年11月1日舉行了十年動亂後，有約三百教徒參與的第一次彌撒。次年四月初，果品倉庫完全遷走，修理工程進一步順利進行，到1980年聖誕節徐家匯天主堂除了兩個尖頂外，內外均已修繕一新。1982年修復塔尖。
1983年，舉行徐光啟逝世350周年大禮彌撒。1984年，舉行馬相伯逝世45周年活動。1985年1月，李思德、金魯賢神父任上海教區助理主教的祝聖儀式在此舉行。1988年2月，張家樹主教去世後，其骨灰安置在該堂。1995年6月16日舉行大禮彌撒，慶祝金魯賢主教80周歲、晉牧10周年，晉鐸50周年。1997年舉行香港回歸感恩大禮彌撒。2005年6月28日邢文之輔禮主教祝聖彌撒，金魯賢主教主禮，寧波教區胡賢德主教和周村教區馬東聖主教襄禮，2000多名參與彌撒。
徐家匯天主堂佔地面積2670平方米，建築面積6670平方米。1962年上海市人民委員會公布為上海市文化保護單位，1966年11月11日被撤銷。1989年9月25日列為上海市文物保護單位優秀近代建築。2012年10月徐家匯天主堂歷史建築群作為徐家匯源國家AAAA級旅遊景區主要景點之一，正式對外開放。2013年3月，徐家匯天主堂被國務院公布為全國重點文物保護單位。2016年9月入選「首批中國20世紀建築遺產」名錄。
1982年教堂進行了大修，兩座各重達13噸的十字鐵塔架，重新安裝到鐘樓上，並修復牆面花飾及部分滴水獸等裝飾構件。但原祭臺陳設及彩繪玻璃，管風琴等藝術珍品都無法再現了。2002年，陸續修復教堂內彩繪玻璃。近年來，教堂因年久失修，出現屋面漏水、白蟻蟲蛀、外牆損壞等狀況，尤其是2011年，因,地鐵建設，建築開裂加重，徐家匯天主堂決定整體大修。但因建築沉降仍不穩定，修繕工程直至2015年才正式動工。
2015年8月24日起，徐家匯天主堂關閉，取消日常宗教活動，不再對外開放參觀。2015年11月，修繕工程正式啟動，按照文物建築保護性修繕工程「修舊如舊，恢復原貌」的原則開展。整個修繕工程分室外和室內兩部分進行。設計單位為上海原構設計諮詢有限公司，施工單位為上海徐房建築實業公司。
現今恢復了部分在「文革」期間遭損毀的祭臺，電子風琴取代了原有的著名管風琴，窗戶正在陸續裝上富有中國特色的彩色玻璃，使昔日「遠東第一大堂」的聖依那爵大堂重現光彩。教堂歷經兩年多時間修繕，於2017年12月初結束，並於2017年12月16日重新啟用。大約2900名教友參與彌撒，市區總鐸吳建林神父主祭彌撒，共40多位神父共祭。
2018年7月22日，81位慕道者領洗，同時還迎來了聖若望保祿二世教宗、聖傅天娜、聖安多尼三位聖人的聖髑。
參考資料：
1. 天主教上海教區官網、上海天主教網站等網絡資料
2. 《徐匯年鑑2018》
作者：上海市徐匯區地方志編纂委員會 出版社：上海書店出版社 出版時間：2018年
3. 《國務院新公布上海10處全國重點文物保護單位》
出處：《上海文博論叢》2013-06-28 作者：禇菲 主辦單位：上海博物館
4. 《徐家匯天主堂的過去和現在》
出處：《上海社會科學院學術季刊》1985-07-02 作者：顧裕祿
5. 《上海宗教志》
作者：《上海宗教志》編纂委員會 出版社：上海社會科學院出版社 出版時間：2001年
6. 《話說上海·徐匯卷》
作者: 周秀芬著；上海市地方志辦公室、徐匯區地方志辦公室 出版社: 上海文化出版社 印刷時間: 2010
7.《徐匯區志1991～2005》
作者: 上海市徐匯區地方志編委會 出版社: 上海辭書出版社 出版時間: 2011
8. 《徐匯區文物志》
作者: 徐匯區文物志編輯委員會 出版社: 上海辭書出版社 出版時間: 2009-03
9.《徐家匯街道志1994～2014》
作者: 徐家匯街道志編纂委員會 出版社: 上海書店出版社 出版時間: 2016-06