1965年生於德國萊茵河畔的杜伊斯堡,父親是大提琴家,母親是小提琴家。6歲學習小提琴,先後師從蘇聯小提琴家格拉多夫、德國小提琴家加沃裡洛夫、阿姆斯特丹皇家音樂廳管弦樂團的首席科雷博斯。
小時候,他鑽在桌下玩耍時,總能聽到父親與幾個朋友在演奏室內樂。他還記得,父親是黑膠唱片的發燒友,周日的家中總是全天放著各種小提琴唱片,才5歲時,他就深為前蘇聯小提琴家列奧尼德·科岡的錄音而著迷,「有一天我自己跟父親說,我想學小提琴。」在那個年代,科岡的唱片大部分在前蘇聯錄製,進入唱片時代也很難收藏到,因此,有緣能聽到科岡錄音的,都是最資深的樂迷。有意思的是,科岡最出名的錄音就是勃拉姆斯《D大調小提琴協奏曲》,、多年後也帶給他一些俄羅斯學派的影響。齊默爾曼在北京音樂會上那些暴風驟雨般的力量感,總讓人想到科岡。
齊默爾曼先後在EMI、SONY、BIS、ECM錄製了大量唱片,從古典時代的巴赫到最前衛先鋒的利蓋蒂,幾乎錄遍所有的小提琴協奏曲曲目,且獲獎無數。
他使用曾屬於奧地利小提琴家克萊斯勒的斯特拉迪瓦裡小提琴,制於1711年的「Lady Inchiquin」。2014年該琴的擁有者出現財政困難,這把琴被回收。險些導致了齊默爾曼推出音樂舞臺。他說「我失去了我的嗓音」。幸運的是,2016年,這把琴又重新回到了齊默爾曼的手上。
齊默爾曼崇敬的音樂家,總是那些造詣深刻、多少有些怪癖、帶有謎一般色彩的大師。在說起他最愛的鋼琴家裡赫特(Sviatoslav Richter)時,用了「孤獨的鷹」來形容,這位鋼琴家是孤僻而冷漠的,在音樂裡卻投入極大熱情。他不喜歡錄音,晚年更是迴避那些金碧輝煌的大廳裡的音樂會,相反選擇一些極小、極冷僻的地方演奏,如同一位音樂隱士。
多年來,齊默爾曼在EMI、SONY、BIS、ECM錄製了大量唱片,從古典時代的巴赫到最前衛先鋒的利蓋蒂,幾乎錄遍所有的小提琴協奏曲曲目,且獲獎無數。他以曲目量龐大而聞名,除了那些涵蓋古典、浪漫時期的小提琴傑作,也熱衷演奏現當代作品,至今已經首演過德國作曲家馬提亞斯(Matthias Pintscher)、澳大利亞作曲家布萊特(Brett Dean)等創作的三部小提琴協奏曲。
跟父親一樣,齊默爾曼也是狂熱的室內樂演奏家,他與中提琴家安東尼(Antoine Tamestit)、大提琴家克裡斯蒂安(Christian Poltéra)組成三重奏在歐洲各地演出,並錄製貝多芬、莫扎特和舒伯特的三重奏作品。對他來說,現場演出與錄音都是不可或缺的,是演奏家掌握音樂秘密的不同路徑。