通信世界網消息(CWW)今天,NVIDIA首席科學家Bill Dally在GTC中國線上大會主題演講中說道,NVIDIA的研究人員致力於打造速度更快的AI晶片,並將其用於具有更高帶寬的系統,從而簡化編程。
他以三個項目為例,講述了自己帶領的200人的研究團隊如何成功實現「黃氏定律 (Huang’s Law)」。這則以NVIDIA執行長黃仁勳(Jensen Huang)名字命名的定律,預測GPU將推動AI性能實現逐年翻倍。
Dally 講述「如果我們真想提高計算機性能,黃氏定律就是一項重要指標,且在可預見的未來都將一直適用。此前,Dally曾負責NVIDIA在AI、光線追蹤和高速互連領域的相關研究。」
NVIDIA助力 AI推理性能每年提升一倍以上
超高能效加速器
為實現這一突破,NVIDIA研究人員專門開發了一種名為MAGNet的工具,其生成的AI推理加速器在模擬測試中,能夠達到每瓦 100 tera ops 的推理能力,比目前的商用晶片高出一個數量級。
MAGNet採用了一系列新技術來協調並控制通過設備的信息流,最大限度地減少數據傳輸,而數據傳輸正是當今晶片中最耗能的環節。這一研究原型以模組化實現,因此能夠靈活擴展。
另外,研究團隊還開展了一項研究,旨在以更快速的光鏈路取代現有系統內的電氣鏈路。
發揮所有光子的潛能
Bill Dally 擁有120多項專利,在2009年加入NVIDIA之前,曾任史丹福大學計算機科學系主任。Dally表示:「我們可以將連接GPU的NVLink速度提高一倍,也許還會再翻番,但電子信號最終會消耗殆盡。」
該團隊正在與哥倫比亞大學的研究人員密切合作,探討如何利用電信供應商在其核心網絡中所採用的技術,通過一條光纖來傳輸數十路信號。
這種名為「密集波分復用」的技術, 有望在僅一毫米大小的晶片上實現Tb/s級數據的傳輸,是如今互連密度的十倍以上。
除了更大的吞吐量,光鏈路也有助於打造更為密集型的系統。Dally舉例展示了一個未來將搭載160多個GPU的NVIDIA DGX系統模型。
工程師藉助光鏈路,在單一系統中可搭載160多個GPU
軟體方面,NVIDIA的研究人員開發了全新編程系統原型Legate。開發者藉助Legate,即可在任何規模的系統上,運行針對單一GPU編寫的程序——甚至適用於諸如Selene等搭載數千個GPU的巨型超級計算機。
Legate將一種新的編程速記融入了加速軟體庫和高級運行時環境Legion,目前它正在美國國家實驗室接受測試。
描繪美好未來
除上述三項研究,Dally還在主題演講中談到了NVIDIA特別針對醫療健康、無人駕駛汽車和機器人等眾多行業打造的平臺。同時,他還致力於鑽研數據科學、AI和圖形處理。
Dally表示:「經過幾代人的努力,NVIDIA的產品將通過基於物理渲染的路徑追蹤技術,實時生成令人驚豔的圖像,並能夠藉助AI構建整個場景。」
此外,他還首次公開展示了NVIDIA的對話式AI框架Jarvis與GauGAN的完美組合。GauGAN利用生成式對抗網絡,只需簡略構圖,就能創建美麗的風景圖。在演示中,用戶可通過語音指令,即時生成像照片一樣栩栩如生的畫作。
在主題演講視頻錄製的間隙,Dally接受了採訪,表示對研究團隊在多個領域取得的開創性進展深感自豪。
他說:「當前,NVIDIA在光線追蹤領域所取得進展,都始於NVIDIA 研究院打造的原型,我們的產品團隊都很興奮。2011年,我委派NVIDIA研究員Bryan Catanzaro與史丹福大學教授Andrew Ng共同合作一個項目,後來打造出CuDNN軟體,讓深度學習領域大量的研究工作成為可能。」
立足網絡領域
此外,Dally還牽頭開展了一項合作,構建了 NVLink和 NVSwitch最初的原型。NVLink和 NVSwitch如今用於全球最大型的超級計算機中,實現了其內部GPU的互連。
他說:「產品團隊總能迅速將研究工作轉化為實際成果,這也是NVIDIA如今能夠成為全球公認最領先的網絡公司之一的原因。」
談及對科技的熱情,Dally說自己就像個沉浸在糖果故事裡的孩子。也許某一天,原本還在幫助一組團隊研究AI加速器的他,就會突然轉而幫助另一團隊解決機器人領域的複雜問題。
他說:「我現在所做的,是一份全世界,或者起碼是全公司裡最有趣的工作,讓我有機會能夠助力塑造未來。」
除大會主題演講外,GTC中國線上大會還將提供220多場主題演講和分論壇,均可免費參加,且絕大多數將使用中文。
GTC中國線上大會高峰論壇及初創企業展示
主題演講之後,NVIDIA的資深專家將齊聚高峰論壇,介紹公司在AI、數據科學和醫療健康領域的多項突破性技術在中國的落地應用。
此外,面向AI和數據科學領域初創企業的孵化項目NVIDIA初創加速計劃(NVIDIA Inception)將邀請12家領軍中國初創企業出席此次大會。
大會吸引了眾多行業領軍企業與機構參與其中,包括阿里巴巴、AWS、百度、字節跳動、中國電信、戴爾科技、滴滴、新華三、浪潮、快手、聯想、微軟、平安、騰訊、清華大學和小米。