著名計算機科學家 Bill Dally 講述他的團隊如何助力 AI 性能實現逐年翻倍。
今天,NVIDIA 首席科學家 Bill Dally 在 GTC 中國線上大會主題演講中說道,NVIDIA 的研究人員致力於打造速度更快的 AI 晶片,並將其用於具有更高帶寬的系統,從而簡化編程。
他以三個項目為例,講述了自己帶領的 200 人的研究團隊如何成功實現「黃氏定律 (Huang’s Law)」。這則以 NVIDIA 執行長黃仁勳(Jensen Huang)名字命名的定律,預測 GPU 將推動 AI 性能實現逐年翻倍。
Dally 講述:「如果我們真想提高計算機性能,黃氏定律就是一項重要指標,且在可預見的未來都將一直適用。此前,Dally 曾負責 NVIDIA 在 AI、光線追蹤和高速互連領域的相關研究。」
NVIDIA 助力 AI 推理性能每年提升一倍以上
為實現這一突破,NVIDIA 研究人員專門開發了一種名為 MAGNet 的工具,其生成的 AI 推理加速器在模擬測試中,能夠達到每瓦 100 tera ops 的推理能力,比目前的商用晶片高出一個數量級。
MAGNet 採用了一系列新技術來協調並控制通過設備的信息流,最大限度地減少數據傳輸,而數據傳輸正是當今晶片中最耗能的環節。這一研究原型以模組化實現,因此能夠靈活擴展。
另外,研究團隊還開展了一項研究,旨在以更快速的光鏈路取代現有系統內的電氣鏈路。
Bill Dally 擁有 120 多項專利,在 2009 年加入 NVIDIA 之前,曾任史丹福大學計算機科學系主任。Dally 表示:「我們可以將連接 GPU 的 NVLink 速度提高一倍,也許還會再翻番,但電子信號最終會消耗殆盡。」
該團隊正在與哥倫比亞大學的研究人員密切合作,探討如何利用電信供應商在其核心網絡中所採用的技術,通過一條光纖來傳輸數十路信號。
這種名為「密集波分復用」的技術,有望在僅一毫米大小的晶片上實現 Tb/s 級數據的傳輸,是如今互連密度的十倍以上。
除了更大的吞吐量,光鏈路也有助於打造更為密集型的系統。Dally 舉例展示了一個未來將搭載 160 多個 GPU 的 NVIDIA DGX 系統模型。
工程師藉助光鏈路,在單一系統中可搭載 160 多個 GPU
軟體方面,NVIDIA 的研究人員開發了全新編程系統原型 Legate。開發者藉助 Legate,即可在任何規模的系統上,運行針對單一 GPU 編寫的程序——甚至適用於諸如 Selene 等搭載數千個 GPU 的巨型超級計算機。
Legate 將一種新的編程速記融入了加速軟體庫和高級運行時環境 Legion,目前它正在美國國家實驗室接受測試。
除上述三項研究,Dally 還在主題演講中談到了 NVIDIA 特別針對醫療健康、無人駕駛汽車和機器人等眾多行業打造的平臺。同時,他還致力於鑽研數據科學、AI 和圖形處理。
Dally 表示:「經過幾代人的努力,NVIDIA 的產品將通過基於物理渲染的路徑追蹤技術,實時生成令人驚豔的圖像,並能夠藉助AI構建整個場景。」
此外,他還首次公開展示了 NVIDIA 的對話式 AI 框架 Jarvis 與 GauGAN 的完美組合。GauGAN 利用生成式對抗網絡,只需簡略構圖,就能創建美麗的風景圖。在演示中,用戶可通過語音指令,即時生成像照片一樣栩栩如生的畫作。
藉助 NVIDIA Jarvis,用戶可通過語音指令,利用 GauGAN 進行繪畫創作
在主題演講視頻錄製的間隙,Dally 接受了採訪,表示對研究團隊在多個領域取得的開創性進展深感自豪。
他說:「當前,NVIDIA 在光線追蹤領域所取得進展,都始於 NVIDIA 研究院打造的原型,我們的產品團隊都很興奮。2011年,我委派 NVIDIA 研究員 Bryan Catanzaro 與史丹福大學教授 Andrew Ng 共同合作一個項目,後來打造出 CuDNN 軟體,讓深度學習領域大量的研究工作成為可能。」
此外,Dally 還牽頭開展了一項合作,構建了 NVLink 和 NVSwitch 最初的原型。NVLink 和 NVSwitch 如今用於全球最大型的超級計算機中,實現了其內部 GPU 的互連。
他說:「產品團隊總能迅速將研究工作轉化為實際成果,這也是 NVIDIA 如今能夠成為全球公認最領先的網絡公司之一的原因。」
談及對科技的熱情,Dally 說自己就像個沉浸在糖果故事裡的孩子。也許某一天,原本還在幫助一組團隊研究 AI 加速器的他,就會突然轉而幫助另一團隊解決機器人領域的複雜問題。
他說:「我現在所做的,是一份全世界,或者起碼是全公司裡最有趣的工作,讓我有機會能夠助力塑造未來。」
除大會主題演講外,GTC 中國線上大會還將提供 220 多場主題演講和分論壇,均可免費參加,且絕大多數將使用中文。
主題演講之後,NVIDIA 的資深專家齊聚高峰論壇,介紹公司在 AI、數據科學和醫療健康領域的多項突破性技術在中國的落地應用。
此外,面向 AI 和數據科學領域初創企業的孵化項目NVIDIA 初創加速計劃(NVIDIA Inception)將邀請 12 家領軍中國初創企業出席此次大會。
大會吸引了眾多行業領軍企業與機構參與其中,包括阿里巴巴、AWS、百度、字節跳動、中國電信、戴爾科技、滴滴、新華三、浪潮、快手、聯想、微軟、平安、騰訊、清華大學和小米。
NVIDIA 首席科學家 BILL DALLY 通過 GTC 中國線上大會 2020 主題演講,為您解讀 NVIDIA 新科技如何助力解決當今世界的巨大挑戰。點擊「了解更多」觀看演講視頻!