人工智慧的「指數」增長正在改變計算的本質

人工智慧和機器學習的大規模應用正在改變計算的本質。

谷歌軟體工程師Cliff Young於周四早上在Linley Group秋季處理器大會上發表了開幕主題演講。

Young表示，人工智慧的使用達到了一個「指數階段」，同時摩爾定律，幾十年前關於半導體進步的經驗法則已陷入停滯狀態。

谷歌TPU陣列（圖片來源：Google）

Young認為，由於傳統晶片難以實現更高的性能和效率，因此AI研究人員的需求激增。

他發布了一些統計數據：康奈爾大學的關於機器學術論文數量每18個月增加一倍。

而在谷歌專注於人工智慧的內部項目數量也每18個月增加一倍。

執行機器學習神經網絡所需的浮點運算操作的數量每三個半月翻一番。

所有計算需求的增長都加起來就是「超級摩爾定律」。

傳統的神經網絡可能有數十萬個這樣的重量，必須計算，甚至數百萬，谷歌的科學家們說「請給我們一臺重量級的機器」，計算機能夠計算萬億的重量。這是因為「每次你將神經網絡的大小增加一倍，我們的準確度就會提高。」 。

機器學習增長趨勢（圖片來源：Google）

為了解決問題，谷歌一直在開發自己的機器學習晶片系列，即「Tensor Processing Unit」。需要TPU和類似的部件，因為傳統的CPU和圖形晶片（GPU）無法跟上。

TPU在2017年首次亮相時引起了騷動，其性能優於傳統晶片。谷歌目前已進入TPU的第三次迭代，它在內部使用，並通過谷歌雲提供按需計算節點。

此外：Google宣布推出Edge TPU，Cloud IoT Edge軟體

該公司繼續發展越來越大的TPU實例。Young表示，它的「pod」配置將1,024個單獨的TPU連接到一臺新的超級計算機上，而谷歌打算「繼續擴展」該系統。

「我們正在構建這些巨大的多臺計算機，具有數十億的計算能力，」他說。「我們正在不斷向前推進各個方向。」

TPU採用最快的內存晶片，即所謂的高帶寬內存或HBM。他說，在訓練神經網絡時，對內存容量的需求急劇增加。

谷歌也正在調整它如何編程神經網絡以充分利用硬體。「我們在數據和模型並行性方面做了大量工作」，其中包括「Mesh TensorFlow」等項目，這是對該公司TensorFlow編程框架的改編，該框架「將數據和模型並行化結合在一起」。