如何利用稀疏性提高AI推理速度？

如果你玩過疊疊樂，那麼就可以把AI稀疏性（sparsity）想像成是疊疊樂。

遊戲參與者首先將積木塊交錯堆疊成一座積木塔。然後，每名玩家輪流取出一塊積木，過程中玩家必須小心翼翼的，不能讓積木塔倒塌。

遊戲開始的時候，抽取積木很容易，但越往後進行就會變得越驚險，最後必定會有一名玩家在取出積木時碰倒整個積木塔。

多年來，研究人員們一直在研究如何通過稀疏性加速AI，其過程就像是在玩兒數字版的「疊疊樂」。他們嘗試著儘可能多地從神經網絡中抽出多餘參數，同時又不破壞AI的超高精度。

這樣做是為了減少深度學習所需的矩陣乘法堆，從而縮短取得準確結果的時間。但到目前為止，還沒有出現「大贏家」。

過去，研究人員嘗試了多種技術，抽出部分的權重甚至達到了神經網絡的95％。但是，在整個過程中，他們所花的時間要遠多於他們所節省的時間，而且他們還需要付出巨大的努力來彌補精簡後的模型精度。此外，適用於一種模型的精簡方法往往並不適用於其他模型。

但如今，這一問題得到了解決。

數字稀疏

NVIDIA Ampere架構為NVIDIA A100 GPU帶來了第三代Tensor Core核心，其可以充分利用網絡權值下的細粒度稀疏優勢。相較於稠密數學計算（dense math），最大吞吐量提高了2倍，而且不會犧牲深度學習的矩陣乘法累加任務的精度。

測試表明，這種稀疏方法在許多AI任務（包括圖像分類、對象檢測和語言翻譯）中使用，都能保持與使用稠密數學計算相同的精度。該方法還已在卷積神經網絡和遞歸神經網絡以及基於attention的transformer上進行了測試。

A100使用稀疏矩陣加速AI推理任務

內部數學加速能夠對應用層面產生重大影響。A100 GPU可以利用稀疏性運行BERT（BERT是最新的自然語言處理模型），其運行速度比稠密數學計算快50％。

NVIDIA Ampere架構利用了神經網絡中小值的普遍性，讓儘可能多的AI應用受益。具體而言，該架構定義了一種可以減少一半權值（50％稀疏）來訓練神經網絡的方法。

少即是多，但前提是正確

一些研究人員使用粗粒度的剪枝方法從神經網絡層中切斷整個通道，這往往會降低網絡精度。而NVIDIA Ampere架構中的方法採用了結構化稀疏和細粒度修剪技術，因此不會明顯降低精度，用戶可以在重訓練模型時進行驗證。

在將網絡修剪到合適狀態後，A100 GPU將自動完成其餘工作。

A100 GPU中的Tensor Core核心能夠有效地壓縮稀疏矩陣以實現合適的稠密數學計算。跳過矩陣中的實際值為零的位置能夠減少計算量，從而節省功耗和時間。壓縮稀疏矩陣還可以減少佔用寶貴的內存和帶寬。

我們對稀疏性的支持是NVIDIA Ampere架構中的眾多新功能之一，它將AI和HPC性能推向新的高度。