雷鋒網(公眾號：雷鋒網)消息，在10月10日-11日在加拿大蒙特婁召開的Rework Deep Learning Summit會議上，百度高級研究員Greg Diamos介紹了由百度矽谷AI實驗室（SVAIL）與NVIDIA合作的最新成果：一種名為「混合精度訓練」（Mixed Precision Training，簡稱MPT）的深度學習模型。
Greg Diamos在Rework Deep Learning Summit上演講中。
據了解，大多數的深度學習模型使用的是32位單精度浮點數（FP32）來進行訓練，而混合精度訓練的方法則通過16位浮點數（FP16）進行深度學習模型訓練，從而減少了訓練深度學習模型所需的內存，同時由於FP16的運算比FP32運算更快，從而也進一步提高了硬體效率。
通過用半精度運算替代全精度運算來提高效率，這一技術原理聽起來很簡單明了，但將其付諸實施並不像聽起來那麼簡單。此前也有團隊嘗試過使用更低精度進行混合計算（如二進位，甚至4-bit），但問題在於這往往不可避免地造成結果的準確性和在主要網絡變換上的損失，而百度的MPT模型不僅解決了這一問題，更重要的是MPT無需改變網絡超參數（雷鋒網註：超參數指Bayes統計理論先驗分布的參數， 它不像其他的參數可以用統計量估計），並保持與單精度相同的準確性。
在百度研究院博客中，百度進一步解釋了這一模型的原理：
深度學習模型由各種層（Layer）組成，包括完全連接的層，卷積層和反覆層。層與層之間的轉換可以通過通用矩陣乘法（GEMM）來實現，而對深度學習訓練的過程其實很大程度是GEMM計算的過程。
如下圖所示，GEMM操作可以分解為若干個幾個乘法運算和後續的加法運算。
當使用FP16代表神經網絡中的數據時，GEMM操作的輸入矩陣由16位數組成。我們需要可以使用16位計算執行乘法的硬體，但是需要使用32位計算和存儲來執行加法。使用少於32位的加法操作訓練大型深度學習模型會非常困難。
為此，百度不僅與NVIDIA共同解決了硬體支持的問題，雙方還對訓練流程進行了一些修改，模型中的輸入，權重，梯度和激活以FP16格式表示。但是如之前介紹，與FP32數字相比，半精度數字的範圍有限，只是通過簡單地更改存儲格式，某些模型無法達到與單精度相同的精度。為此，NVIDIA和百度採用了兩種關鍵技術：
第一項關鍵技術被稱為「混合精密鑰匙」（mixed precision key）。如下圖所示，在MT模型中仍然保留FP32格式的主副本，將FP16用於正向和反向傳播，優化器中的梯度更新將被添加到主FP32副本當中，該FP32副本被簡化為一個FP16副本在訓練期間使用，這個過程在每次訓練迭代中重複，直至模型收斂且足以恢復損失的精度，從而達到較低內存使用、內存帶寬壓力更低和更快速執行的優點。
深度學習模型的混合精度訓練示意圖
第二種關鍵技術則是「損耗縮放」（loss-scaling）。該技術可以夠恢復一些小數值的梯度。在訓練期間，一些權重梯度具有非常小的指數，其FP16格式可能會變為零。為了克服這個問題，我們使用縮放因子在反向傳播開始時縮放損失，通過連鎖規則，梯度也逐漸擴大，並在FP16中可表示。在將其更新應用於權重之前，梯度確實需要縮小；而為了恢復某些型號的精度損失，必須進行損耗調整。關於這兩種技術的更多細節可以在我們的論文中找到。
百度已使用這種方法使用FP16訓練其DeepSpeech 2模型。結果表明，對於英文和普通話模型和數據集和使用相同的超參數、模型架構進行混合精度訓練實驗，可以得到到FP32訓練的精度。
同時，使用FP16訓練減少了深度學習模型的內存需求，使得百度能夠使用一半的處理器來訓練這些模型，從而有效地加倍了集群大小。此外，FP16算術的峰值性能（如上所述）通常高於單精度計算。
雷鋒網發現，NVIDIA博客也公布了應用混合精度訓練的ImageNet數據集上訓練卷積神經網絡的結果。如果讀者希望了解有關混合精度培訓和全套結果和實驗的更多詳細信息，可點此參閱ArXiv上的論文。
雷鋒網原創文章，未經授權禁止轉載。詳情見轉載須知。