近日，在北京舉行的2019人工智慧計算大會（AICC 2019）上，浪潮發布主流自然語言處理（NLP）模型Transformer的最新性能測試數據。Transformer模型參數規模可達數億，對計算、通信的要求非常高。性能數據顯示，相比同類伺服器，浪潮AI伺服器NF5488M5大幅提升了Transformer的訓練性能，GLUE基準訓練至80.4%的時間相比同類產品大幅減少67%。
人工智慧正在由「能看、會聽」的感知智能向「能讀、會寫」的認知智能邁進。由於文字是信息、思想的重要載體，如果計算機能夠理解文字並能夠用文字表達，那麼就具備了讀寫能力，因而NLP被認為是認知智能的重要突破口。目前主流的NLP模型包括Transformer, Bert, GPT, XLNet等，而Bert和GPT都基於Transformer架構。Transformer被視為是NLP的經典模型，2017年由谷歌提出，其利用自注意力（self-attention）機制實現快速並行，並且可以增加到非常深的深度，充分發掘DNN模型的特性，提升模型準確率。
但是Transformer模型訓練是一大難題，因為其參數規模達到數億，對計算力的需求很大。OpenAI的Transformer模型有12層、768個隱藏單元，使用8塊P100 GPU在8億詞量的數據集上訓練40個Epoch需要一個月。背後的原因很大程度上在於GPU通信制約。Transformer Attention機制的全連接層計算時會產生海量參數，而更新參數梯度需要GPU間高速傳輸。同時，模型規模很大導致佔用大量GPU顯存，而batchsize通常都很小，導致每次計算的時間較快，計算後更新參數梯度頻繁，這也進一步要求更高的GPU間傳輸速度。
浪潮AI伺服器NF5488M5 通過無阻塞的GPU全互連設計，突破性地實現了All to All 300GB/s的Peer to Peer帶寬。在當前深度學習通信模型All Reduce性能表現上，NF5488M5的實際通信帶寬可以達到採用常規NVLink互聯的GPU伺服器的3倍以上。正是這種特性，大大提升了Transformer模型在NF5488M5上的通信效率，從而加大了計算通信比，節約了整體運行時間。測試結果表明，NF5488M5大幅提升了Transformer訓練性能，GLUE基準訓練至80.4%的時間比採用PCIe互聯的8GPU伺服器縮短67%，比採用常規NVLink互聯的8GPU伺服器縮短31%。
浪潮集團AI&HPC總經理劉軍認為，當前基於Transformer的Bert, XLNet等模型代表了NLP的發展方向，而它們的特點就是加速器間通信制約。測試結果充分表明浪潮AI伺服器NF5488M5在GPU間通信效率上具有顯著領先優勢，能夠大幅提升Transformer等大型AI工作負載的訓練性能，降低訓練成本，加速認知智能研發和應用落地。
浪潮是人工智慧計算的領導品牌，AI伺服器中國市場份額保持50%以上，並與人工智慧領先科技公司保持在系統與應用方面的深入緊密合作，幫助AI客戶在語音、語義、圖像、視頻、搜索、網絡等方面取得數量級的應用性能提升。浪潮與合作夥伴共建元腦生態，共享AI計算、資源與算法三大核心平臺能力，助力行業用戶開發並部署屬於自己的「行業大腦」，加速推進產業AI化落地。