「18項AI推理性能紀錄！包括圖像分類、自然語言理解、智能推薦、語音識別等場景。」
在剛剛結束的MLperf推理測試評測中，浪潮NF5488A5閃耀全場，成為MLperf榜單中打破記錄最多的AI伺服器。它在Resnet50模型推理任務處理達到每秒處理54.9萬多張圖片；Bert自然語言理解推理任務達26675條/秒；DLRM智能推薦每秒推理處理能力達210萬條。
浪潮NF5488A5創造18項MLPerf推理性能記錄
憑藉強大的性能與軟體優化，浪潮NF5488A5在與同樣師出名門的20家企業「參賽伺服器」測試對比中脫穎而出，獲得了訓練、推理雙料冠軍。
等等，為何當今AI這麼火？連評測都轉成了AI項目測試了，真正市場需要有這麼大嗎？
答案當然是肯定的。IDC預測，未來五年人工智慧市場複合增長率將達到44.9%，整體規模將達到175億美金。
未來AI商業化有兩個巨大的市場空間，一是AI產業化，二是產業AI化。人工智慧經過數十年的發展，已經從實驗室階段到進化到AI產業化。從智能音箱到自動駕駛、生物識別，應用場景不斷成熟，人工智慧也正逐漸滲透到各行各業，產業AI化迎來了爆發性增長。
為AI產業提供計算力的平臺，就是浪潮NF5488A5這樣性能強大的AI計算伺服器。
我為AI狂，浪潮5488A5問鼎MLPerf評測
接下來我們先來了解一下當今炙手可熱的MLPerf測試。MLPerf基準聯盟，現有50多家成員，包括谷歌、微軟、Facebook、阿里巴巴、浪潮等企業，以及斯坦福、哈佛等高校。
MLPerf是一套用於測量和提高機器學習軟硬體性能的通用基準，主要用來測量訓練和推理不同神經網絡所需要的時間。近日所進行的測試就是針對伺服器推理方面性能。MLPerf測試集包含了不同領域的Benchmark子項，主要包括圖像分類、物體識別、翻譯、推薦、語音識別、情感分析以及強化學習。
既然是測試，就肯定會有跑分的環節。MLperf針對不同領域設置了不同的Benchmark，對於MLPerf Training測試，每個Benchmark的評價標準是：在特定數據集上訓練一個模型使其達到Quality Target時的Clock time。由於機器學習任務的訓練時間有很大差異，因此，MLPerf 的最終訓練結果是由指定次數的基準測試時間平均得出。Train測試時間包含了模型構建，數據預處理，訓練以及質量測試等時間。
據了解，本次MLPerf推理基準測試設有六個基準，重點面向圖像分類、目標物體識別檢測、醫學影像分割、機器翻譯、自然語言處理和智能推薦等常見機器學習任務。參賽選手可以選擇提交任何基準及相應場景的結果。
MLPerf專為數據中心場景設計了一系列Benchamrk，數據中心場景下的各種推理基準測試包括: 圖像分類、物體檢測、語言翻譯(gmnt)、語義理解、智能推薦等。
在數據中心Closed任務的16項性能指標中，浪潮NF5488A5打破了11項整機性能記錄。
我們來看看其中Resnet50和Bert-99.9這兩項測試。Resnet是殘差網絡(Residual Network)的縮寫，廣泛用於目標分類等領域以及作為計算機視覺任務主幹經典神經網絡的一部分，典型的網絡有resnet50、resnet101等。
浪潮NF5488A5在Resnet50中close封閉任務場景的server項目中得分262305，奪得該項目第一名；offline項目得分303264；在開放優化賽道更是達到驚人的549782/秒的成績，同比2019年伺服器全球最好紀錄提升3倍，與其他選手拉開了明顯差距。
BERT模型是谷歌提出的基於雙向Transformer構建的語言模型，主要考察伺服器的模型訓練性能表現。浪潮NF5488A5在該項測試中依然力拔頭籌，甚至在得分方面壓制住了備受關注的DGX系統，要知道這可是NVIDIA剛剛推出的明星級產品，其他類型伺服器選手更是遠遠甩在了身後。
內功深厚的浪潮NF5488A5
那麼，相比其他同類型伺服器，浪潮NF5488A5又有何過人之處呢？
先來看看硬指標，NF5488A5是浪潮自研的新一代AI伺服器，特點在於4U空間內可支持8顆第三代NVLink全互聯的NVIDIAA100 GPU，搭載2顆支持PCIe4.0的AMD EPYC7742處理器。
仔細觀察不難發現，這些豪華硬體背後的特點就是：高帶寬、低延遲！也就是說，浪潮NF5488A5在系統拓撲上採用了超低延遲設計，支持PCIe 4.0全鏈路優化，高頻通信單元採用一級拓撲最近連接，最大限度提升處理器到AI晶片間的通信性能。通過配置NUMA節點，確保每顆處理器與其直連的GPU之間通信性能最優，最大限度降低通信延遲。
此外，NF5488A5還採用了當今備受關注的高溫化設計，通過深度優化系統結構設計，確保設備可在高環溫下穩定運行，因此適用範圍、場景也更廣。
正是因為有了這些過人之處的設計與優化，才使得浪潮NF5488A5能夠輕鬆打破18項AI性能紀錄。
AI計算正在助力各行各業快速發展
幾年前，行業用戶問題大都集中在「AI能做什麼？」，而現在，關注的則是還有哪些應用沒有用上AI。從AI的發展到壯大的過程，似乎快的令人難以想像。
與此同時，計算力的快速發展極大促進了各行業應用場景的成熟，AI產業化正加速向產業AI化邁進。網際網路、智慧城市、金融行業已經全面融入了AI，未來五年，智造、零售等行業也在逐步加速產業AI化進程。
打開智慧型手機，各式各樣的應用幾乎都與AI和計算力有著密切聯繫。微信中的圖片識別、語音轉文字；金融應用中的智能客服；工具軟體中的拍照翻譯；購物軟體中的拍攝識物等等，它們的背後都是由AI伺服器來支撐。
以浪潮NF5488A5為例，如此強大的軟、硬體系統，它能夠廣泛應用於圖像視頻、語音識別、金融分析、智能客服等典型AI應用場景，幫助AI用戶高效完成AI基礎設施和開發環境的構建，縮短開發周期，顯著提升AI開發和應用效率，在享受更高計算性能的同時降低部署、運行成本。
一直以來，浪潮都在深耕人工智慧計算領域，其產品也早已享譽全球。早在2017年，浪潮就曾發布「智慧計算」戰略，聚焦打造全球領先的AI算力。現如今，浪潮擁有全球最豐富的AI產品陣列，涉及訓練、推理、邊緣等全棧AI場景，還構建了領先的AI框架優化、AI開發管理和應用優化等全棧AI能力。
IDC發布最新一期《2020H1中國AI加速計算報告》。報告顯示，2020年上半年，中國AI伺服器市場規模達到12.9億美元，同比增長53.7%。其中，浪潮AI伺服器市佔率百分點達53.5%。 連續三年保持中國市場第一。