ITU於2020年8月正式發布AI晶片基準測試標準：ITU-T F.748.11 「Metrics and evaluation methods for a deep neural network processor benchmark（深度學習處理器基準測試評測指標與方法）。
評測標準是AI晶片產業的基礎和標尺
近年來，AI晶片發展呈現出百花齊放的態勢，然而在產業成熟度、落地應用等方面仍存在諸多問題。其中，AI晶片的選型就是當前人工智慧企業面臨的一大難題，建立AI晶片測評標準已成為助力人工智慧產業健康發展的一大訴求。基準測試是一種常用的性能指標測試方式，在計算架構演進中扮演著非常重要的角色，清晰的基準測試指標，不僅可以幫助技術供給企業快速進步，還可為需求方的選型提供參考。
目前，AI晶片的評測，國際上主流的有MLPerf，蘇黎世理工的AI benchmark，國內有中國人工智慧產業發展聯盟（以下簡稱「AIIA」或「聯盟」）的 AIIA DNN benchmark，小米的Mobile AI bench, 中科院計算所智能計算機研究中心的NPUBench等。這些評測多數屬於基準測試的範疇，由於這些基準測試的出發點不同，設計的思路，基準測試的內容和評估指標也都不盡相同，業界尚未有公認的基準測試標準。權威基準測試標準的缺失，一定程度上導致了人工智慧應用企業、集成商、開發者無法準確評價晶片在同行業的技術水平，也無法體現國際市場中的地位。
首個AI晶片基準測試國際標準
ITU發布的首個AI基準測試評測標準，ITU-T F.748.11 「Metrics and evaluation methods for a deep neural network processor benchmark（深度學習處理器基準測試評測指標與方法），提出了AI處理器/加速器在完成以深度學習為代表的人工智慧任務時的基準測試框架，涵蓋訓練任務、推理任務的基準測試評估指標（Metrics），具體的評測方法和推薦評測場景下的工作負載（Workload）。基準測試指標包括時間、吞吐、能效比和準確率等，評測場景以視覺、語音、推薦三大類場景為主，具體包括圖像分類、目標檢測、語音識別、機器翻譯等8大類AI應用。
該項國際標準由中國信息通信研究院牽頭，於2019年7月在國際電信聯盟第十六研究組（簡稱ITU-T SG16）Q5 報告人會議上提出立項，並擔任編輯人（Editor），歷時近1年，經過多輪討論修訂，於2020年6月22日-7月3日，舉行的ITU-T SG16全體會議提交報批並通過全會審議進入公示階段，於2020年8月正式發布。
其評測方法、評測指標及場景參考並採納了聯盟評估規範、AIIA DNN benchmark項目相關研究和中國通信化標準協會行業標準的相關內容，參與單位包括華為、騰訊、Arm中國、寒武紀、阿里巴巴、百度、Intel、賽靈思、Imagination、紫光展銳、鯤雲科技、地平線、南京新一代、燧原科技、西安交通大學、清華大學等20餘家企業、高校及科研機構。
AI 晶片基準測試國際標準的正式發布，標誌著我國在AI晶片領域評測能力得到了國際認可，也是我國AI晶片科研人員對國際標準化研究的重要貢獻，將為我國AI晶片技術、產品和評測走出國門開闢了道路。
關於ITU-T SG16
ITU（國際電信聯盟）為三大國際標準化組織之一，ITU-T即國際電信聯盟電信標準分局 (ITU-T for ITU Telecommunication Standardization Sector), 它是ITU管理下的專門制定電信標準的分支機構。ITU-T SG16是國際電信聯盟標準化局非常活躍的研究組，主要研究領域為多媒體與e-Services。目前，SG16的研究範圍覆蓋了視頻與音頻處理與壓縮編碼、視頻監控、內容分發、大數據、區塊鏈、人工智慧等眾多熱點標準化研究方向。
關於AIIA DNN benchmark
2017年起，中國信息通信研究院聯合20餘家國內外企業、高校及科研機構，在聯盟下發起AI晶片基準測試評估項目AIIA DNN benchmark，目標是圍繞人工智慧晶片研究制定客觀、可信及可復現的評估指標，為產業界提供專業評估評測服務。目前AIIA DNN benchmark已初步形成端+雲全方位基準測試方案，來自華為、Arm中國、高通、賽靈思、Imagination、啟英泰倫、鯤雲科技、上海海思等企業的AI晶片參與了評估評測，項目受到了國內外產業界的廣泛認可。
（http://www.aiiaorg.cn/benchmark）
聯繫方式
中國信通院
雲計算與大數據研究所
張蔚敏
電話：010-62302490
張哲煜
電話：010-62302490
校 審 | 陳 力、 珊 珊
編 輯 | 凌 霄
」
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺「網易號」用戶上傳並發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.