雷鋒網按，本周，MLPerf組織發布了第一個MLPerf Inference v0.5的結果，雖然這個基準測試還不成熟，但依舊獲得了巨頭公司的廣泛關注。並且平頭哥、英偉在成績公布後紛紛發布消息表示自己成績都獲得了第一？
自去年初成立之後， MLPerf組織一直在穩步建立其機器學習到的Benchmarks。為了能夠讓機器學習處理器的基準測試也像CPU那樣，該組織囊括了該行業中的所有知名企業，比如英特爾、NVIDIA、Google和百度。從技術上講，MLPerf基準測試還處於初期階段，它們甚至還沒有完成，但是該組織的成果引起發了巨大關注。
早在6月份，該組織就發布了第二個基準測試集MLPerf Inference v0.5。顧名思義，這是MLPerf組織的機器學習推理基準測試，旨在衡量各種加速器和系統執行訓練後的神經網絡的程度和速度。MLPerf Inference是測試推理性能的通用方法，它最終將成為衡量從低功耗SoC中的NPU到數據中心高性能加速器的標準。在基準測試首次發布的四個多月之後，MLPerf組織發布推理基準測試的首個官方結果。
基準測試的初始版本v0.5仍然非常不完整，它目前僅涵蓋5個網絡/基準，並且還沒有功耗測試指標，這是衡量整體能源效率是必不可少的。儘管如此，基準測試的初始版本吸引了主要晶片公司的關注，這些公司都渴望展示其硬體在基準測試中的成績，並向客戶（和投資者）說明為什麼他們的解決方案更好。實際上，第一輪官方基準測試提交了近600份結果，遠超出了該組織非正式預期的全新基準測（通常需要一段時間才能建立新的行業基準），這更能說明了行業對MLPerf的期待，推理晶片數十億美元的市場將繼續快速增長。
隨著第一輪申請工作的完成，MLPerf組織現在發布其Inference v0.5的官方結果，不過只是大多數（如果不是全部）主要晶片公司都在發布與結果相關的公告，聲明或新聞稿。說實在的，600份提交的成果分布在40種不同的測試中，晶片公司還有很多事情可以做。縮小標準範圍，每個人都可以找到成功的方案，例如總吞吐量、延遲，每個加速器的吞吐量等。這並不是基準測試本身，甚至也不是晶片公司所為，但這給我們提醒，即使初始版本足夠廣泛，也可以涵蓋很多用例，尤其是在專用加速器的情況下，它們通常針對特定用例進行了優化。
作為更新，MLPerf v0.5分為5個基準，其中兩個基準實質上是其各自主基準的移動衍生產品。當前這個套件的桌面/伺服器版本涵蓋了圖像分類（ResNet50），對象檢測（ResNet34）和機器翻譯任務（GNMT）。所有基準測試都提供了四種方案：單路（一個終端運行一個任務），多路（一個終端同時運行多個任務），伺服器（伺服器的實時性能）和離線（不在線的伺服器）。這些實質上將方案分解為終端和伺服器方案，並從分解為相應平臺的兩個最常見方案。
更進一步，MLPerf提供了兩個測試「分區」：封閉分區和開放分區。封閉分區是「蘋果對蘋果（apples-to-apples）」測試，晶片將獲得預先訓練的網絡和預先訓練的權重。在選擇要使用的精度等級（只要滿足精度要求）方面，晶片公司在量化方面仍具有一定的靈活性，但是在封閉的分區，他們的解決方案仍必須達到數學上的等效性，並且禁止重新訓練網絡。這個目的在於，測試平臺能否很好地執行預訓練好的網絡。
相比之下，開放式分區顯然更加開放。晶片公司被允許重新訓練網絡以及進行更廣泛的量化工作。絕對不是封閉測試區那樣的蘋果對蘋果，開放分區本質上是一種結構較少的結構化格式，可以讓晶片公司以最佳的方式展示其解決方案和團隊的獨創性。
深入研究結果，MLPerf最終收到了從CPU和GPU到FPGA，DSP和專用ASIC等各領域的官方意見。 正如一位MLPerf代表指出的那樣，該組織實質上收到了除神經形態和模擬系統以外的每種類型處理器的成果。 當然會有大公司的代表，包括NVIDIA的GPU、谷歌的TPU、英特爾的CPU和加速器以及Habana Labs的Goya加速器。即使在封閉分區，也有一些預期外的結果，包括Raspberry Pi 4和阿里巴巴的含光800加速器。
總的來說，我不會在這裡對結果進行過多的剖析，因為大量的測試意味著非常多的對比。更重要的是，缺少功耗測試意味著目前無法測量能效。但總的來說，幾乎每個晶片公司都可以在某個類別中取得勝利。在離線測試中，看到了Google從1 TPUv3到32的幾乎完美的拓展性，NVIDIA的Tesla加速器在一些測試中名列前茅，英特爾在CPU中位居榜首，高通的驍龍855在官方結果中也遠遠超過其它SoC。
關於MLPerf推理的第一組結果不會成為推理性能的最終成績。在開發方面，MLPerf組織仍在努力完善基準，以添加其他網絡類型，著眼於語音識別等任務。 同樣，該組織將進行功耗測試，以便每個人都能看到他們的設計效率，因為電源效率通常是大規模部署規劃的最重要考慮因素。
儘管這些早期版本的MLPerf在添加和優化測試時和目標還有不同，但對於晶片公司來說，他們現在知道自己和競爭對手所處的位置。比參數更重要的是，機器學習優化的開放性性質意味著晶片公司還有大量空間來優化其系統以進行將來的測試，以及設計更好的新硬體。客戶（其中許多人在MLPerf委員會中）希望加快工作進展。因此，既然第一個結果已經出爐，晶片公司就可以專注於其產品，並了解如何才能進行下一輪正式測試。
最後，從更長遠來看，MLPerf Inference基準測試在未來幾年內將趨於成熟（該組織目前尚未估計1.0何時準備就緒），這也意味著該基準測試將穩定下來，並且在晶片公司的性能實驗室之外更容易使用。MLPerf組織已經發表評論說，他們將開發行動應用程式以加快對智慧型手機和其他智能設備的測試，並且我們期望桌面基準測試的情況也將日趨成熟。如果運氣好的話，在不久的將來，我們將能夠把MLPerf推理應用到我們自己的測試中，並將這些測試轉換為有意義的結果，以比較消費類硬體。激動人心的時刻到來了！
雷鋒網編譯，via anandtech 雷鋒網(公眾號：雷鋒網)
雷鋒網原創文章，未經授權禁止轉載。詳情見轉載須知。