AI界的State of the Art都在這裡了

機器之心編輯

參與：劉曉坤、思源

近日，來自 MIT 和 UNAM 的四名學生構建了一個收錄了最優算法的網站，他們按領域、任務和數據集採集了最先進水平（SOTA）的論文，並為不同的任務提供了不同的性能度量標準。如果我們需要處理特定數據集或任務，這能大大減少搜索論文的時間，同時還能快速了解當前最優的解決方案。

項目地址：https://www.stateoftheart.ai/

正如這些學生所言：「我們希望將所有資源都高效地分配到如今迅猛發展的 AI 和 ML 領域。」因此這個項目可以更高效地利用手中的資源，包括將時間、精力和計算資源都投入到真正的當前最優方法和結果上。

State Of The Art

儘管目前已經有很多諸如 arxiv-sanity、GroundAI、Deep Learning Monitor、reddit、Medium 等等能幫助我們緊跟 AI 和 ML 領域最新發展的網站。作者認為目前我們尚未擁有易於查詢的項目來檢索最先進的、可量化的任務結果。遵循這個想法，作者的目標是建立這個工具，不僅對研究人員有用，對任何想要諮詢或有助於推動該領域的人都有用。

基於這樣的目標，作者選取了 State Of The Art 作為衡量標準。很多讀者都很熟悉當前最優結果（SOTA），現在的新研究很多都嘗試給出更好的 SOTA 結果。而大部分新的最優結果主要關注修正部分結構或給出一些技巧，我們很難判斷實際上這樣的修正到底重不重要。為此，作者認為一個能真正包含 SOTA 結果的項目是非常有價值的，因此也就有了 stateoftheart.ai。

數據來源與度量

數據的主要來源是可以上傳其領域相關結果的機器學習社區。社區的開發者在閱讀（大量）文章後，會知道哪些論文是真正重要的、哪些論文的 SOTA 結果是可以復現的。此外，爬取網頁和幾個現有數據集和網站的數據同樣可以為項目提供數據。最後，數據的另一部分來自電子前沿基金會的《Measuring the Progress of AI Research》報告。

報告地址：https://www.eff.org/ai/metrics

當然，衡量 AI 領域進展的許多方面既不容易量化，也不能以表格形式展示。此外，任務的分類在某種程度上必然是有任意性的和不完整的。但是，在許多情況下，這樣的工具非常有用，並且始終可作為非全面的初始參考。該項目已經覆蓋了計算機視覺、AI 遊戲、自然語言處理、網絡圖和知識庫、程序歸納和程序合成、音頻處理，以及時間序列處理等領域。

項目示例

開放平臺並使其簡單無縫，每個人都可以做出貢獻是至關重要的。任何人只要註冊後就可以使用「Upload Result」按鈕上傳新任務、指標或結果。目前，該網站支持通過論文的 DOI / URL 來上傳結果。這裡主要展示了圖像分類與機器翻譯的 SOTA 結果，項目會提供對應原論文與具體數據集上的結果。此外，作者還將根據用戶反饋調整平臺以適應更多用例場景。

目前該網站不支持搜尋引擎，但可以通過多級分類按鈕進行檢索。檢索共分為三個級別，領域、任務和數據集。只要依次選中想要的檢索關鍵詞，就可以在下方的表格中查到定量的 state of the art 數值結果。如下圖所示，依次選中「計算機視覺」、「圖像分類」和「ImageNet」後，就能看到當前最佳的 ImageNet 分類器的相關信息。

從表格中分別能查詢到相關論文、作者、算法、論文接收會議和性能指標，以及論文的連結。

從這裡的數據來看，作者收集了多種分類指標，包括準確率、誤差率、top-1 準確率和 top-5 準確率，並分離地進行排序。

按照 top-1 準確率和 top-5 準確率指標，最佳的 ImageNet 分類器應該是 2018 年的《Learning Transferable Architectures for Scalable Image Recognition》這篇論文中提出的 NASNET-A(6) 架構，其 top-1 準確率為 82.7%，top-5 準確率為 96.2%。

此外，算法描述也能提供一個簡要的理解。例如在機器翻譯中的 NIST05 (Chinese-English) 數據集上，當前最優的論文可以視為結合了 Transformer 與 CSGAN。算法簡述與其所投的的大會能讓我們在最短的時間內對該論文有一個直觀了解：

關於該項目的數據更新程度，我們可以根據近期比較受關注的 BERT 模型收錄情況感受一下。在自然語言處理領域，已經可以在很多任務中找到 BERT 的身影，包括分類、常識推理、實體識別、語法、電影評論等。

當然，這裡收錄的 SOTA 結果也不全包含最新的。比如，依次點擊「Game Playing」、「Abstract-Strategy」、「Go」之後，你將看到如下結果：

表中顯示 AlphaGo Zero 是最新的 SOTA 圍棋 AI，但實際上我們都知道，應該是近期上了 Science 封面的 AlphaZero：