人工智慧領域很多引人注目的進展並不真實

2020-11-22 騰訊網

新智元報導

來源：Science

編輯：白峰

【新智元導讀】近日，一名MIT的自由科學家Hutson在Science發文，抨擊「人工智慧的一些進展並不真實」，MIT研究人員對當前的一些AI論文進行了系統評估後發現，新模型和之前的經典模型結果相差並不大，論文作者宣稱的效果提升大部分是舊模型的微小改動，並採用了不同的評價標準。

人工智慧似乎變得越來越聰明。每一部 iPhone 都比上一部更好地了解你的面孔、聲音和習慣，各種性能的提升真的是來自算法的創新嗎？

Matthew Hutson

多數算法改進缺乏創新性

麻省理工學院(MIT)計算機科學專業的研究生戴維斯•布拉洛克(Davis Blalock)表示，有些算法改進來自微調，而不是發明者聲稱的核心創新，而且有些改進可能根本不存在。

Blalock 和他的同事比較了幾十種改進神經網絡的方法。「我們梳理了50篇論文，但是我們仍然不知道最先進的技術到底是什麼。」

研究人員評估了81種剪枝算法，這些剪枝算法主要是裁剪一些不必要的連接以提高神經網絡效率。所有人都都變著法說自己的算法是最好的， 但他們很少進行公允的有說服力的比較ーー當研究人員把這些算法放在同一標準下評估時，10年的時間，並沒有什麼顯著的改善。

以剪枝算法為例，質疑這些論文主要原因有以下幾點：

缺乏一個完備的比較。2010年之前的算法沒有加入評估，最近的更新也沒有，對比較多的是VGG、ResNet這些經典架構，而最新的EfficientNet則很少。

你用了ImageNet，好我用CIFAR；什麼你也用CIFAR，RseNet架構？那我用CIFAR和VGG。。

數據集和神經網絡架構都不統一，得出的結論實在很難讓人信服。

評價指標不一致，結果描述不完整。僅從效率和準確率無法評估出模型的對比效果。只有一篇論文使用了標準差來評估整體的趨勢。

還有一點就是大家用的數據預處理方法、超參數的調整策略，使用的框架，剪枝和微調介入的時期等都沒有統一，這些都會導致結果的不同。比如同樣的算法，有些PyTorch的實現就比TensorFlow的好，當然反過來也有可能。

水論文到底在玩什麼把戲？

今年三月份在MLSys上公布的結果讓 Blalock 的博士導師，麻省理工學院的計算機科學家 John Guttag 感到驚訝，「這種不平衡的比較本身就可以解釋為什麼停滯不前了」。這是老一套了，對吧?

從當前主流的機器學習架構來看，機器學習算法的收益主要來自其結構、損失函數或優化策略的根本性變化。

卡內基梅隆大學的計算機科學家 Zico Kolter 研究圖像識別模型，該模型被訓練後可以對黑客的「對抗性攻擊」免疫。

一種早期的對抗性訓練方法投影梯度下降法(PGD) ，現在一些更複雜的方法看似超越了PGD，但是在二月份的 arXiv 論文中，Kolter 和他的同事們發現，只需要一個簡單的技巧來增強PGD，所有這些方法的效果都差不多。

論文灌水成風，但剪枝算法建議別發了

網友對如今AI論文灌水之風也是頗有微詞，比如NIPS2018入選千篇。

知乎網友@Xiang Wang提出，論文要麼跟實際貼合提升業務，要麼就是理論創新，但是很多論文兩者都沒有做到，純用捏造，實在是尷尬。

即使新方法並不比舊方法好到哪裡去，每隔一段時間也會有一個新的算法實現應用上的突破， 「這幾乎就像一個風險投資組合，其中一些東西並沒有真正發揮作用，但一些業務卻表現出色」。

一些工業界看起來很好的效果可能是因為該領域的爆炸性增長，論文數量超過了有經驗的審稿人。評審人員時間緊任務重，只與基準進行比較，很容易得出偏見性的結論。

今年早些時候，Blalock 的合著者，麻省理工學院的研究員 Jose Gonzalez Ortiz，發布了一款名為 ShrinkBench 的軟體，該軟體是基於PyTorch並且是開源的，它使得比較剪枝算法變得更加容易，以後再發這類的論文可要注意了！

參考連結：

https://www.zhihu.com/question/59002888)

https://www.sciencemag.org/news/2020/05/eye-catching-advances-some-ai-fields-are-not-real)

https://proceedings.mlsys.org/static/paper_files/mlsys/2020/73-Paper.pdf

相關焦點

  • Science：AI領域那麼多引人注目的「進展」，竟是無用功
    選自Science作者：Matthew Hutson機器之心編譯參與：魔王近日，一篇 Science 社論文章梳理了近年來 AI 各子領域的進展，發現看似紅紅火火的領域實際上毫無進展但是一些改進來自於微調，而不是其創造者所說的核心創新，甚至有些改進根本不存在，MIT 計算科學與人工智慧實驗室博士 Davis Blalock 如是說。Blalock 及其同事對比了數十種神經網絡改進方法，發現「看完五十篇論文，愈發不明白當前最優性能是什麼樣了」。他們一共評估了 81 種剪枝算法，即通過修剪不必要的連接提高神經網絡效率的方法。
  • 2018年,機器學習和人工智慧領域最重要的突破是什麼?
    2018年，人工智慧發展到什麼階段了？Quora鼎鼎有名的大V認為，AI炒作和AI威脅論在今年都降溫，並且不會有AI寒冬，升溫的是各種開源框架，2019年的AI，你認為會是怎樣？ 2018年，機器學習和人工智慧領域最重要的突破是什麼？ （這裡給你留出充分思考的時間。）
  • 霍金是怎樣看待人工智慧的?他對人工智慧的真實態度是什麼
    繼續說這本《十問：霍金沉思錄》，這一回，我們來說說霍金是怎樣看待人工智慧的？人工智慧最終會超越人類的智能嗎？可能你之前看過一些國外媒體的報導，這些報導常常會以「霍金警告人類，人工智慧終將超越人類智能」作為聳動的標題。
  • 2019 AI Index 報告出爐:AI 領域取得的進展很多,但結果憂喜參半
    今年，該報告還研究了諸如人工智慧招聘、私人投資、國家對人工智慧研究的推動作用、研究人員離開學術界進入工業界以及人工智慧在特定行業中發揮了多大作用等趨勢。同時，報告還指出了 AI 領域在減少 AI 系統的訓練時長和降低計算成本所取得的長足進展，而訓練時長和計算成本也是 AI 普及率的最大阻力之二。
  • 西安交大在基於人工智慧的微生物傳感器研究領域獲進展—新聞...
  • 這是一份 2018 年 AI/ML 領域年度進展總結,你準備好了嗎
    雷鋒網 AI 科技評論按，2018 年已到尾聲，今年 AI 領域也取得了很多精彩的突破。人們對 AI 的大肆宣揚和恐慌逐漸冷卻，更多地關注到具體的問題中。和往年不一樣的是，今年深度學習在很多非計算機視覺領域也取得了突破，尤其是在 NLP 領域。
  • 中國的自然語言處理領域的人工智慧公司
    當然了，霍金的電腦輪椅設備是沒有人工智慧的（也就是說語音合成並不一定是人工智慧，關鍵還是要看機器背後的算法）。科學家們已經可以讓電腦像人那樣自主說話，這個時候電腦就具有人工智慧的語音合成。比如微軟小冰，比如 「賢二」機器人和尚，這些會說話的機器人都具有人工智慧。
  • 人工智慧領域十項最具特色的成長性技術具體是什麼?
    導讀：日前，在2018世界機器人大會基礎技術與創新論壇中，中國電子學會發布了《新一代人工智慧十大成長性技術展望》，經調研走訪了一批在新一代人工智慧技術及產業方面具備領先水平和特色的龍頭企業，拜訪了來自於知名高校、研究機構的人工智慧相關領域專家學者，系統梳理了權威智庫和知名戰略諮詢公司的最新報告，遴選了十項最具特色的成長性技術。
  • Facebook人工智慧副總裁:AI 這一領域很快就會「碰壁」
    Will Knight：Facebook 的人工智慧實驗室是由 LeCun 建立的，LeCun 是深度學習的先驅之一，他最近因在該領域的工作而獲得了圖靈獎。你怎麼看那些批評該領域注重深度學習，認為它不會給我們帶來真正的智慧的人？
  • 人工智慧在網絡領域的應用與實踐有哪些
    作為一個誕生了60多年的詞彙，人工智慧的發展已經歷過多輪起伏，現今這個階段可以說是人工智慧的黃金時期，全球的科技巨頭都在AI領域頻頻布局，不同於單純的炒作，此輪「AI熱」最大的特色就是落地。
  • 同盾人工智慧研究院,打造AI領域的「貝爾實驗室」
    除了基礎理論探索，核心技術研究以外，研究院在推廣智能技術應用上也有了可喜的進展。基於同盾對金融服務行業深入了解的基礎上，研究院開發了多個金融服務場景的智能對話機器人，能用高度擬人化的發音，與不同的對話人採取不同的對話策略進行有效的交流。　　為服務未來而生 　　人工智慧將是未來科學競爭制高點。
  • 人工智慧在軍事領域有哪些應用價值?
    隨著谷歌2016年推出 alphago 以擊敗圍棋高手，人工智慧已成為最熱門的技術領域。 那麼什麼是人工智慧？ 簡單地說，人工智慧就是賦予機器或計算機模擬人類智能行為的能力。人工智慧起源於20世紀50年代，曾經歷過兩次發展高潮，最後因技術等原因又跌入低谷，直到GPU和雲計算技術發展起來，才引發以深度學習技術為代表的第三次，也就是本次人工智慧高潮的再次爆發。人工智慧對軍事發展的影響是什麼？？
  • 這些姐姐們正在人工智慧領域「乘風破浪」
    答案是未知的：清華大學AMiner團隊2020年1月發布的「AI 2000人工智慧全球最具影響力學者榜單」，旨在未來10年內遴選出2000名頂級學者。而目前的學者名單中，男性佔了1654位，女性179位。榜單指出，人工智慧領域裡存在男女比例失衡問題——人工智慧是人類社會的一面鏡子。
  • 人工智慧的六大應用領域
    這幾年來中國在人工智慧發展研究上的熱度一直高漲。人工智慧也越來越貼近我們的生活。成為我們生活中不可缺少的一部分。那你知道人工智慧的應用都用在了哪些領域呢？什麼是人工智慧呢？人工智慧是一個新的計算機技術科學，是計算機科學的一個分支，主要用於開發模擬，延伸和擴展人的智能理論。簡單來說人們就是要靠人工智慧去完成人類完成不了的工作。其中的研究領域主要包括：深度學習、自然語言處理、計算機視覺、智慧機器人、自動程序設計、數據挖掘等方面。
  • 人工智慧走進植物分類學領域—新聞—科學網
  • 人工智慧已在軍事領域引起極大興趣
    人工智慧也包括其中。人工智慧現在已在軍事領域引起極大興趣。當前軍事應用在軍事領域，人工智慧已經有許多應用。最突出的可能是美國的「梅文計劃」。對於開發利用在戰場環境收集的圖像和影像的美國運營商而言，全部處理引人關注的海量數據是不可能的。在以前的工作方式下，情報目錄中僅有15%的數據得到了處理。
  • 中國學者積極參與人工智慧關鍵領域研究
    語音控制等產品的出現得益於自然語言處理研究的進展。新華社記者任超 攝新華社北京7月10日電（記者李宓）自然語言處理領域頂級國際會議國際計算語言學年會（ACL2020）近日線上開幕。清華大學開發的科技大數據發掘與服務平臺Aminer通過對大會論文的統計分析顯示，中國學者愈發積極地參與自然語言處理這一人工智慧關鍵領域的研究。自然語言處理讓計算機理解並生成語言。
  • 人工智慧結合生物科技 未來哪些領域值得投資?
    九鼎投資董事長蔡雷則認為，新的技術革命帶來很多新的機會，每次技術革命都是對之前技術的顛覆，其中有很多變的東西，但是也有些基本的東西沒有變，比如世界的資源是稀缺的，在一個稀缺的資源狀況下要做配置是沒有改變的，有可能還是需要短期講競爭優勢，長期講進化，通過進化來適應環境，不管什麼形式的生命體都還存在這一問題。
  • 2020年人工智慧十大技術進展
    GPT-3在許多自然語言處理數據集上均具有出色的性能，包括翻譯、問答和文本填空任務，還包括一些需要即時推理或領域適應的任務等，已在很多實際任務上大幅接近人類水平。 進展3：深度勢能分子動力學研究獲得戈登·貝爾獎 2020年11月19日，在美國亞特蘭大舉行的國際超級計算大會SC20上，智源學者、北京應用物理與計算數學研究院王涵所在的「深度勢能」團隊，獲得了國際高性能計算應用領域最高獎項「戈登·貝爾獎」。
  • 量子計算獲得突破性進展,人工智慧「奇點」提前?
    不過谷歌的量子計算能力若真如其所言，那麼將可能對人工智慧領域產生極大的助力。不只是谷歌，現在全球範圍內不少科技巨頭都在量子計算方面有所動作，並且已經取得了可觀的成果。雖然人工智慧的概念早在1956年的達特茅斯會議上就已被提出，但迅速發展卻是近幾年的事情，其中原因與技術和環境的發展有密切相關。如今再加上量子計算作為助力，人工智慧是否會更迅速地進入到「強人工智慧」的階段呢？