OpenAI追蹤AI模型效率:每16個月翻一番!超越摩爾定律

2020-11-19 手機鳳凰網

編 | 儲信儀

導語:OpenAI提出衡量機器學習算法進展的基準測試方法,算法效率每16月翻一番,吊打摩爾定律!

智東西5月6日消息,昨日,OpenAI宣布將開始追蹤效率最高的機器學習模型,該舉措推出了新的評價指標,可用以量化模型的擴展規模和整體性能,從而可實時公示效率最高的模型,為行業提供參考。

在前期調查期間,該公司發表了一份分析報告,指出與2012年相比,2019年的神經網絡訓練到AlexNet水準所需的計算量減少到原來的1/44,相比之下,摩爾定律在相同時間內效率的增長只有11倍。這表明算法效率在7年的時間裡每16個月翻一番。

分析結果表示,對於大量「吸金」的AI任務,算法效率的提升比傳統的硬體效率提升的速度更快,因此算法可節省更多算力,以此節省AI任務的運行成本,產生更多收益。

一、算法多吃算力?每16個月效率翻倍

推動人工智慧發展的有三個因素:算法創新、數據和算力。傳統上,算法的進展比算力和數據更難量化。算法效率可以被定義為減少訓練特定功能所需的計算量。效率是衡量經典計算機科學問題(如排序)的算法進度的主要方法。

OpenAI表示,除了關注時下最新的最佳AI模型之外,公開衡量效率將描繪出算法進展的定量情況。這將通過重新關注AI的技術屬性和社會影響,為決策制定提供依據。

OpenAI在博客中寫道:「算法改進是推動AI發展的關鍵因素。儘管這比度量計算趨勢更難,但尋找能夠反映整體算法進展的度量是很重要的。」算法效率的提高使得研究人員可以在給定的時間和預算內進行更多有趣的實驗。分析表明,決策者應該增加對學術界計算資源的資助,以便學術研究成果能夠複製、再生以及擴展行業研究。

▲OpenAI觀察到16個月AI模型的效率倍增時間(任意給定時間的最低計算點用藍色表示,測量點用灰色表示)

OpenAI表示,在調查過程中,它發現谷歌的Transformer架構超越了以前由谷歌開發的最先進的模型——seq2seq,在seq2seq引入三年後,其計算量減少至原來的1/61。DeepMind的AlphaZero系統,從零開始自學如何掌握西洋棋、圍棋和日本將棋,一年後,它的計算量比該系統的前身AlphaGoZero的改進版少至1/8。而僅三個月後,OpenAI自己的Dota2玩法Rerun運行所需的訓練計算就減少至1/5,從而超過了基於OpenAI Five的模型。

▲AI「Rerun」和「OpenAI Five」對戰

OpenAI從對集成電路中電晶體數量每兩年翻一番的現象推測,算法效率帶來的收益可能會超過摩爾定律。OpenAI表示:「新功能通常需要大量的計算才能獲得,由於流程改進,這些功能的改進版本部署起來會更有效率。」

▲AI計算趨勢及結果整合

二、多家機構將AI模型效率基準測試提上日程

作為基準測試工作的一部分,OpenAI表示將從視覺和翻譯效率基準(特別是ImageNet和WMT14)開始,並考慮隨著時間的推移增加更多基準。測試工作不允許使用人為字幕、其他圖像或其他數據,但是對用於翻譯或增強的訓練數據沒有任何限制。

OpenAI表示:「行業領袖、決策者、經濟學家和研究人員都在努力更好地了解AI的發展進步,並決定他們應該投入多少注意力,以及把注意力放在哪裡。測量工作可以幫助做出這樣的決定。」

論文研究指出,研究者觀察到硬體和算法的效率在有意義的範圍內提高了一倍,這表明,一個好的AI進展模型應該整合兩者的度量。除此之外,研究人員還觀察到,以指數速度訓練高興趣任務的AI模型比摩爾定律訓練成本更低。

OpenAI並不是第一個公開提出對AI模型的效率進行基準測試的公司。去年,卡內基梅隆大學(Carnegie Mellon University)、艾倫人工智慧研究所(Allen Institute for AI)和華盛頓大學(University of Washington)的科學家們主張,除了準確性和相關衡量標準外,還應將效率作為AI學術論文更普遍的評估標準。其他的建議則要求針對機器學習項目進行行業級別的能量分析,以及以瓦為單位的計算標準進行評估。

聲明連結:https://openai.com/blog/ai-and-efficiency/

Github連結:https://github.com/openai/ai-and-efficiency

論文連結:https://cdn.openai.com/papers/ai_and_efficiency.pdf

結語:AI服務和技術逐漸強大

OpenAI開始公開追蹤AI模型效率,其模型的量化呈現可實時進行效率公示,為行業提供參考,選擇更為適合的效率提升方式。

算法改進是推動AI發展的關鍵因素,AI算法效率倍增,計算量成倍減少,算法效率收益極大提升。算法效率的提高為AI技術的提高創造了條件,這意味著我們正面臨AI技術無比強大的未來。

相關焦點

  • 超摩爾定律!OpenAI官宣AI算法效率每16個月翻一番
    報告中顯示,AI算法效率每16個月翻一番,與2012年相比,訓練神經網絡達到AlexNet的水平所需的算力會減少到1/44。研究表明,算法改進效率吊打摩爾定律,投入大量人力物力的AI研究貌似比硬體研發收益更高。「新智元急聘主筆、高級主任編輯,添加HR微信(Dr-wly)或掃描文末二維碼了解詳情。」
  • AI時代的摩爾定律?黃氏定律預測AI性能將逐年翻倍
    1965年,時任仙童半導體公司工程師,也是後來英特爾的創始人之一的戈登·摩爾(Gordon Moore)提出了摩爾定律(Moore's law),預測集成電路上可以容納的電晶體數目大約每經過24個月便會增加一倍。後來廣為人知的每18個月晶片性能將提高一倍的說法是由英特爾CEO大衛·豪斯(David House)提出。
  • 為何摩爾定律一直沒死,但人們還在預測它要死
    然後我加入英特爾,所有的人都說摩爾定律要死了。我當時想,這好悲哀,英特爾就是摩爾定律的公司。但是摩爾定律沒死,它總是即將要死。你知道,人性總是喜歡那種世界毀滅之類的言論,我們會沒吃的了、會沒空氣了、會沒有生存空間了等等。」5. 先把摩爾定律給回顧一下,傳統定義是單位面積的電晶體數目每兩年翻一番。
  • 摩爾定律的突圍
    50多年前,Intel創始人之一摩爾(Gordon Moore)提出了著名的摩爾定律,其內容為:集成電路上可容納的電晶體數目,約每隔兩年便會增加一倍;經常被引用的「18個月」,是由Intel執行長大衛·豪斯(David House)提出:預計18個月會將晶片的性能提高一倍,這是一種指數級的性能提升。
  • ARK報告:AI仍處早期,發展速度是摩爾定律50倍
    通過與摩爾定律的發展歷程進行對比,ARK認為,人工智慧還處於較早期的階段。數據顯示,目前人工智慧的訓練成本正以50倍於摩爾定律的速度增長,對於許多用例來說,運行AI推理系統的成本幾乎為0。一、AI計算複雜度每年激增10倍在過去10年中,用於人工智慧的訓練模型的計算資源激增。在1960到2010年間,人工智慧的計算複雜度每兩年翻一番。
  • 數字電路歷史、摩爾定律及未來趨勢
    摩爾定律上世紀五十年年代,飛兆半導體和英特爾的聯合創始人戈登摩爾(Gordon Moore)發表了一篇論文,指出每個集成電路的元件數量將在未來十年每年增加一倍。1975年,他回顧了他的預測,並表示組件的數量現在每兩年增加一倍。這就是著名的摩爾定律。幾十年來摩爾定律一直被驗證是正確的。而且摩爾定律一直在指導晶片製造和設計。
  • 因特爾公司創始人之一 摩爾定律提出者 戈登·摩爾
    在IT行業有一個神話,這個神話就是一條定律把一個企業帶到成功的頂峰,這個定律就是「摩爾定律」。信息產業幾乎嚴格按照這個定律,以指數方式領導著整個經濟發展的步伐,這個定律的發現者不是別人,正是世界頭號CPU生產商Intel公司的創始人之一戈登·摩爾(Gordon·Moore)。
  • 摩爾定律即將走到極限,英偉達試圖推動半導體「黃氏定律」
    記者 | 彭新「在摩爾定律失效的當下,如果我們真想提高計算機性能,『黃氏定律』就是一項重要指標,且在可預見的未來都將一直適用。」在近日舉辦的GTC中國峰會上,英偉達首席科學家Bill Dally做出上述發言。
  • 摩爾定律難以為繼? 新型二維材料續寫摩爾定律對電晶體預言
    摩爾定律難以為繼?> 近年來,半導體行業總是籠罩在摩爾定律難以為繼的陰霾之下。但北京大學物理學院研究員呂勁團隊與楊金波、方哲宇團隊最新研究表明,新型二維材料或將續寫摩爾定律對電晶體的預言。他們在預測出「具有蜂窩狀原子排布的碳原子摻雜氮化硼(BNC)雜化材料是一種全新二維材料」後,這次發表在《納米通訊》上的研究,通過實驗證實了這類材料存在能谷極化現象,並具有從紫外拓展到可見光、近紅外以及遠紅外波段的可調能隙功能。
  • 引燃AI社區,OpenAI新模型打破自然語言與視覺次元壁
    每個圖像的文本描述使用最大 256BPE 編碼的 token 表示,詞彙表的大小是 16384;圖像則使用 1024 個 token 表示,詞彙表大小是 8192。在最新博客中,OpenAI 詳細介紹了 DALL·E 的「百變功能」,每一段文字的生成示例展示了 512 個生成結果中的前 32 名(根據 CLIP 的排序,過程中沒有任何人工參與挑選的步驟)。
  • 真空管這50年的旅程,竟和摩爾定律意外重疊
    自1971年第一個微處理器問世以來,已經走過了四十八個年頭。在這段時間裡,可以塞進晶片內的電子元件的數量增加了整整七個數量級,這種提升速度相當於電晶體數量每隔兩年翻一番。   真空管的改進不在於小型化,而在於功率密度的提升。
  • 摩爾定律或在2025年迎來終點 中國晶片如何突圍?
    個月翻倍,但算力需求增長速率是10倍/年增長,就算摩爾定律不放緩,都難以滿足日益增速的算力需求。」 AI算力雖然從2012年開始大約每3.4個月翻一倍,但依然低於算力需求的增速,圖源:OpenAI
  • 晶片破壁者(六):摩爾定律的新世紀變局與無限火力
    於是在 2002 年 11月,英特爾股票被美林證券將降級 , 從 「中立」降為 「賣出」, 股價再次應聲而落。美國對於這種情況也十分擔憂,國防高級研究計劃局(DARPA)還啟動了一個名為「25nm開關(25-nm Switch)」的計劃,試圖提升晶片容納電晶體數目的上限。讓英特爾及 「摩爾定律」繼續引領行業的,是一位華人。
  • 摩爾定律的盡頭,Chiplet冉冉升起
    例如,我們應該重視像「英特爾架構日」這種僅往前預測數年的活動,而不要去糾結專家們那些「超越CMOS技術極限」之後的長期預測。這絕不是否認超越摩爾定律的必要性,我們當然可以採用各種獨特的方法來榨出摩爾定律的最後一點價值。恰恰相反,我想提出的警告是,要想維持這些技術半個世紀以來的創新曲線,我們要做的遠不止晶圓工藝和矽晶片級別的集成。我們的機會不僅有短期的,也有長期的。
  • 被帶寬限制的AI性能,在HBM2和GDDR6上「重生」
    不過,我們仍然對於更好的人工智慧有巨大需求,據Open AI的一份報告顯示,從2012到2019年,人工智慧訓練集增長將近30萬倍,每3.43個月翻一番,比摩爾定律快25000倍,在摩爾定律將近失效的今天,那麼怎麼樣才能讓人工智慧提供更好的性能?
  • 清華大學微電子學研究所所長魏少軍:晶片技術尚不可替代 摩爾定律...
    4月1日晚間,清華大學微納電子學系主任、微電子學研究所所長魏少軍在清華大學五道口金融學院聯合每經智享會推出的「五道口在線學習計劃」上表示。他指出晶片是技術創新的高地,雖然晶片產業現有技術路徑面臨著物理、功耗等極限問題,但摩爾定律將長期有效,在可預見的未來,尚沒有能夠替代集成電路技術的其他技術出現。
  • 半導體發展遇到瓶頸,摩爾定律再難突破,英偉達另闢蹊徑
    每隔兩年處理器的性能就會翻上一倍,同時其內部的電晶體數數量也會翻一倍,這就是半導體行業的核心定律——摩爾定律,然而隨著技術的發展,按照摩爾定律,如今半導體行業已經很難再進行大跨度的突破,各家頂尖的半導體晶片公司都開始尋找另外的突破口。
  • 超越空間直擊NVIDIA GTC 中國線上大會,助力點亮AI
    超越空間直擊NVIDIA GTC 中國線上大會,助力點亮AI 來源:財訊網 • 2020-12-21 17:29:08
  • 都在說GPT-3和AlphaFold,2020沒點別的AI技術突破了?
    一起來逐一盤點2020的哪些突破性的技術吧:自然語言處理(NLP)最大語言模型GPT-3今年2月微軟才發布全球最大的深度學習模型,擁有170億參數的Turing NLP,幾個月之後它就被GPT-3遠遠地超越了。
  • 直擊NVIDIA GTC20:AI性能翻倍 黃氏定律真香
    從NVIDIA如何打造最強GPU,加速AI性能,說到正在逐步取代摩爾定律的黃氏定律。在短短一年內,GPU AI性能成倍提升,NVIDIA究竟是如何做到的?NVIDIA首席科學家Bill Dally打造最強GPU一切的基礎都是硬體。