OpAI最新論文:機器學習效率正在超越摩爾定律

2020-12-11 金智維科技

八年前，一種機器學習算法學會了識別一隻貓，它震驚了全世界。

幾年後，人工智慧可以準確地翻譯語言，打敗世界圍棋冠軍。

現在，機器學習已經開始在諸如 「星際爭霸」 和 「dota2」 等複雜的多人視頻遊戲，以及諸如撲克之類的微妙遊戲中脫穎而出，人工智慧正在快速發展。

但是速度有多快呢，是什麼在驅動著速度呢？雖然更好的計算機晶片是關鍵，但 AI 研究機構 OpenAI 認為，我們也應該衡量實際機器學習算法的改進速度。

由 OpenAI 的 Danny Hernandez 和 Tom Brown 撰寫並發表在 arXiv 上的論文指出，研究人員稱他們已經開始跟蹤衡量機器學習的效率，即用更少的資源做更多的事。他們使用這種方法表明，人工智慧已經以一種極快的速度變得更加高效。

01算法效率提升加快研究

一般說來，驅動 AI 進步的有三個因素：運算量、數據和算法創新。計算能力更容易跟蹤，但算法方面的改進卻有點難以捉摸。

我們可以將算法效率定義為減少訓練特定功能所需的計算量，它是衡量計算機科學中算法進度的主要指標。

傳統問題（如排序）的效率提升比機器學習更易于衡量，因為它們可以更清晰地衡量任務難度。但是，可以通過保持性能恆定來將效率透鏡應用於機器學習。

自 2012 年以來，在 ImageNet 分類中訓練神經網絡達到相同性能所需的計算量，每 16 個月減少了 2 倍。與 2012 年相比，現在將神經網絡訓練到 AlexNet（一種基準圖像識別算法）所需的計算量減少了 44 倍。

研究結果表明，對於最近投入大量資金的 AI 任務，算法進步比傳統硬體效率產生了更多收益。

用於訓練到 AlexNet 級別的總計算量（以太字節 /天為單位），在任何給定時間的最低計算點都以藍色顯示，所有測量點都以灰色顯示。

尤其在翻譯和遊戲等其他流行功能，在較短時間範圍內改進的速度更快。

在翻譯方面，三年後的英法翻譯中，Transformer 算法的計算能力比 seq2seq 算法低61 倍。

僅僅一年後，DeepMind 的 AlphaZero 在圍棋比賽中，其計算量比 AlphaGoZero 少 8 倍，就能與 AlphaGoZero 匹敵；而僅三個月後，OpenaAI Five Rerun 在 Dota2 上使用了比原來低五倍的計算能力，就能超越了世界冠軍 OpenaAI Five。

算法效率的提高，使得研究人員可以在給定的時間和金錢下進行更多感興趣的實驗，加速未來 AI 的研究。

02機器學習的摩爾定律

機器學習中是否存在某種算法摩爾定律？

研究人員表示，目前還沒有足夠的信息來說明這一點。他們的工作只包括了幾個數據點，原始的摩爾定律圖表同樣幾乎沒有被觀察到，所以任何推斷純屬推測。

此外，研究僅關注少數幾個流行的功能和頂級程序。目前尚不清楚觀察到的趨勢是否可以更廣泛地推廣到其他 AI 任務。

對於語言、遊戲等領域，大規模的計算對於整體性能仍然很重要，因此追蹤效率顯得尤為重要，測量效率整體性能的長期趨勢將有助於描繪總體算法進展的定量情況。

研究人員觀察到，硬體和算法效率提升是可乘的，並且在有意義的範圍內可以達到相似的規模，這表明 AI 進步的良好模型應該整合兩者的衡量指標。

研究結果還表明，對於具有高投資水平（研究人員花極大時間和精力）的 AI 任務，算法效率可能超過硬體效率（摩爾效率）帶來的收益。

摩爾定律是在 1965 年提出的，即當價格不變時，集成電路上可容納的元器件的數目，約每隔 18-24 個月便會增加一倍，性能也將提升一倍。

當時集成電路只有 64 個電晶體，之後出現了個人計算機和智慧型手機（iPhone11 擁有 85 億個電晶體）。如果我們觀察到數十年來 AI 算法效率的指數級提高，它可能會帶來什麼？

出於這些原因，研究人員開始公開跟蹤效率的整體性能，首先探索視覺和翻譯效率基準，包括 ImageNet 和 WMT14，之後再考慮隨著時間的推移將添加更多的基準。

跟蹤多種措施，包括硬體的措施，可以描繪出一幅更完整的進展情況，並有助於確定未來的努力和投資在哪些方面最有效。

03人工智慧的未來

值得注意的是，這項研究的重點是深度學習算法，這是目前佔主導地位的人工智慧方法。深度學習是否能繼續取得如此巨大的進步，是人工智慧領域爭論的焦點。

OpenAI 在較早的一篇論文中表明，最新熱門的人工智慧需要相當驚人的計算能力來進行訓練，並且所需的資源正以驚人的速度增長。

在 2012 年之前，人工智慧程序使用的計算能力的增長主要遵循摩爾定律，而自 2012 年以來，機器學習算法使用的計算能力的增長速度是摩爾定律的 7 倍。

這也是 OpenAI 對跟蹤進展感興趣的原因。例如，如果機器學習算法的培訓成本越來越高，那麼增加對學術研究人員的資助就很重要；如果效率趨勢被證明是一致的，那麼就更容易預測未來的成本並相應地計劃投資。

進步是否會持續不減，摩爾定律式的理論在未來幾年或即將碰壁，仍有待觀察。

但正如作者們所寫的那樣，如果這些趨勢在未來繼續下去，人工智慧將變得更加強大，而且可能比我們想像的還要快。

來源於學術頭條

相關焦點

  • OpenAI追蹤AI模型效率:每16個月翻一番!超越摩爾定律
    編 | 儲信儀導語：OpenAI提出衡量機器學習算法進展的基準測試方法，算法效率每16月翻一番，吊打摩爾定律！智東西5月6日消息，昨日，OpenAI宣布將開始追蹤效率最高的機器學習模型，該舉措推出了新的評價指標，可用以量化模型的擴展規模和整體性能，從而可實時公示效率最高的模型，為行業提供參考。
  • AI算法效率每16月翻番,超越摩爾定律,OpenAI:長江後浪推前浪
    人工智慧算法也遵循著自己效率提升的「摩爾定律」。在人工智慧領域裡，因為研究人員的努力，頂尖算法的效率提升速度超過了晶片中摩爾定律的速度。著名人工智慧研究機構 OpenAI 今天更新了有關業內頂尖機器學習模型算法需求的報告，並得出最新結論：自 2012 年以來，在著名數據集 ImageNet 上訓練一個圖像分類系統所需的算力每 16 個月減少一倍。
  • 性能每兩年翻一倍,摩爾定律還適用於現在的智慧型手機晶片嗎?
    而這裡就不得不提及摩爾定律，因為它預言了晶片加工技術的持續改進水平。然而，隨著智慧型手機處理器性能的過剩以及性能提升的放緩，不少人開始懷疑摩爾定律是不是已經過時，不再適用於當前智慧型手機晶片的發展。然而，事實果真如此嗎？
  • TPU的起源,Jeff Dean綜述後摩爾定律時代的ML硬體與算法
    機器學習對算力的需求無疑是龐大的，從計算機視覺到自然語言處理，更大的模型和更多的數據往往能夠取得更好的性能。在摩爾定律時代，硬體進步帶來的算力增長尚且能夠滿足機器學習的需求，但當摩爾定律被榨乾後，怎樣讓硬體中的算力資源被機器學習模型充分利用成了下一個需要探討的問題。
  • AI算法效率每16個月提速一倍,算力革命超越摩爾定律
    與2012年相比，現在將神經網絡訓練到 AlexNet 的性能，所需的計算量僅為原來的1/44（相比之下，摩爾定律僅降低為1/11）。若將「算法效率」定義為：減少訓練特定任務所需的計算量。如果用有效計算的概念把AI和計算的趨勢結合起來，那麼，其表現就如下圖所示：AI和計算的趨勢被分解為硬體效率（摩爾定律）以及金錢和並行化（money/parallelization）之後，算法效率的提升只佔總體提升的一部分。
  • 超越摩爾定律的SiP發展趨勢
    超越摩爾定律的SiP發展趨勢 程文智 發表於 2020-06-06 05:50:00 SiP（System in Package，系統級封裝），就是將多個具有不同功能的有源電子元件與可選無源器件
  • 摩爾定律即將走到極限,英偉達試圖推動半導體「黃氏定律」
    記者 | 彭新「在摩爾定律失效的當下，如果我們真想提高計算機性能，『黃氏定律』就是一項重要指標，且在可預見的未來都將一直適用。」在近日舉辦的GTC中國峰會上，英偉達首席科學家Bill Dally做出上述發言。
  • 摩爾定律的突圍
    以Nvidia CEO黃仁勳為代表的一方認為摩爾定律已「死」，而以前AMD 首席架構師Jim Keller和臺積電為代表的一方認為摩爾定律依然可以指引領集成電路行業發展，其實綜合兩方觀點看，表面相反的觀點但本質卻並不矛盾，黃仁勳認為半導體物理學的限制意味著如今CPU性能每年只能提升20%左右，摩爾定律已走向終結；而Jim Keller和臺積電則認為摩爾定律並非簡單的描述單位面積晶圓上電晶體數量的變化趨勢
  • 超摩爾定律!OpenAI官宣AI算法效率每16個月翻一番
    OpenAI今天宣布將開始追蹤機器學習模型的效率，並對AI算法演進的情況進行定量追蹤，結果顯示算法改進效率吊打摩爾定律。為了啟動這一進程，Open AI發表了一份分析報告，開篇即用數據展示了算法演進的速度。
  • 為何摩爾定律一直沒死,但人們還在預測它要死
    關於摩爾定律的話題，2016年，我在微信公眾號裡寫了六篇連載文章， 標題叫做「摩爾定律還能走多遠？」2. 那麼最後的結論是摩爾定律是個經濟規律， 是一個技術發展，市場擴大，單價降低，利潤再回饋到研發的良性循環。參見我最近的文章《王川: 用摩爾定律武裝自己》。3.
  • AI時代的摩爾定律?黃氏定律預測AI性能將逐年翻倍
    過去的半個多世紀，半導體行業按照摩爾定律發展，並驅動了一系列的科技創新。有意思的是，在摩爾定律放緩的當下，以全球另一大晶片公司英偉達（NVIDIA）創始黃仁勳（Jensen Huang）名字命名的定律「黃氏定律 (Huang’s Law)」對AI性能的提升作出預測，預測GPU將推動AI性能實現逐年翻倍。
  • 晶片破壁者(六):摩爾定律的一次次「驚險」續命
    摩爾在一次訪談中曾提及這次修改，不無消極地說，自己的論文只是試圖找到以最低成本生產微型晶片的方式——「我覺得不會有人會按照它（摩爾定律）來制定商業計劃 ，可能是因為我還沉浸在第一次預測正確的恐慌當中。我不覺得還會有人關注這個預測。」
  • 英偉達官方認可「黃氏定律」,摩爾定律會失效嗎?
    英偉達官方認可「黃氏定律」，摩爾定律會失效嗎？ 在這一事實的前提下，他們更多的考慮的問題是：摩爾定律失效後，該如何進一步提高處理器的能效？針對這個問題，一些公司已經找到了自己的答案，比如英偉達。 過去幾年來，黃仁勳一直對外表達「摩爾定律已死、新定律正在形成」，尤其是在GPU方面，更是預測每10年GPU性能增長1000倍，這一預測也被戲稱為「黃氏定律」。
  • 軟體、算法和硬體,MIT團隊用三支箭為「摩爾定律」續命
    那以後，半個世紀以來，摩爾定律經久不衰，計算機體積變得更小、運算速度更快、價格更便宜，由此也帶動個人電腦、智慧型手機、高速網際網路等在全球範圍內迅速普及。 時至今日，這種小型化的趨勢導致矽晶片已經承載了小到幾乎難以想像的電路——1,000個電晶體擺放在一起都還比不上人的頭髮絲寬。
  • 摩爾定律的盡頭,Chiplet冉冉升起
    例如，我們應該重視像「英特爾架構日」這種僅往前預測數年的活動，而不要去糾結專家們那些「超越CMOS技術極限」之後的長期預測。qrPEETC-電子工程專輯這絕不是否認超越摩爾定律的必要性，我們當然可以採用各種獨特的方法來榨出摩爾定律的最後一點價值。恰恰相反，我想提出的警告是，要想維持這些技術半個世紀以來的創新曲線，我們要做的遠不止晶圓工藝和矽晶片級別的集成。
  • 摩爾定律、梅特卡夫定律、顛覆定律(冪指數定律)分別是啥?
    摩爾定律每18個月，計算機等IT產品（或者說相同性能的計算機等IT產品）的性能將翻一番，每18個月價格就會降一半。主幹網帶寬的增長速度至少是運算性能增長速度的三倍。因為運算性能增長速度主要是由摩爾定律決定的，所以根據每兩年運算性能提高一倍計算，主幹網的網絡帶寬的增長速度大概是每八個月增長一倍。梅特卡夫定律網絡的價值等於網絡節點數的平方，網絡的價值與聯網的用戶數的平方成正比。
  • 摩爾定律失效 Raja定律和貝爾定律將取而代之
    摩爾定律最初是指半導體晶片電晶體密度每年翻倍，性能也實現翻番;後來修改為每2年電晶體翻倍，性能提升一倍。除了英特爾外，其他半導體公司認為摩爾定律已經完全無法指導晶片發展。MOORE 'S LAW2005年，英特爾提出了Tick-Tock戰略，實際是摩爾定律修改版，英特爾每2年升級一次架構，間隔年份升級製造工藝。
  • 機器學習研究者的養成指南,吳恩達建議這麼讀論文
    近日，一位網友在 Reddit 上發帖提問：「那些高效的機器學習研究者，都有什麼樣的習慣？」比如，在 Arxiv 上時時跟進最新的研究，利用睡覺時間訓練模型，以及充分利用 Stack Overflow。其他的呢？
  • 新聞拍一拍#新的摩爾定律:黃氏定律
    導讀： 麒麟 OS 宣布兼容中望 CAD Mozilla 的 WebThings IoT 平臺成為獨立的開源項目 本文字數：664，閱讀時長大約：1分鐘 作者：硬核老王 新的摩爾定律
  • 摩爾定律名詞解釋_摩爾定律永遠有效嗎
    摩爾定律名詞解釋 　　摩爾定律是由英特爾創始人之一戈登·摩爾提出來的。這一定律揭示了信息技術進步的速度。 　　儘管這種趨勢已經持續了超過半個世紀，摩爾定律仍應該被認為是觀測或推測，而不是一個物理或自然法。預計定律將持續到至少2015年或2020年。然而，2010年國際半導體技術發展路線圖的更新增長已經放緩在2013年年底，之後的時間裡電晶體數量密度預計只會每三年翻一番。