AI計算量每年增長10倍,摩爾定律也頂不住|OpenAI最新報告

2020-12-05 量子位

曉查 發自 凹非寺 量子位 編譯 | 公眾號 QbitAI

今天OpenAI更新了AI計算量報告，分析了自2012年以來AI算法消耗算力的情況。

根據對實際數據的擬合，OpenAI得出結論：AI計算量每年增長10倍。從AlexNet到AlphaGo Zero，最先進AI模型對計算量的需求已經增長了30萬倍。

英偉達的黃仁勳一直在強調摩爾定律已死，就是沒死也頂不住如此爆炸式的算力需求啊。

至於為何發布AI計算量報告？OpenAI說，是為了用計算量這種可以簡單量化的指標來衡量AI的發展進程，另外兩個因素算法創新和數據難以估計。

每年增長10倍

OpenAI根據這些年的實際數據進行擬合，發現最先進AI模型的計算量每3.4個月翻一番，也就是每年增長10倍，比摩爾定律2年增長一倍快得多。

上圖中的縱坐標單位是PetaFLOPS×天（以下簡寫為pfs-day），一個pfs-day是以每秒執行1015次浮點運算的速度計算一天，或者說總共執行大約1020次浮點運算。

需要注意的是，上圖使用的是對數坐標，因此AlphaGoZero比AlexNet的運算量多了5個數量級。

從2012年至今，按照摩爾定律，晶片算力只增長了7倍，而在這7年間AI對算力的需求增長了30萬倍。硬體廠商是否感覺壓力山大？

OpenAI還分析了更早期的數據，從第一個神經網絡感知器（perceptron）誕生到2012年AI技術爆發前夕的狀況。

在之前的幾十年中，AI計算量的增長速度基本和摩爾定律是同步的，2012年成為AI兩個時期的分水嶺。

（註：OpenAI原報告引用18個月作為摩爾定律的翻倍時間，之後修正為2年。）

AI硬體的4個時代

對算力的爆炸式需求也催生了專門用於AI運算的硬體，從1959年至今，AI硬體經歷了4個不同的時期。

2012年之前：使用GPU進行機器學習運算並不常見，因此這部分的數據比較難準確估計。2012年至2014年：在多個GPU上進行訓練的設備並不常見，大多數使用算力為1~2 TFLOPS的1到8個GPU，計算量為0.001~0.1 pfs-day。2014年至2016年：開始大規模使用10~100個GPU（每個5~10 TFLOPS）進行訓練，總計算量為0.1-10 pfs-day。數據並行的邊際效益遞減，讓更大的訓練量受到限制。2016年至2017年：更大的算法並行性（更大的batch size、架構搜索和專家迭代）以及專用硬體（TPU和更快的連接），極大地放寬了並行計算的限制。未來還會高速增長嗎？

OpenAI認為，我們有很多理由相信，AI計算量快速增長的需求還會繼續保持下去。但是我們不必太過擔心算力不夠。

首先，越來越多的公司開發AI專用晶片，這些晶片會在一兩年內大幅提高單位功率或單位價格的算力（FLOPS/W或FLOPS/$）。另一方面並行計算也會成為主流，沒有太強的晶片還可以堆數量。

其次，並行計算也是解決大規模運算的一個有效方法，未來也會有並行算法創新，比如體系結構搜索和大規模並行SGD等。

但是，物理規律限制晶片效率，成本將限制並行計算。

如今訓練一個最大模型需要的硬體購置成本高達幾百萬美元，不是每個企業都可以像英偉達那樣，用512個V100花費10天訓練一個模型的。

報告地址：https://openai.com/blog/ai-and-compute/

相關焦點

  • AI算法效率每16月翻番,超越摩爾定律,OpenAI:長江後浪推前浪
    人工智慧算法也遵循著自己效率提升的「摩爾定律」。在人工智慧領域裡，因為研究人員的努力，頂尖算法的效率提升速度超過了晶片中摩爾定律的速度。著名人工智慧研究機構 OpenAI 今天更新了有關業內頂尖機器學習模型算法需求的報告，並得出最新結論：自 2012 年以來，在著名數據集 ImageNet 上訓練一個圖像分類系統所需的算力每 16 個月減少一倍。
  • AI計算力呈現指數增長,3個月翻番遠超摩爾定律
    指數慄 編譯 OpenAI眾所周知，人工智慧近年來發展迅猛，計算能力的提升功不可沒。今天，OpenAI發布了一份分析報告，說的是2012年開始，AI訓練所用的計算量呈現指數增長，平均每3.43個月便會翻倍。
  • 摩爾定律日薄西山 計算性能如何增長
    原標題：摩爾定律日薄西山 計算性能如何增長 　　叢京生教授從早期的圖靈機入手，回顧了電子計算輝煌的發展歷史，並著重介紹了摩爾定律及其在計算機上的應用。他指出，摩爾定律預示著，每兩年微處理器電晶體數量都將加倍，這種指數級的增長，促使計算機向更先進、輕便、小巧的方向轉化，然後又孕育出了高速網際網路、智慧型手機和智能互聯方面的更多應用。
  • 摩爾定律一
    這一定律揭示了信息技術進步的速度。發展歷程被稱為計算機第一定律的摩爾( Moore)定律是指IC上可容納的電晶體數目，約每隔18個月便會增加一倍，性能也將提升一倍。摩爾定律是由英特爾(lnte)名譽董事長戈登·摩爾( Gordon moore)經過長期觀察發現的。1965年，戈登·摩爾準備一個關於計算機存儲器發展趨勢的報告。他整理了一份觀察資料。
  • 後摩爾定律時代的計算技術之探討
    1965年，戈登·摩爾（Gordon Moore）觀察到自1959年集成電路（IC）技術誕生以來，單塊集成電路上元器件數平均每年翻一番。他預測，由成本和成品率等經濟性考慮所驅動的這個趨勢至少能持續10年，雖然後來這一集成度發展的步伐減緩到每隔18個月左右翻一番。他同時指出「集成電路特徵尺寸的縮小，使得在相同的功耗密度下，晶片能更高速地運行」。
  • IC Insights:電晶體數量增長趨勢繼續遵循摩爾定律
    報告顯示，2019年第四季度全球智慧型手機出貨量同比增長2%，達到4.011億部。 中東、非洲地區的功能手機出貨量最大，佔據了38%以上的市場份額，出貨量同比增長10%。傳音手機領導著全球功能手機市場，其市場份額佔有率超過29%。
  • 後摩爾定律時代的計算力破局
    萬物互聯、人工智慧等技術的成熟正在重構我們的生活方式，數據將以前所未有的速度累積增長，今後的智能設備數量會越來越多，體積越來越小，重量越來越輕。相應的，通過物聯網，這些設備會把各式各樣的數據源源不斷地傳輸到後端的數據中心，數據來源的多樣性、格式的複雜性和語義的不確定性，都將導致後端的計算量越來越大，對計算力的要求也越來越高。
  • 一篇論文引發的光子AI晶片革命!這次真想要了摩爾定律的命
    他們用特殊相變材料和光子集成電路模擬人腦神經突觸，使得這款晶片在測試中的數據傳輸速度達300Gbps，比當時現有標準處理器要快10-50倍，同時功耗大幅降低。 在同年5月的美國麻省理工學院10萬美元創業大賽上，一支來自麻省理工學院（MIT）的團隊憑藉用納米光子晶片執行AI任務，成功斬獲大獎。
  • 比摩爾定律快得多:為什麼要將AI算力擴展至ExaFLOPs百億億次量級?
    當通用計算逐漸在性能、能效比提升逐年放緩的情況下，摩爾定律放緩、登納德縮放定律失效，被人們每每提及的「架構革新」成為一種必然。Graphcore的IPU可算是當代「架構革命」的先驅之一。Graphcore的架構革命究竟能帶來什麼？
  • 黃仁勳定律是新的摩爾定律，這就是英偉達收購 ARM 的原因
    IT之家9月20日消息 華爾街日報今日發文稱，摩爾定律已完全失效，但有一項新定律，我們用英偉達的 CEO 的名字（Jensen Huang）將其命名為黃仁勳定律（Huang『s在華爾街日報的文章中，將該定律總結為人工智慧晶片的效能每兩年的可提高一倍，增長可以歸因於硬體和軟體的升級。英偉達首席科學家兼高級研究副總裁比爾 · 達利（Bill Dally）表示，從 2012 年 11 月到今年 5 月，英偉達的晶片性能在人工智慧計算方面提示了 317 倍。也就是說目前英偉達人工智慧晶片的增長速度保持在每年增長一倍的水平上。
  • 摩爾定律失效 還有什麼方法讓計算性能暴漲
    ，也還有其它的創新方法和技術繼續驅動計算性能的指數級增長，比如內存中運算、量子計算、分子電子學、神經形態計算等等。以下是文章主要內容：摩爾定律假定，微處理器的電晶體將每兩年翻一倍，它們的計算性能也隨之翻倍。自戈登?摩爾（Gordon Moore）1965年提出以來，該定律一直生效。不過近年來業界一直預測該定律即將失效。早在2000年，《麻省理工科技評論》就矽技術在大小和速度上的極限提出了警告。實際上，摩爾定律並不算是定律。它更多的是自我實現的預言。
  • 摩爾定律或在2025年迎來終點 中國晶片一招可以突圍
    ，摩爾定律越來越難以持續。有分析表示，摩爾定律或在2025年迎來終點，那麼，中國晶片該如何突圍呢？中國媒體《IT時報》11月6日報導，半導體企業的製程工藝正向這個終點進發。最新消息是，全球領先晶片供應商臺積電將在2022年量產3納米工藝晶片，2024年推行2納米工藝。
  • 黃氏定律正取代摩爾定律
    在現代計算的第一個時代，有一種趨勢始終佔據主導地位，它也被稱為摩爾定律。實際上，摩爾定律是英特爾聯合創始人摩爾的預測，而不是任何形式的物理定律。摩爾定律認為，晶片上的電晶體數量大約每兩年就會翻一番。這也意味著，這些晶片以及它們所驅動的計算機的性能在大致相同時間內會有實質性的提高。
  • 中金公司:量子計算能延續摩爾定律的神話嗎?
    來源：金融界網站來源：中金公司量子計算是重要的前沿科技之一，是延續接近物理極限的摩爾定律繼續發展的重要路徑。量子計算的特別之處是其計算能力隨著能夠支持的量子比特數的增長呈冪指數2n增長。目前制約技術成熟的要素包括硬體和算法兩方面。科學家[1]認為量子計算有望在新藥開發、破解密碼、以及搜索等人工智慧應用上得到商用。
  • 摩爾定律或在2025年迎來終點 中國晶片如何突圍？
    3、「後摩爾時代」，中國晶片如何突圍？在不久前召開的IC CHINA 2020（中國國際半導體博覽會）上，中國工程院院士、浙江大學微納電子學院院長吳漢明預測，「隨著工藝節點演進，摩爾定律越來越難以持續，預計將走到2025年。」半導體企業的製程工藝正向這個終點進發。
  • 摩爾定律面臨的兩個問題
    戈登·摩爾在 1965 年提出摩爾定律時，其內容為半導體晶片上集成的電晶體數量將每年增加一倍，1975 年，他又根據當時的實際情況對摩爾定律進行了修正，把「每年增加一倍」改為了「每 18 到 24 個月增加一倍」。 摩爾定律發展至今已有 50 多年，在這 50 多年間，不斷有人唱衰，甚至有人提出「摩爾定律已死」的觀點。
  • 摩爾定律的突圍
    從實際使用角度看，摩爾定律可以理解為微處理器的性能每隔18個月提高一倍，或價格下降一半。集成電路集成度越高，電晶體的價格就越便宜，這也就自然的延伸出了摩爾定律的經濟學意義，比如在20世紀60年代初，一個電晶體要10美元左右，但隨著電晶體越來越小，小到一根頭髮絲上可以放1000個電晶體時，每個電晶體的價格只有千分之一美分，也即當初價格的百萬分之一。
  • 摩爾定律有終結之日嗎？
    這導致了計算能力的指數增長。隨著時間的推移，指數級增長&34;，最終它建立了勢頭並最終導致垂直增長。三星承諾將性能提高10％或將效率提高20％。分析人士說，這些數字符合預期。但是，相比之下，十年前有時有50％的改進，很明顯摩爾定律已不再是過去，但是從大型鑄造廠的投資來看，客戶仍然認為這是值得的。
  • 黃氏定律取代摩爾定律,英偉達急於收購ARM的原因
    在現代計算的第一個時代，一個趨勢佔據了上風：摩爾定律。摩爾定律：晶片上的電晶體數量大約每兩年翻一番摩爾定律是由英特爾（Intel）的聯合創始人戈登·摩爾（Gordon Moore）於上世紀60年代提出的。他認為晶片上的電晶體數量大約每兩年翻一番。
  • 摩爾定律、梅特卡夫定律、顛覆定律(冪指數定律)分別是啥?
    摩爾定律每18個月，計算機等IT產品（或者說相同性能的計算機等IT產品）的性能將翻一番，每18個月價格就會降一半。主幹網帶寬的增長速度至少是運算性能增長速度的三倍。因為運算性能增長速度主要是由摩爾定律決定的，所以根據每兩年運算性能提高一倍計算，主幹網的網絡帶寬的增長速度大概是每八個月增長一倍。梅特卡夫定律網絡的價值等於網絡節點數的平方，網絡的價值與聯網的用戶數的平方成正比。