高級人工智慧所需算力每三個半月就會翻一番

2020-12-14 人民網

算法、數據和算力被視為推動人工智慧發展的三大要素,其中算力更是被形容為支撐人工智慧走向應用的「發動機」。人工智慧研究組織OpenAI最近指出,「高級人工智慧所需的計算能力每三個半月就會翻一番」。

近日,臉譜(Facebook)人工智慧副總裁傑羅姆·佩森蒂在接受《連線》雜誌採訪時認為,AI科研成本的持續上漲,或導致我們在該領域的研究碰壁,現在已經到了一個需要從成本效益等方面考慮的地步,我們需要清楚如何從現有的計算力中獲得最大的收益。

那麼,為何人工智慧需要如此強大的計算能力?計算能力是否會限制人工智慧的發展?我們能否不斷滿足人工智慧持續擴大的計算需求?

人工智慧「動腦」 背後算力消耗驚人

「2016年3月,谷歌人工智慧阿爾法圍棋(AlphaGo)戰勝韓國棋手李世石時,人們慨嘆人工智慧的強大,而其背後巨大的『付出』卻鮮為人知——數千臺伺服器、上千塊CPU、高性能顯卡以及對弈一場棋所消耗的驚人電量。」遠望智庫人工智慧事業部部長、圖靈機器人首席戰略官譚茗洲在接受科技日報記者採訪時表示。

「相比雲計算和大數據等應用,人工智慧對計算力的需求幾乎無止境。」中國工程院院士、浪潮集團首席科學家王恩東指出。

據介紹,人工智慧最大的挑戰之一是識別度不高、準確度不高,提高準確度就要提高模型的規模和精細度,提高線下訓練的頻次,這需要更強的計算力。準確度也是算出來的,比如大型網際網路公司或者知名人工智慧創業公司,有能力部署規模比較大的人工智慧計算平臺,算法的模型已經達到千億參數、萬億的訓練數據集規模。

「現在人工智慧運用的深度學習框架,多數依賴大數據進行科研訓練,形成有效模型,這些都需要較高的計算力。」譚茗洲指出,當前隨著人工智慧算法模型的複雜度和精度愈來愈高,網際網路和物聯網產生的數據呈幾何倍數增長,在數據量和算法模型的雙層疊加下,人工智慧對計算的需求越來越大。無疑,人工智慧走向深度學習,計算力已成為評價人工智慧研究成本的重要指標。可以說,計算力即是生產力。

數據搬運頻繁 「內存牆」問題凸顯

人工智慧為何如此耗費算力?具體而言,在經典的馮·諾伊曼計算機架構中,存儲單元和計算單元涇渭分明。運算時,需要將數據從存儲單元讀取到計算單元,運算後會把結果寫回存儲單元。在大數據驅動的人工智慧時代,AI運算中數據搬運更加頻繁,需要存儲和處理的數據量遠遠大於之前常見的應用。當運算能力達到一定程度,由於訪問存儲器的速度無法跟上運算部件消耗數據的速度,因此再增加運算部件也無法得到充分利用,就形成了所謂的馮·諾伊曼「瓶頸」或「內存牆」問題。這就如同一臺馬力強勁的發動機,卻因為輸油管的狹小而無法產生應有的動力。

顯然,頻繁的數據搬運導致的算力瓶頸,已經成為對更為先進算法探索的限制因素。而算力瓶頸對更先進、複雜度更高的AI模型的研究將產生更大影響。

王恩東曾指出:「計算力的提升對體系結構提出挑戰。在半導體技術逐步接近極限的情況下,計算機發展迎來體系結構創新的黃金期,計算力的提升將更多通過體系結構創新來滿足。」

據了解,最先進的自然語言處理模型XLNet約有4億模型參數。據估算,人腦中細胞間互聯軸突個數在百萬億到千萬億數量級。顯然AI在認知問題上離我們追求的所謂通用人工智慧還有巨大差距,而要達到通用人工智慧的水平,預計研究所需要的計算能力和計算系統的能源效率將比現在至少提高几個數量級。因此人工智慧要進一步突破,必須採用新的計算架構,解決存儲單元和計算單元分離帶來的算力瓶頸。

譚茗洲說,目前人工智慧的無用計算較多。現在人工智慧還像不斷灌水一樣,處在輸入數據、調整參數的階段,是個「黑盒子」模式,特別在圖片視頻方面消耗很多能量,而其中真正的有效計算卻不多,非常浪費能源。今後AI有待在「可解釋性」上進行突破,搞清是什麼原因導致後面的結果,這樣可以精準運用數據和算力,大大減少運算量。這也是目前重要的研究課題,將大大推動深度學習的發展。

計算儲存一體化 或成下一代系統入口

「雖然目前階段計算力還談不上限制人工智慧的發展,但計算力確實提高了參與人工智慧研究的門檻。」譚茗洲指出。

除了研發資金的增長,在計算力爆發之前的很長一段時間,產生數據的場景隨著網際網路的發展滲透到生活、生產的各個角落,並且隨著通訊技術的進步,尤其是5G的商用,使得產生數據的基礎場景覆蓋面和深度達到新的層次,數據的生產也將達到一個新的數量級。

2020年伊始,阿里達摩院發布《2020十大科技趨勢》報告顯示,在人工智慧方面,計算存儲一體化,類似於人腦,將數據存儲單元和計算單元融為一體,能顯著減少數據搬運,極大提高計算並行度和能效。

然而,計算存儲一體化的研究無法一蹴而就。這個報告提出策略,對於廣義上計算存儲一體化計算架構的發展,近期策略的關鍵在於通過晶片設計、集成、封裝技術拉近存儲單元與計算單元的距離,增加帶寬,降低數據搬運的代價,緩解由於數據搬運產生的瓶頸;中期規劃是通過架構方面的創新,設存儲器於計算單元中或者置計算單元於存儲模塊內,可以實現計算和存儲你中有我,我中有你;遠期展望是通過器件層面的創新,實現器件既是存儲單元也是計算單元,不分彼此,融為一體,成為真正的計算存儲一體化。近年來,一些新型非易失存儲器,如阻變內存,顯示了一定的計算存儲融合的潛力。

據介紹,計算存儲一體化正在助力、推動算法升級,成為下一代AI系統的入口。存內計算提供的大規模更高效的算力,使得AI算法設計有更充分的想像力,不再受到算力約束。從而將硬體上的先進性,升級為系統、算法的領先優勢,最終加速孵化新業務。

而除了計算存儲一體化的趨勢,量子計算或是解決AI所需巨額算力的另一途徑。目前量子計算機的發展已經超越傳統計算機的摩爾定律,以傳統計算機的計算能力為基本參考,量子計算機的算力正迅速發展。

譚茗洲表示,未來人工智慧的突破,除了不斷提升技術本身之外,還需要全球各國協同創新,融合發展,探索新的合作模式,如採取共享思維,調動世界各方面的計算資源集中發力,以降低計算的巨大成本。

延伸閱讀

人工智慧計算力展現五大發展趨勢

網際網路數據中心(IDC)與浪潮聯合發布的《2019—2020中國人工智慧計算力發展評估報告》指出,全球新創建的數據量將從2018年的33ZB增長到2025年的175ZB。隨著數據持續爆炸性增長及算法的不斷演進,未來算力仍有很大的發展空間。

該報告公布的最新中國人工智慧計算力城市排名顯示:排在前5位的城市依次為北京、杭州、深圳、上海、廣州;排名6—10位的城市是合肥、蘇州、重慶、南京、西安。

報告還提出了未來人工智慧計算力發展的5個重要趨勢,一是到2022年,人工智慧推理市場佔比將超過訓練市場;二是預計到2023年,中國人工智慧基礎架構市場未來5年複合增長率將達到33.8%,是中國整體基礎架構市場增速的3倍以上;三是5G和物聯網將推動邊緣、端側人工智慧基礎架構的快速發展;四是人工智慧與雲的融合將進一步加速,未來5年AIaaS(人工智慧基礎設施即服務)市場規模的年複合增長率預計達到66%;五是隨著計算力的提升,越來越多的企業將參與到人工智慧開源軟體的研發和行業性能評測基準的建設中。

(責編:陳晨、韓慶)

相關焦點

  • OpenAI官宣AI算法效率每16個月翻一番
    報告分析顯示,自2012年以來,要訓練一個人工智慧模型在基準測試ImageNet圖像分類任務中達到同等的分類效果,所需的算力每16個月就會減少1/2。提升算法效率,可以定義為減少訓練算法完成某項任務所需的算力。在很多其他領域都可以對效率進行比較,比如 DNA 測序(每10個月翻一番)、能源再生(每6年翻一番)和電晶體密度(每2年翻一番)。研究人員經常使用效率,來衡量算法在完成經典計算任務時的能力,其中就包括分類任務。
  • OpenAI追蹤AI模型效率:每16個月翻一番!超越摩爾定律
    編 | 儲信儀導語:OpenAI提出衡量機器學習算法進展的基準測試方法,算法效率每16月翻一番,吊打摩爾定律!在前期調查期間,該公司發表了一份分析報告,指出與2012年相比,2019年的神經網絡訓練到AlexNet水準所需的計算量減少到原來的1/44,相比之下,摩爾定律在相同時間內效率的增長只有11倍。這表明算法效率在7年的時間裡每16個月翻一番。
  • 人工智慧的另一方向:基於憶阻器的存算一體技術
    吳華強:  我的報告將從硬體的挑戰,研究進展以及展望三方面來介紹大腦啟發的存算一體技術。  人工智慧無處不在,從雲端到我們手機端都有很多人工智慧。不同的人工智慧應用對晶片的需求是不一樣的,比如數據中心、汽車無人駕駛要求算力特別高,而智能傳感網、物聯網和手機希望耗能低,追求高能效。
  • 周志華:「數據、算法、算力」人工智慧三要素,在未來要加上「知識...
    如何將「機器學習「與「邏輯推理」相結合,是人工智慧領域的「聖杯問題」,以往的努力有的是「重推理」,有的是「重學習」,另一側未能充分發揮力量。周志華教授提出了「反繹學習」,希望在一個框架下讓機器學習和邏輯推理二者能更均衡更充分地發揮效用。他說到,「現在都知道人工智慧技術發揮作用需要數據、算法和算力這三要素,未來需要把知識這個要素也考慮進來。知識凝聚了人的智慧。
  • 「芯觀點」後摩爾時代的AI革命:算力需求激增,催生晶片創新
    它藏身於很多智能設備中,一部智慧型手機、一個智能音響、線上購物娛樂的一個個APP裡……它像是虛擬世界和物理世界的「縫合者」,用算法和數據試圖「猜透」人心。各大廠商對機器學習的熱情越來越高,對算法、算力和數據提出新的要求,尤其是對算力需求的激增,進一步催生相關晶片和專用設備的蓬勃創新,而在後摩爾時代,這種創新或將成為突破算力極限的關鍵。
  • AI算法效率每16月翻番,超越摩爾定律,OpenAI:長江後浪推前浪
    著名人工智慧研究機構 OpenAI 今天更新了有關業內頂尖機器學習模型算法需求的報告,並得出最新結論:自 2012 年以來,在著名數據集 ImageNet 上訓練一個圖像分類系統所需的算力每 16 個月減少一倍。
  • 「2020中國AI算力報告」出爐:中國怎麼解決GPT-3的算力難題?
    12月15日,IDC與浪潮聯合發布了《2020-2021中國人工智慧計算力發展評估報告》。報告從AI算力產業發展趨勢、市場規模、區域算力分布和行業AI算力保有程度等多個角度進行全面綜合評估,旨在評估中國人工智慧發展的現狀,為推動產業AI化發展提供極具價值的參考依據和行動建議。這是該報告自2018年發布以來,連續第三年發布。
  • AI算法效率每16個月提速一倍,算力革命超越摩爾定律
    摩爾定律預測晶片性能每18個月翻一倍,那 AI 算法性能多少個月翻一番?答案是16個月。圖註:藍點是給定時間的最低計算機,灰點是測量值。觀察結果是每16個月性能翻一倍。近日,OpenAI針對AI算法在過去數年中性能的提升做了一個詳細的分析。
  • 中國AI算力佔全球三成!IDC 最新報告解讀,算力仍是AI發展最強推力
    算法、算力、數據被認為是人工智慧的三要素,「報告」中關於我國人工智慧算力市場的剖析,對我們衡量中國AI發展水平和趨勢有重要參考價值。2020年疫情黑天鵝下中國人工智慧產業增長如何?在地域、行業應用等方面有什麼不同表現?AI算力的技術架構及市場發展又有什麼樣的新趨勢?
  • 住房大一倍 收入翻一番(傾聽·算算脫貧帳)
    算帳是檢驗脫貧攻堅成效的好方法:既算收入帳、也算支出帳,既算眼前帳、也算長遠帳,既算貧困地區的大帳、也算家家戶戶的小帳。掰開了揉碎了一筆筆算仔細,哪條路啥經驗一件件理清楚,脫貧了的是怎麼脫的貧?脫貧以後該怎麼防返貧?本版今起推出「傾聽·算算脫貧帳」系列報導,同讀者一起翻開帳本,「數」說脫貧攻堅成果。
  • 清華大學陳文光:為什麼需要人工智慧算力基準測試程序?
    智源大會是北京創建全球人工智慧學術和創新最優生態的標誌性學術活動,定位於「內行的 AI 盛會」,探索人工智慧的下一個十年。InfoQ 將進行全程跟蹤報導,為 AI 領域的從業人員帶來更多前沿觀點,以下內容根據清華大學智源學者陳文光的演講整理而來。 為什麼需要一個人工智慧算力基準測試程序?陳文光表示,公眾需要一個指標來回答:哪套系統的人工智慧算力更強?整個領域的發展狀況如何?
  • 2019人工智慧分類排行:環信穩居智能客服行業榜首
    進入新世紀來,隨著大數據技術的發展、深度學習的出現、算力的提升,人工智慧的潛力被人們愈發重視。 自2016年開始,人工智慧領域的創業公司被這個時代賦予了最優的待遇,大量資本流入其中,2017年全球人工智慧初創企業融資額達152億美元,中國佔48%,位居第一。這樣的盛況一直持續了三年,直到2019年初的大降溫。
  • 擒牛翻倍計劃科技快訊:新基建的算力之爭
    甚至,像安慶這樣的三四線城市,也在「著急上火」,因為慢一步,就會被狠狠甩在身後。01自從1946年,馮·諾依曼發明第一臺電腦ENIAC以來,算力一直在突飛猛進。半個世紀前,第一次將人類送上月球的阿波羅11號飛船,其所搭載的電腦,CPU主頻只有0.043 MHz。
  • 【九三E講堂】數學、計算機、算力的結合確保了人工智慧的發展
    【九三E講堂】數學、計算機、算力的結合確保了人工智慧的發展 2020-12-12 10:18 來源:澎湃新聞·澎湃號·政務
  • 超級計算機與人工智慧:大國超算,無人領航
    而每一種科學問題,都有其固有的特性(並行性),這也意味著重複「堆機器」永遠無法具有「超級計算」的霸氣。 再加之,不同應用對超算的需求迥異,不做艱苦研究與科技創新,肯定沒戲。 苦苦研究就夠嗎? 答案是,超算不能光靠研發「推」,得讓需求「拉」。
  • 商湯科技創始人林達華 :人工智慧面臨的一大瓶頸是算力不夠用
    2020 年8月14 日-16 日,2020 全球人工智慧產品應用博覽會在開幕主論壇上,來自國內外的頂級專家學者、AI 從業者齊聚一堂,就當前人工智慧領域的熱點話題和技術應用展開了研討。整個開幕論壇還全程線上直播。商湯科技聯合創始人林達華在開幕式上表示,人工智慧技術落地面臨的挑戰才剛剛開始,人工智慧賦能傳統產業背後仍舊需要海量數據與巨大的算力。現在一個重要的瓶頸就是算力跟不上產業發展所需。
  • 房價翻一番,爛尾盤復活
    房價翻一番,爛尾盤復活 另一家波西塔諾, 今年搖身一變成了"國際範兒", 更名為龍翔國際官邸, 開盤上市,均價7800元/平, 房價翻了一番
  • ...搬出大山有奔頭 住房大一倍 收入翻一番(傾聽·算算脫貧帳)
    算帳是檢驗脫貧攻堅成效的好方法:既算收入帳、也算支出帳,既算眼前帳、也算長遠帳,既算貧困地區的大帳、也算家家戶戶的小帳。掰開了揉碎了一筆筆算仔細,哪條路啥經驗一件件理清楚,脫貧了的是怎麼脫的貧?脫貧以後該怎麼防返貧?本版今起推出「傾聽·算算脫貧帳」系列報導,同讀者一起翻開帳本,「數」說脫貧攻堅成果。
  • 今年最火的是「半月包」,時髦百搭又顯高級
    2020年最流行的是"半月包"既高級時髦又低調百搭。半月包,顧名思義就是上方圓弧的包型設計。"半月包"簡約的設計外型,小巧玲瓏的包型,很符合現代女孩們的需要。"半月包"還自帶法式獨有的簡約優雅的風格設計。仿佛只要擁有此包,就能提升整個人的氣質感。
  • AI產業化進入深水區,算力瓶頸如何破?
    在WAIC(世界人工智慧大會)上,百度CEO李彥宏指出,AI發展一共分為技術智能化、經濟智能化與社會智能化三個階段,經濟智能化分為兩部分,上半場是AI平臺化蓄能,在搜索、信息流等少數領域落地