阻擋HPC前行的「最後一公裡」,打破「存儲牆」迫在眉睫

2021-01-09 IT168

  當下,無論是上天攬月的「嫦娥五號」,飛往火星的「天問一號」,還是下萬米深海潛航的「蛟龍號」,或是抗擊疫情中利用AI進行CT影像識別,幾乎任何一項偉大的科學成就與工業創新,都離不開高性能計算機的強力支撐。

  比如為保證嫦娥五號能順利從月球取回土壤,在發射之前,需要對發射的整個過程進行模擬,包括軌道修正、近月制動、組合體分離、月面著陸、月面採樣、月面上升、交會對接與樣品轉移、環月等待與月地轉移、軌道器和返回器分離、著陸地球等,這一過程需要利用高性能計算機進行大量的仿真分析,以論證方案的可行性。除發射前的模擬測試,在發射後的飛行控制過程中,還需要實時採集大量的飛控數據進行實時處理分析,以更好地判斷相關設備的運行狀態,及時做好飛控調整。

  這就是為什麼領先的科技與工業大國寧願投入巨資,也要在全球超級計算機產業中佔據一席之地的原因所在。超級計算機不僅是一個國家綜合科技實力的象徵,也是工業創新、國防建設、科學研究、石油勘探等重要經濟行業的發展基礎和動力之源。

  HPC的誕生與發展

  超級計算機是與高性能計算機相對應的概念。一般將信息處理能力比個人計算機快至少一到兩個數量級的計算機,歸類為高性能計算(High Performance Computing)。超級計算機發展源於大型科學工程對於超高密集計算、海量數據處理應用需求。

  說到世界第一臺計算機,都知道是1946年誕生於美國賓夕法尼亞大學"ENIAC",但很少人知道,ENIAC是美國軍方為滿足美國奧伯丁試驗場計算彈道需要而研製的。在那個中國還大量使用「算盤」的時代,"ENIAC"堪稱當時的超級計算機。

  從"ENIAC"誕生算起,到上世紀50年代中後期,以美蘇爭霸為背景,計算機被廣泛應用於飛彈、核武器的計算研究,這一時期的計算機特點是體積大、功耗高、可靠性差。直到1958年電晶體的出現,計算機體積開始大幅縮小,運算速度提升至最高可達300萬次,這些可以算作是超級計算機發展的前身,但僅限用於國家主導的軍事科研工程。

  超級計算機真正迎來大發展,是從1964年集成電路被大規模應用開始的。我國超級計算機研製就起步於這一時期。到目前為止,大體經歷了三個階段:第一階段,自60年代末到70年代末,主要從事大型機的並行處理技術研究;第二階段,自70年代末至80年代末,主要從事向量機及並行處理系統的研製;第三階段,自80年代末至今,主要從事MPP系統及工作站集群系統的研製。

  1983年12月22日,中國第一臺每秒鐘運算一億次以上的「銀河一號」巨型計算機的研究成功,才真正跨入超算競爭的行列。時至今日,中國神威·太湖之光、天河二號不僅成為全球超級計算機TOP500的「常客」,也曾成為榜單的實力擔當。如今,這些浮點計算能力達每秒萬億億次的超級計算機,其應用範圍也不再局限於軍事科研項目,在CAE仿真、動漫渲染、物理化學、石油勘探、生命科學、氣象環境都有著廣泛應用。

  HPC逐漸走向平民化

  在大型機時代,高性能計算基本上是IBM最擅長的陣地。從上世紀60年代到本世紀初,在全球超級計算機排行榜上,基本都是以IBM POWER處理器為內核,通過大規模並行級聯打造的平臺。

  近二十年,隨著PC及伺服器需求的迅猛增長,龐大的市場需求支撐了X86處理器性能的快速提升,在不斷提升的性價比優勢,以及全新高速互連技術架構Omni-Path的合擊下,以X86處理器為核心的高性能計算產品越來越成熟,在GPU計算加速卡的加持下,正推動著HPC向更多領域普及。同時,針對典型行業HPC的藍圖參考架構、高性能生態聯盟、高性能應用框架,降低了HPC架構部署管理難度和應用開發強度,使HPC的技術門檻進一步降低。

  除此之外,不斷深化的企業數位化轉型和智能化升級需求,也成為HPC走向普及的的一個重要的推動力量。隨著企業數據量的快速增長,以及大數據、人工智慧以及深度學習等技術快速融入,企業依賴更高性能的算力提供業務創新和數據分析決策。特別是近兩年備受關注的自動駕駛汽車、人臉識別、醫療診斷、工業智能以及商業決策,其核心是大數據支持,HPC成為人工智慧模型訓練的重要支撐平臺。

  大數據與HPC的結合衍生出了HPDA(High Performance Data Analysis,高性能數據分析)技術。IDC數據顯示,目前有67%的HPC資源用於HPDA,而機器學習/深度學習、欺詐檢測的需求就是其中較為典型的應用。大數據時代的到來將使HPDA應用成為HPC的下一個強力增長點。預計到2021年,全球HPC存儲市場空間可達148億美金,其中新興的HPDA和HPC-based AI場景將以年化17%、29.5%的增速快速增長。

  在最新發布的超級計算機TOP500榜單上,連續兩屆蟬聯第一的Fugaku(富嶽)超級計算機將其在新的混合精度HPC-AI基準上的性能提高到了2.0 exaflops,超過了6個月前1.4 exaflops的紀錄。之所以日本方面非常強調這一指標,一定程度上反應了日本超級計算機的發展思路,即瞄準日趨豐富的AI場景化應用打造更高性能超算平臺。這一技術構建趨勢,很好匹配了IDC最新研究報告對於新興HPDA和HPC-based AI場景應用的預測。

  隨著CPU、GPU等處理器性能的快速提升,以及多元化算力的融合發展,打造HPC的門檻和難度正在大幅降低,HPC從小眾走向大眾是必然趨勢。HPC作為一種計算能力更強的平臺,不僅作為數字經濟時代和新基建的重要基礎,繼續在諸如科研、天文、能源、軍事等方面繼續發揮重要作用,同時在基因測序、氣象科學、工業創新、大數據分析、智能醫療、深度學習、人臉識別等新興領域,更廣泛的服務於大眾需求。

  HPC前行的存儲瓶頸

  這是一個最好的時代,也是一個最壞的時代。

  隨著5G、大數據、AI等技術的快速發展,我們看到了HPC與大數據、AI的融合趨勢,也堅定地認為,HPDA、HPC-based AI等新興HPC場景將在各行各業全面開花,HPC普及化的時代已經到來。

  然而,在CPU以摩爾定律為牽引快速提升性能的過程中,HPC發展卻面臨存儲以及I/O速度與計算能力越來越不匹配所帶來的「存儲牆」問題。眾所周知,在計算機發展過程中,CPU性能的增長是遠高於存儲性能和I/O性能的,這導致在計算機不斷發展過程中,計算、存儲、I/O 間的速度差距會越來越顯著。

  2014年某機構針對數據中心的性能調查顯示,當年CPU性能增長52%,內存性能增長9%,I/O性能增長6%,而存儲性能的提升最慢,因為這不僅與介質物理性能有關,還與存儲協議有關,這種介質與協議的變化其實非常緩慢。存儲性能落後於CPU、內存帶寬性能,就意味著數據訪問能力落後於數據的處理能力。

  對高性能計算機而言,由於採用的是並行計算機體系架構,由多CPU和GPU級聯打造的高性能並發算力,會如潮水一般湧入,使得「存儲牆」問題更難以克服。最終導致的結果是,CPU空轉等待存儲器訪問的時間佔了很大比例,並行計算效率大幅下降。目前大規模並行計算機在實際應用中的效率只有5%左右,存儲性能成為提升效率的最大制約。

  隨著HPDA、HPC-based AI等新興場景應用的全面爆發,企業對於高性能、實時化的大數據分析需求將變得更加迫切。

  在HPC領域,目前包括華為、英特爾都在通過統一多元化的異構算力來解決HPC產業發展中的算力需求,並取得明顯的成效。為克服「存儲牆」問題,包括華為在內的一批廠商也在努力,正在通過技術革新,深入研究智能存儲體系結構、高性能存儲技術等關鍵技術,減少存儲與計算之間的性能差距,打通HPC前行的「最後一公裡」。

相關焦點

  • 故人沐浴、3D列印 八寶山殯儀館貼心服務護航「人生最後一公裡」
    故人沐浴、3D列印 八寶山殯儀館貼心服務護航「人生最後一公裡」  【解說】梳洗打扮、遺體修復,3月22日,北京八寶山殯儀館舉辦第四屆公眾開放日活動,從告別廳到心靈撫慰室,從遺體修復室到沐浴室,一個個貼心服務向觀眾們展示著此次開放日活動的主題——護航「人生最後一公裡」。
  • 2020乘風破浪|踏浪前行,重慶正當時!
    2020乘風破浪|踏浪前行,重慶正當時!鄒樂 攝重慶市人民政府與紫光集團籤署紫光存儲晶片產業基地項目合作協議位於兩江新區的DRAM存儲晶片製造工廠預計2021年建成投產助力重慶智能化產業快速發展
  • 重慶璧山三合鎮二郎村:打通農村飲水「最後一公裡」
    摘要:去年,璧山區圍繞實現「同網同價同質同服務」工作目標,在全區150個村開展「黨建引領、水價治理」改革,解決群眾急憂盼問題,打通農村飲水「最後一公裡」真正實現了農村飲水從「有水喝」向喝「安全水、平價水」的升級轉變。
  • 三臺:傾力打通服務群眾「最後一公裡」
    「兩項改革」後,針對鎮村人口、面積「雙倍增」,便民服務半徑拉長、服務覆蓋「缺位」,群眾需求增多、服務供給「吃力」等問題,三臺縣以便民服務中心為載體、以服務事項為核心、以制度建設為保障,探索構建順暢高效的便民服務運行機制,切實打通服務群眾「最後一公裡」。
  • 人民日報發表國紀平文章:世界潮流浩浩蕩蕩不可阻擋
    央廣網北京6月14日消息 據中國之聲《新聞和報紙摘要》報導,今天(14日)出版的人民日報發表國紀平文章,題目是《世界潮流浩浩蕩蕩不可阻擋——評美國一些人戰略迷誤的危險(上)》。阻擋經濟全球化發展,終將被全球化的大潮衝得粉碎。美國一些人執迷不悟,執意向中國等國家極限施壓,顯然打錯了算盤。沒有任何力量能夠阻擋中國人民實現夢想的步伐。一路風雨兼程,一路砥礪前行。保持「亂雲飛渡仍從容」的戰略定力,發揚「咬定青山不放鬆」的堅韌精神,我們必定能戰勝各種風險挑戰,贏得主動、贏得優勢、贏得未來。中華民族偉大復興的歷史進程誰也阻擋不了!
  • 最後12.5公裡!海珠環島路呼之欲出
    期盼了13年,環島路工程僅剩最後12.5公裡! 近日,樓市君航拍環島路最新進展,奉上一波美圖,在此先恭喜海珠市民。看來,附近居民又增加了一處休閒場地。 環島路在建路段(廣州樓市發布攝) 02 | 13年艱辛建設,環島路剩下最後12.5公裡 其實,環島路自開工之日起,就一直自帶熱搜體質。 上個月,海珠環島路海珠湧大橋開通,「海珠之眼」刷了一波話題榜。
  • 帶木牆的臥室設計,打破傳統,營造獨特的家居美學
    甚至將精緻的現代臥室變成了一個休閒的個人庇護所,經過翻新的木牆在美學和裝飾空間方面都產生了很大的影響。考慮到這一點,這裡有25個最好的臥室,它們都欣然接受了這一趨勢。希望他們也會激勵您也這樣做!在這些項目中,不僅可以看到內部、環境和風格的徹底改造,還可以看到老閣樓、棚屋、車庫和多餘的擴建部分被拆除,取而代之的是全新的擴建部分。
  • 免費診斷 有效治療 打通技術服務 「最後一公裡」 新版 「魚病遠診...
    免費診斷 有效治療 打通技術服務 「最後一公裡」 新版 「魚病遠診網」 啟動試運2020-06-19 10:43:00  水產養殖網  出處:全國水產技術推廣總站        瀏覽量: 3821 次 我要評論
  • 為什麼說UFS存儲晶片是手機存儲的未來?宏旺半導體一文解析
    為什麼說UFS存儲晶片是手機存儲的未來?宏旺半導體一文解析 其次,就是UFS的工作模式,這裡就要提到全雙工的工作模式和半雙工的工作模式的區別了。由於韓國本身資本開支不足,影響到了存儲的供應,加上5G推動的智慧型手機、數據中心、通信三個產業需求疊加爆發,這已導致供需剪刀差會長時間存在,助推產品價格上漲。那麼疊加此次疫情,存儲晶片供應會受到一定影響,會進一步加劇產品漲價。
  • 457公裡 一條躍動的「生命線」
    為搶救生命,轉運重傷員迫在眉睫。  四川迅速啟動四級醫療救治模式:輕傷員集中在九寨溝縣診治、部分傷員轉運到周邊縣治療、較重傷員轉運到綿陽市精心救治、重傷員轉運到成都市治療。  9日,陸軍第77集團軍某陸航旅出動4架直升機,經過3個多小時的空中飛行,將9名重傷員從九寨溝縣轉運至成都。  更多的較重傷員,則被救護車轉運至綿陽。
  • 看了日本廚房又學到一招,二字型預留一面L型牆,比國內廚房透光
    廚房布局大多都是二字型,這種布局在國內戶型裡也很常見,但區別就在於日本廚房一側做的靠牆L型烹飪臺。 日本廚房多為開放式和半開放式廚房,在烹飪臺面靠牆做了到頂矮牆,剛好油煙機安裝在這牆拐角的位置,不論選擇頂吸還是側吸,兩牆面+頂面,安裝油煙機會更簡單、牢靠,也正好將牆拐角的雞肋空間給利用了。
  • 旅行者1號飛行了223億公裡,拍的最後一張照片,為何令人深思
    旅行者1號飛行了223億公裡,拍的最後一張照片,為何令人深思對於我們人類來說,宇宙是一個浩瀚而且神秘的存在,從古至今,我們對宇宙的探索也從來沒有停止過,宇宙當中的星辰,在我們的文獻當中,存在著大量的記錄,對於天文也取得一定的成就,但是受限於科技水平的發展,所有的一切都只能局限在理論可能上面
  • 廣州100公裡越野:這一夜,我在風雨中的山野想像廣州大道的奔跑
    那一刻我心動了,也行動了,最後也感動了(比賽臨時取消,報名費全部退還,比賽裝備照發)!儘管如此,沒能在2019年的第一個月行走山野,我還是挺遺憾的;因此,4月中旬當我從愛馬群中得知廣州100越野賽的消息時,我是興奮的。「中國第一場世界級城市中央的百公裡越野賽,讓你一日讀懂二千年」。
  • 人民日報署名文章:世界潮流浩浩蕩蕩不可阻擋——評美國一些人戰略...
    如果美國一些人不撞南牆不回頭,最終只會四面樹敵、到處碰壁、自食苦果。(五)在你輸我贏、零和博弈的思維下,美國一些人張口就是濃濃的火藥味。不久前,美國國務院政策規劃辦公室主任斯金納公開聲稱,中美是「文明之間的衝突」。在美國「冷戰活化石」、白宮前首席戰略顧問史蒂芬·班農眼中,中國是最危險的敵人,狂妄叫囂要把中國「打回到第三世界」。
  • 剖析中國高鐵海外發展:建中國標準迫在眉睫
    根據國際鐵路聯盟統計,除中國外,現有10多個國家正在或計劃建設高速鐵路,預計未來10年間的新增裡程將達到1萬公裡。  【「兩車」合併提升競爭力】  隨著去年底,中國南車和中國北車宣布合併組建總資產超過3000億元的中國中車,全球軌道交通裝備製造業的「巨無霸」誕生。
  • 100公裡油耗5.9是啥意思,每公裡油耗多少?算省油嗎?
    目前市面上一百公裡油耗5.9的汽車最常見,因此很多人就對這一百公裡油耗5.9產生了疑問。100公裡油耗5.9是什麼意思,每公裡油耗多少?算省油嗎?作為液體的汽油,我們平常的說使用的單位當然是升了,所以這個一百公裡油耗5.9從字面就能看出它是什麼意思,就是一百公裡油5.9升。這是標準有關部門給出的一個參考,也就是說一百公裡耗油5.9升是最標準的油耗量。
  • 最後一公裡城市物流怎麼解決?陝西通家電牛2號給出了更好選擇
    在城市日益嚴峻的交通擁堵、霧霾環境的背景下,傳統的物流運輸工具很難在適應當下及未來城市物流需求,更加專業、節能、環保的純電動物流車逐漸取代傳統燃油車,成為城市「最後一公裡」物流運輸的最佳選擇!
  • 15天後,無法阻擋!3星座戰力飆升,熱血在沸騰,心中充滿陽光
    通向成功的路上,有的人開著車,愜意自在,也有人走路前行,對於他們來說,一路上的風景比結果更重要。金牛座享受拼搏的過程,享受為了目標而奮不顧身。15天後,無法阻擋!金牛座戰力飆升,熱血在沸騰,心中充滿陽光。2.雙魚座拼!衝出舒適圈。
  • 煙臺公交打通服務市民出行「最後一公裡」 社區居民送錦旗致謝
    經前期實地走訪調研和科學論證,於10月26日對52路公交線路走向進行優化調整,沿途增加了楚繡東路北口、楚繡東路楚繡北路口、辰源雅景西門、康和小學、富春山居等5處站點,打通了服務群眾出行的「最後一公裡」。