中國誕生首臺百萬億次超級計算機背後的故事

2020-12-06 搜狐網

  賽迪網訊 在不久前公布的全球超級計算機500強排行榜中,安裝了微軟Windows HPCServer2008作業系統的曙光5000A超級計算機實現了百萬億次的突破,以峰值速度233.47萬億次、Linpack值180.6萬億次的成績,躋身世界超級計算機前十名。

這是本次排名中在美國之外的唯一進入前十名的超級計算機。由此,中國成為世界上第二個可以研發生產百萬億次超級計算機的國家,中國高性能計算領域的歷史也從此進入一個新的紀元。  

篳路藍縷,以啟山林

  對於微軟公司和作為國內高性能計算領域翹楚的曙光公司來說,這樣成績的取得似乎完全在情理之中;然而任何驚人奇蹟的創造,背後都往往蘊藏著開創者們不為人知的艱苦努力。其實,微軟與曙光信息產業有限公司的攜手可追溯到2007年。那一年,兩家公司正式籤署了合作備忘錄,在集群系統開發、集群系統的軟體和解決方案的開發、中國高性能計算人才的培養等方面展開了廣泛的合作。2008年,在曙光5000A成為全球前十名的超級計算機的過程中,微軟中國研發集團和曙光的工程師團隊更是並肩戰鬥,為開創中國高性能計算領域的新紀元而殫精竭慮。在一系列緊張而有序的前期準備工作之後,2008年6月,在首臺安裝了WindowsHPCServer2008的伺服器上進行的單節點測試中,運算效率達到了86%,為同期各類作業系統中最高,這令尚屬高性能計算領域新兵的微軟工程師們非常振奮,也令曙光團隊對合作打造百萬億次超級計算機的前景充滿信心。7月,微軟工程師們在曙光天津產業基地進行的32節點測試中,運算效率達到84%,幾乎實現了節點數目-運算能力的線形擴展,這在運算次數每次加倍,運算效率至少要損失1%到%2的通常經驗預測下幾乎是不可能完成的任務。微軟中國研發集團戰略合作部數據中心經理李銘清楚地記得,在離天津市區5公裡之外的車間內完成此次測試後,他們拖著疲憊的步伐去找賓館,卻因天津正在舉行夏季達沃斯會議而被多個客滿的賓館拒之門外,幾個小時後才輾轉住進了一家小旅館。  

艱難困苦,玉汝於成

  2008年9月12日,微軟中國研發集團和曙光信息產業有限公司的工程師團隊正式進駐於中科院計算所臨時搭建的數據中心,開始了對全部1920個節點構成的集成計算系統的大規模測試和優化。此前,微軟HPC團隊服務過的最大客戶是美國國家超級計算應用中心(NCSA),當時構建的超級計算機由1200個雙路四核的伺服器節點構成,且負責這個項目的微軟美國團隊相關經驗十分豐富。而此次曙光5000A由1920個四路四核的伺服器節點構成,規模是作為高性能計算技術的全球領先者的NCSA擁有的超級計算機的四倍,這對年輕的微軟中國HPC團隊來說是個非同尋常的挑戰。由於測試要求嚴格的無塵環境,佔地達2000平方米的數據中心幾乎完全不通風,只有一個很小的門可供出入。測試過程中50個機櫃的散熱風扇同時工作,環境噪音接近70分貝。兼之數據中心剛剛搭建,各方面情況尚較簡陋,現場工作環境非常艱苦。就是在這樣嚴酷的條件下,微軟和曙光的工程師團隊,夜以繼日地與這臺重50噸、身價2億人民幣的超級計算機「同吃同住同勞動」達7周半之久(從9月1日開始搭建計算機到10月28日完成最後測試結果)。團隊中每人每天的平均工作時間達到14小時以上,在工作現場的機櫃旁、停車場的角落裡偶爾可見悄然入睡的疲憊身影。雙方團隊在這樣艱苦的環境下,經過不懈的努力,令計算集群的性能和速度不斷提高,並多次在最後的期限前奇蹟般的實現既定目標。9月28日,曙光5000A的浮點運算能力達到87.6T;僅僅一天之隔的9月29日,系統運算能力即突破百T大關達到116.3T,得以趕在世界超級計算機大會的截止日期——10月1日之前順利申報全球超級計算機的Top500;10月9日,在九個毫無突破、倍受煎熬的日日夜夜之後,工程師們在逆境中的堅韌不拔終於使曙光5000A的運算能力實現突破,達到了140.3T的新高;10月13日凌晨兩點左右,在雙方工程師們的熱烈歡呼中,這臺超級計算機的運算能力達到167.4T,突破了此前曙光方面預計的160T。此舉被稱為「創造了中國高性能計算的歷史」。在經歷了10月25日174.9T和10月26日的179.8T之後,2008年10月28日,曙光5000A得到它提交給世界超級計算機大會的最終結果——180.6T。當時一直守侯在工作現場的微軟工程師李銘鄭重地說:「我們當時都屏住了呼吸,生怕一絲稍重的氣息都會影響到機器的運行。」自此,中國高性能計算的歷史被正式改寫。對於微軟WindowsHPCServer 2008在本次top500排名測試整個過程中的表現,曙光總裁歷軍顯得十分激賞,「這是我們首次應用WindowsHPCServer2008在這樣大規模的超級計算機上進行測試,本來抱著試試看的態度。但它在測試過程中表現了出極高的效率,最終得到的結果也十分優異,大大超出了我們的預期,這一切都讓我們充分肯定了微軟在這個領域的實力。」  

曙光風範:風馳電掣,躡景追飛

  據此次在一線作戰的工程師們介紹,像此次曙光5000A這樣大規模的計算集群對於硬體的穩定性要求非常高,一臺機器的一條內存出問題就會導致整個任務失敗。因此整個過程中來自曙光的工程師們一直輪流值班,並在現場準備了大量備份硬體,一旦發現問題立刻上前更換,工作效率令人敬佩。而之前搭建數據中心的整個過程,包括電源和水管的焊接及連入整個大廈的系統,架鋼梁、機櫃和路線等,曙光公司僅用了十天左右的時間。其中讓微軟的工程師們印象尤為深刻的是,曙光公司調動了可以調動的全部人員,包括秘書、財務等行政人員,在一個晚上將現場共計七百條,總長達60公裡的光纖全部部署完畢。「這是在其他任何國家都不可能實現的」,微軟中國研發集團伺服器與開發工具事業部HPC開發團隊經理嚴治慶在與遠在美國的團隊交流時表示。  

微軟語錄:「起來看歷史啦!」

  在數據中心現場,微軟工程師們擔負著對系統進行管理和優化,問題排查,不斷推動運算速度提升的重任。項目推進過程中一旦出現問題,要迅速分析原因,如出在硬體方面則需要馬上與曙光的工程師們進行溝通,軟體方面的情況則需要HPC產品團隊的工程師們及時貢獻智慧,微軟中國研發集團HPC開發團隊在嚴治慶經理的親自帶領下,項目經理、軟體開發工程師和軟體開發測試工程師與數據中心團隊共同戰鬥在工作現場,對項目的順利完成起到了至關重要的作用。由於WindowsHPC作業系統是第一次部署在如此大規模的集群上,需要對部署中和測試中出現的問題及時解決,必要時確保得到美國產品團隊的實時支持,工程師們日以繼夜的工作,很多時候是凌晨或周末,把美國有經驗的開發和測試工程師叫上一起開會診斷,力求在最短時間內解決問題。微軟美國的工程師也以極大的熱情把自己的經驗和智慧毫無保留地貢獻出來,因為他們清楚地知道這不但是在創造微軟高性能計算的歷史,也是在創造中國高性能計算的歷史。

  在艱苦的歷程中,工程師們一直以極大的熱情投入工作,然而項目從前期準備、節點測試到入駐數據中心後的衝刺總共歷時近一年的時間,其中經歷過好幾次非常困難的「瓶頸」階段。每當大家已非常努力卻一時看不到成果,出現焦躁情緒的時候,微軟中國研發集團戰略合作部的數據中心經理李銘總會以這樣的話為大家打氣:「請記住,我們現在的工作是在創造中國高性能計算的歷史。」

  也許正是因為有了這樣強烈的使命感,無論是在天津曙光產業基地,在生產車間裡做測試,還是後來在臨時搭建各方麵條件尚很簡陋的中科院計算所地下二層車庫,微軟工程師們對艱苦環境和繁重任務的適應能力讓所有人驚嘆。身在提倡工作與生活平衡的微軟公司,從入駐車庫開始的中秋節、國慶長假以及各個周末,工程師們沒有休息過一天。其中尤其令人感慨的是被大家親切地稱為「老夏」的法國性能測試專家Xavier,受到大家的熱情感染這次也成了拼命三郎,在項目中每天的工作量是在法國的兩到三倍。

  2008年10月13日,對於微軟的工程師們來說是一個格外值得紀念的時刻。這一天凌晨,守候在數據中心現場的工程師們親眼見證了167.4T運算紀錄的誕生,歷史性地突破了整個項目開展預計的160T。結果出來的那一刻,微軟中國研發集團的工程師李浩然叫醒了正在角落裡休息的夥伴們。「起來看歷史啦!」他興奮地說。

  這天晚上的慶祝活動中,每個人都喝了有生以來最多的酒,曙光的聶總還拿出了珍藏的茅臺。令人在多日之後仍津津樂道的是老夏同志由於對茅臺酒的後發勁力估計不足而喝了很多,後來兩次跌進了飯館中作裝飾用的水池裡。然而讓人印象更為深刻的可能是他在席間的一番話。「我非常榮幸能參加這樣一個項目,成為改變中國在高性能計算這個領域實力的一員」,他手持酒杯,發表了這番頗具國際主義精神的感言。「這個數字的出現後,中國的高性能計算產業就邁上了一個新的臺階,能為此出一份力我感到非常自豪!」

(責任編輯:張笑)

相關焦點

  • 中科院研製出我國首臺百萬億次超級計算機
    記者從落戶天津高新區的曙光公司產業基地獲悉,由中國科學院計算技術研究所、曙光信息產業有限公司自主研發製造的百萬億次超級計算機「曙光5000」近日研製成功
  • 中國成功研製千萬億次超級計算機「天河一號」
    新華社發(何書遠 攝)    每秒鐘1206萬億次的峰值速度和每秒563.1萬億次的Linpack實測性能,使這臺名為「天河一號」的計算機位居同日公布的中國超級計算機前100強之首,也使中國成為繼美國之後世界上第二個能夠研製千萬億次超級計算機的國家。    這個速度意味著,如果用「天河一號」計算一天,一臺當前主流微機得算160年。
  • 「天河一號」我國首臺千萬億次超級計算機研製成功!!
    超級計算機「天河一號」就是這麼神:60億人算一年,它一秒鐘就算完!  9月10日,備受矚目的世界計算機大會在長沙開幕。從心算、珠算的古老智慧,到「銀河」「天河」「神威」創造的中國速度。「中國計算」為世界矚目。這次的大會也是我國計算機產業領域規格最高、規模最大的專業盛會。  大咖雲集共話未來! 2019世界計算機大會邀請了當前計算機領域最權威的專家陣容。眾多大咖紛紛到場。
  • 大國重器:超級計算機,盤點我國超算發展史,產業自主化迫在眉睫
    >時間:1993 研製單位:國家智能計算機研究院開發中心 (第一次) 簡介:我國第一臺SMP(對稱式多處理機)結構計算機,863計劃的重大科研成果,在其誕生後三天,美國宣布解除10億次計算機對中國的禁運 曙光 時間:
  • 天河一號落戶天津濱海 揭秘超級計算機有多"牛"
    天河一號落戶天津濱海 揭秘千萬億次超級計算機   天津網 訊  隨著第一臺國產千萬億次超級計算機29日在湖南長沙亮相,中國擁有了歷史上計算速度最快的工具。每秒鐘1206萬億次的峰值速度和每秒563.1萬億次的Linpack實測性能,使這臺名為「天河一號」的計算機位居同日公布的中國超級計算機前100強之首,也使中國成為繼美國之後世界上第二個能夠研製千萬億次超級計算機的國家。   超級計算機是世界公認的高新技術制高點和21世紀最重要的科學領域之一。「天河一號」的設計始於2008年,國防科技大學是「天河一號」的研製者。
  • 講述「大國重器」背後的故事:逐夢天河
    1964年11月,我國第一臺電晶體通用數字計算機441B宣告誕生。  此後10年,隨著集成電路技術的應用,世界算力再次迎來新的突破。但幾乎就在中國百萬次計算機誕生的同時,美國科學家運用向量技術,實現了數據批量化處理,算力直指億次大關,標誌著計算機前沿領域跨入高速度、大容量的巨型機時代。  時鐘的指針來到1978年,中國迎來了科學的春天。
  • 科技日曆|從無到有,我國第一臺億次巨型計算機「銀河-I」誕生
    科技日曆|從無到有,我國第一臺億次巨型計算機「銀河-I」誕生  Winnie Lee • 2019-12-22 15:30
  • 世界上最快超級計算機誕生,秒算51億次,美國只能排第二
    世界上最快超級計算機誕生,秒算51億次,美國只能排第二我國在技術發展領域一直都是存在著缺陷的,由於本身的起步時間就比較晚,所以就需要更多的一些支持和發展來跟上其他國家的步伐,尤其是在一些技術發展領域,我們就有更多的缺陷。
  • 全球最快超級計算機誕生,秒算51億億次,美國Summit只好位居第二
    在2018年,美國超級計算機Summit誕生了,取代了我國「神威·太湖之光」超級計算世界第一的位置,Summit位於美國田納西州橡樹嶺國家實驗室(ORNL),由著名的IBM公司製造,在運算過程中,Summit峰值速度可達每秒20億億次,比我國的「神威·太湖之光」超級計算機要快得多。
  • 1946年世界上第一臺計算機誕生
    1946年2月14日,世界上第一臺計算機在美國賓夕法尼亞大學誕生。它的計算速度快,每秒可從事5000次的加法運算,運作了九年之久。吃電很兇,據傳每次一開機,整個費城西區的電燈都為之黯然失色。另外,真空管的損耗率相當高,幾乎每15分鐘就可能燒掉一支真空管,操作人員須花15分鐘以上的時間才能找出壞掉的管子,使用上極不方便。曾有人調侃道:「只要那部機器可以連續運轉五天,而沒有一隻真空管燒掉,發明人就要拍手慶祝了」。
  • 科技創新70年丨中國超級計算進擊史
    銀河-I 的誕生打破了西方大國在超級計算機上的技術封鎖,讓中國成為繼美國和日本後,世界上第 3 個可以自主研製超級計算機的國家。這臺計算機也因此得一別名:「爭氣機」。國家的意志1983 年,除了銀河-I 的研製成功,還發生了兩件對中國超級計算機界影響深遠的事情。
  • 圖說歷史‖世界上第一臺電子計算機 ENIAC 誕生
    75 年前的 2 月 14 日,比情人節更耀眼的是,世界上第一臺電子計算機「電子數字積分計算機」。
  • 「白晝流星」背後,聯想人撐起每秒百萬億級計算
    「白晝流星」的故事發生在2016年11月18日——「神舟十一號」返回的那一天。艙體划過天空回到地球,就像白天出現的流星。用總導演陳凱歌的話形容,這是「全民記憶、歷史瞬間、迎頭撞擊」。從中,能夠看到大國時刻背後普通人的深情交付。觀看「白晝流星」的,還有一個特殊的人——聯想DCG(數據中心集團)高性能計算資深架構師郝常傑。
  • 新中國的第一:這臺計算機有屋子那麼大
    在60年前,有計算機就是勝利,而在今天,中國在追求計算機的「超級」。超級計算機是計算機中功能最強、運算速度最快、存儲容量最大的一類計算機,多用於國家高科技領域和尖端技術研究,是國家科技發展水平和綜合國力的重要標誌。  中國第一臺億次巨型計算機是國防科技大學計算機研究所自行研製的「銀河-I」。它的運算速度為每秒1億次以上。
  • 比超級計算機還厲害!中國建成世界首臺光量子計算機
    中國證券網訊 中國科學技術大學潘建偉院士3日在上海宣布,我國科研團隊成功構建的光量子計算機,首次演示了超越早期經典計算機的量子計算能力。  據新華社5月3日消息,實驗測試表明,該原型機的取樣速度比國際同行類似的實驗加快至少24000倍,通過和經典算法比較,也比人類歷史上第一臺電子管計算機和第一臺電晶體計算機運行速度快10倍至100倍。  潘建偉說,這臺光量子計算機標誌著我國在基於光子的量子計算機研究方面取得突破性進展,為最終實現超越經典計算能力的量子計算奠定了堅實基礎。
  • 1973年8月26日中國第一臺百萬次計算機試製成功
    我國首臺運算每秒達100萬次的電子計算機在1973年8月26日試製成功!1957年,哈爾濱工業大學研製出了中國首臺電子計算機(模擬型),在1958年刻苦攻關,先後試製出了中國的首臺小計算機與大型電子管計算機「103」,也是我國的第一代計算機。
  • (新中國70年)新中國第一臺計算機:從無到有躋身世界前列
    今年7月份召開的「2019世界計算機大會」發布數據顯示,2018年,中國計算機行業實現主營業務收入1.95萬億元人民幣,同比增長8.7%;微型計算機產量3.1億臺,伺服器年產量達到了295.2萬臺。如今的人們很難想像,中國的第一部電子計算機——103機,佔地達40平方米,運算速度僅為每秒30次。
  • 世界超級計算機500強排行:美國113臺,日本34臺,中國讓人驕傲!
    導讀:世界超級計算機500強排行:美國113臺,日本34臺,中國讓人驕傲!,而最近世界超級計算機500強排行榜單發布:美國一共有113臺上榜,日本有34臺上榜,而中國一共有217臺上榜,中國超級計算機上榜的數量排名全球500強榜單的榜首,這也非常的值得我們驕傲和自豪!
  • 中國新百億億次超級計算機樣機預計年底研製成功—新聞—科學網
    新華社天津1月17日電(記者周潤健、李鯤)2016年天津超算中心同國防科技大學合作,啟動了新一代百億億次超級計算機樣機系統的研製,目前已經取得了階段性成果
  • 我國第一臺電子模擬計算機研製成功(新中國日曆)
    為慶祝中華人民共和國成立70周年,本版今起開設「新中國日曆」欄目,回顧新中國歷史上的今天,呈現發生的大事、要事,突出展現這一領域發生的巨大變化、取得的偉大成就,敬請關注。    「我國自製的第一架電子計算機,今天(5月25日)下午七時半在上海復旦大學物理系作了一次表演,經過初步試算,性能良好。」