【IT168 資訊】近日,浪潮為南方科技大學(以下簡稱南科大)量身打造的超300萬億次超級計算機投入試運營,為如何實現高校的多學科、多應用的複雜超算系統構建給出了一種有效的解決方案。
南科大是一所創新型大學,目標是迅速建成國際化高水平研究型大學,建成中國重大科學技術研究與拔尖創新人才培養的重要基地。而為了確保更快的實現建校目標,南科大需要一套高性能的超級計算機來滿足各大院系的科學計算需求,促進校內科研工作開展和成果湧現。
多類型HPC應用需要「八面玲瓏」
南科大的科學計算需求集中在物理、化學、生物、金融數學等院系,這導致了超算系統需要能夠承擔不同類型的HPC應用,主要包括理論物理、理論化學計算類應用、環境監測模擬類應用、生命科學類應用以及數學、經濟涉及的金融統計和大數據應用四大類。
物理、化學和材料類應用主要使用Gaussian 09、ADF、VASP、Materials Studio、QE、Lammps、Gromacs、NWChem等軟體以及部分自主開發的代碼,典型應用包括複雜結構分子及反應機理的基礎理論研究、材料及化工過程等多尺度模擬計算;利用分子動力學相關理論及算法實現對生物大分子等體系的模擬;自主研發的太陽能發電應用模擬軟體,可擴展千核大規模應用的算例等。
環境監測模擬類應用集中在氣象、環境、海洋學科,多使用WRF、WRF-Chem、Smoke、Gis等軟體以及自主研發算法代碼,需要三維可視化呈現,典型應用包括為環境模擬提供開發和大規模應用平臺,預測環境、氣候、水文等變化情況;
生命科學類應用集中在生物系、化學系(質譜分析),主要應用軟體包括BWA、Velvet、Gromacs等開源軟體和部分自主研發算法代碼,涉及到基因組學、序列對比分析、拼接,蛋白質模擬,質譜分析等多項應用。
數學、經濟類應用對計算規模的需求相對較小,主要集中於算法的實現,金融統計分析、大數據等應用可能會需要搭建MapReduce運行環境。
浪潮超算系統兼顧計算需求與調度管理
為滿足南科大複雜的超算系統建設需求,浪潮首先組織HPC應用專家團隊對各院系的應用需求特點進行了詳細分析,以便為後續超算系統設計提供科學的依據。如物理、化學和材料類應用,除高斯適用於大內存胖節點並行計算外,其它軟體需要較好的多節點並行擴展性,部分可利用GPU、MIC等實現加速,對編譯調優有較高要求;而環境監測模擬類應用要滿足特大項目的仿真與模擬,需要配置大內存多處理器(每節點4TB以上)計算節點,同時除商業軟體外,自主代碼需要提高並行性,包括利用GPU、MIC等加速設備,對存儲性能也有較高要求;生命科學類應用對計算能力、存儲帶寬與空間要求高,大部分軟體開源,適用於GPU、MIC等應用加速。
經過應用診斷之後,浪潮為南科大設計了刀片+胖節點+GPU的異構超算系統,總計算峰值為326.64Tflops。而在深圳這個富有創新精神的城市,浪潮也在超算系統設計與管理上實現了多項創新:
GPU應用創新:以Vasp應用為代表,由於其強大的功能,在基礎物理研究、計算化學、材料科學等各領域都能看到它的身影,在全球發布Vasp GPU版本之前,浪潮就已經將它運用於GPU平臺,並通過浪潮-天眼應用特徵分析軟體做了測試驗證,幫助南方科技大學更好地實現Vasp-GPU的加速,得到的測試效果如下:
可以看到,在一定規模下,8臺安裝有一塊K40m卡的計算節點相當於24臺使用E5-2690v3處理器的計算節點,2臺安裝有2塊K80卡的節點相當於12~14個E5-2690v3節點,可見Vasp非常適合用於GPU計算,比單純用CPU計算的性價比高出許多。浪潮還通過天眼測試了GPU利用率,GPU內存帶寬,還有GPU的功耗,進一步為南科大的Vasp-GPU計算提供助力。
高性能+大數據的統一管理和聯動:在高性能和大數據結合得越來越緊密的今天,南科大的超算系統需要既能做高性能計算,又能同時實現大數據的深度挖掘,而其中最核心的部分就是統一的管理調度憑條以及存儲系統。
浪潮自主研發的Cluster Engine4.0系統不僅能調度高性能CPU/GPU/MIC節點,還能夠同時調度大數據節點,並同時監控各個節點的運行狀態,如下圖所示:
同時,浪潮和Intel共同開發的TStor2000存儲系統採用的核心軟體是Intel Enterprise Edition for Lustre商業版並行文件系統,它能夠取代大數據常用的HDFS文件系統,實現Map reduce應用的性能提升,如下圖所示:
EDR 100Gb高速Infiniband網絡:南科大很多應用的MPI通信非常頻繁,例如氣象環境海洋WRF、WRF-Chem等,需要更高速的網絡、更低的延遲。
浪潮超算系統使用了Mellanox最新發布的EDR 100Gb Infiniband網絡,其採用324口核心IB交換機,為集群提供全線速、無阻塞的通訊服務。同時,浪潮對EDR 100Gb做了詳盡的應用測試,以WRF應用為例,2690v3平臺的CPU主頻高於2680v3的平臺,有9.5%的提升,綜合考慮計算過程中,更高主頻及更快網絡的2690v3平臺更容易達到好的計算通信比,取得更好地運行性能,如下表所示:
浪潮曾為我國多個高校設計構建超級計算機,浪潮在南科大超算系統中展現的種種創新系統設計能力,也將有助於推動浪潮設計的超級計算機獲得更多高校的青睞。