浪潮存儲聯合華中大,探索科研新基建背後的大數據奧秘

2020-09-23 浪潮圈

一直以來,從腦疾病的研究到大腦功能的解密,科學家從未停止過對大腦探索的步伐。在華中科技大學蘇州腦空間信息研究院,科學家們正在做一件對於腦科學研究具有裡程碑意義的事情:繪製一張可能是世界上最複雜的「地圖」——靈長類全腦的三維圖譜。


以小鼠三維腦圖譜為例,科學家們通常先對小鼠進行腦成像:將鼠腦標本固定,用金剛刀從上至下、從左至右,將鼠腦標本順次切成1微米厚度的薄片,一邊切片一邊拍照,照片實時存儲到計算機系統之中。當鼠腦成像結束,腦科學家再根據這些二維照片合成三維腦圖譜。


一個小鼠全腦有超7000萬個神經元,繪製小鼠腦圖譜需要15380張圖片,未壓縮的數據量高達8TB。人腦的體積大約是小鼠腦的1500倍,擁有860億個神經元,人腦的三維圖譜數據量將會再提升幾個量級。現如今,單純的腦成像已經不成問題,但成像之後巨大的數據量如何存儲和分析成為當下腦科學等多個科研領域最為棘手的挑戰。


是什麼阻礙了「腦洞大開」


華中科大蘇州腦空間信息研究院所遇到的情況是科研機構在新數據時代下的一個縮影。


一方面,得益於國家經濟實力的不斷提升,科學研究投入持續加大。根據《2019年全國科技經費投入統計公報》顯示,2019年全國研究與試驗發展經費首次突破2萬億元,達到22143.6億元,同比增長12.5%。


另一方面,數位化正在改變科研模式,過去相對薄弱的數字基礎設施開始面臨升級,亟需符合未來研發需求的新型基礎設施。正如發改委今年首次明確了新基建的範圍,將支撐科學研究等具有公益性質的重大科技、科教基礎設施劃分為創新基礎設施,屬於新基建未來重點投入方向。


「當前科研領域在存儲等基礎設施方面主要有容量、性能和穩定性三個典型挑戰。」華中科技大學計算機學院院長馮丹教授在浪潮雲數智中國行武漢峰會上如是說。


華中科技大學計算機學院院長馮丹教授

與其他行業相比,數據在科研領域的生產要素屬性更加快速顯現。科研數據往往具有數據密集型範式的特點,具有數據量巨大的特徵。以目前世界上靈敏度最高的射電望遠鏡中國天眼項目為例,每天產生約500TB的零級未壓縮數據,預計未來十年數據量將超過100PB,對長期運行產生的海量數據進行存儲與計算分析正在深刻改變其科研模式,如何存儲與保護這些海量數據就成為巨大挑戰。


此外,隨著海量數據的產生,科研機構通常希望能夠讓數據採集、處理和存儲的速度提升,以更好、更快支撐起科學研究。馮丹教授表示:「科研項目對於性能一直很關注。早年前,像新材料研發這些研究可能數據量不會很大,但對於後端存儲性能要求極高。現在,科研的數據量普遍很大,對於存儲性能的要求就更高了。」


例如,華中科大蘇州腦空間信息研究院存儲人腦三維圖譜數據,如果採用之前的成像系統,一臺系統至少需要花費20年時間才能完成數據的採集,這無疑是當前科研機構們所不能接受的,因此需要存儲具有分布式橫向擴展能力,提升其並發性能,讓數據的採集與分析更加快速,確保其研究項目的高效。


第三就是穩定和可靠,科研數據除了數據量之外,高質量與完整性也至關重要,因此對於存儲系統的穩定性和可靠性要求越來越高。存儲越穩定和可靠,意味著對高質量科研數據的存儲與完整就越有保障。


以清華大學RUSH腦成像研究項目為例,其對擁有1億神經元的小鼠大腦進行研究,28臺1200萬像素相機以每秒30幀、連續72小時的方式對小鼠進行拍攝,每天將產生2.7PB左右的數據,最後將這些圖片拼接成三維圖像序列,存儲系統需要滿足最長72小時拍攝過程中PB數據不丟幀。


事實上,在新數據時代加速到來的今天,包括科研領域的各行各業都在加快數位化的步伐,也直接驅動著存儲等基礎設施走向新的變革。


為數位化提速,存儲有哪些重要趨勢


當下,數據正在成為最重要的生產要素,是數位化轉型和智能化升級的基礎。年初的《關於構建更加完善的要素市場化配置體制機制的意見》報告中首次新增「數據」要素,並指出要發揮「數據」這一新型要素對其他要素效率的倍增作用,使數據成為推動經濟高質量發展的新動能。


這恰恰是新數據時代到來的體現。就像科研領域越來越重視數據一樣,各行各業都渴望充分利用數據的價值、為數位化提速,使得與數據密切打交道的存儲呈現出重要的新趨勢。「在數據呈現爆炸性增長的趨勢下,隨著算力的提升和數據的積累,大數據智能成為發展趨勢,也給存儲系統帶來一系列新變化。」馮丹教授直言。


馮丹教授介紹,存儲在PCM、3D NAND、3DXPoint等晶片器件上創新,將進一步帶動存儲設備、系統、架構和軟體的創新,「面向大數據的存儲首先是以數據為中心,圍繞數據做相應處理,其次是近數據處理,在離數據最近的地方做處理,減少數據傳輸帶來的性能損耗;第三則是實現存算一體化或存算融合,直接在存儲中進行處理。另外,智能相關技術也會加速融入到存儲系統之中,提升存儲系統性能、可管理性等。」

浪潮存儲

浪潮存儲作為近年來存儲市場上快速崛起的代表廠商,則認為未來存儲的發展理念是「雲存智用 運籌新數據」,體現到存儲趨勢,可以提煉為三個字:雲、閃、智。


首先是「雲存」,即存儲需要與雲進行全面對接。雲計算已經走向普及,企業上雲的趨勢不可阻擋,混合或者多雲環境將會成為常態。無論是公有雲還是私有雲,存儲層實現對它們的對接,將極大有利於數據的流動。葉毓睿介紹:「存儲與私有雲管理平臺的對接,有利於私有雲管理平臺按需驅動存儲資源的創建、調整、優化甚至回收;而存儲與公有雲對接,則有利於更好地使用公有雲彈性的資源,讓數據流動起來。」


另外,存儲加速實現全閃化也是大勢所趨。藉助於快閃記憶體介質成本的不斷下降、NVMe、RDMA等與快閃記憶體相關的技術逐漸走向成熟,快閃記憶體在存儲系統中的門檻愈發下降。隨著基於快閃記憶體介質的技術堆棧走向完善,全快閃記憶體存儲在性能、功能和容量三者之間有望實現「魚與熊掌可兼得」,有望在更多用戶中得到落地。


第三則是存儲快速邁向智能化。一方面,存儲自身會融入更多人工智慧技術,根據業務負載、運維管理等數據特徵,進行不斷的學習與優化,從而提供更加精準的預警信息和執行動作。馮丹教授也表示:「融入智能化是存儲的大勢所趨。例如,華中大在研究的主動對象存儲技術中,最主要體現的就是智能性,讓存儲系統並不是簡單的啞設備被動響應請求,而是會根據歷史負載預測未來趨勢,讓存儲系統可以感知應用需求,然後採用不同的策略更好地服務不同的應用。」


雙方共同探討存儲技術趨勢

另一方面,AI技術正在加速落地,但AI準備、訓練、推理和歸檔等各階段的IO特徵不同,對於存儲需求也不同,將會進一步推動AI存儲產品加速到來。「例如,AI在模型訓練階段的IO特徵為高帶寬、低延時和隨機小IO;而推理階段的IO特徵是讀寫混合,要求存儲延時低,能夠快速響應。」葉毓睿補充道。


為「新數據時代」做好準備


IDC《2019年數據及存儲發展研究報告》中指出,新數據時代表現出的新數據特徵:數據增長、企業對實時數據需求增加、多雲部署模式成趨勢、多元和非結構化數據成為常態。從本質上來看,存儲需要為用戶在新數據時代下更好地存好、用好和調度好數據,為其數位化轉型和智能化升級提供支撐。


在眾多廠商中,浪潮存儲近年來已經成為市場中一股不可或缺的力量。根據IDC最新數據顯示,浪潮存儲在今年第二季度出貨量躍居中國第二,增長速度位列中國第一,並且增速遠超其他廠商。這背後是浪潮存儲致力於幫助用戶為「新數據時代」做好準備的戰略布局。


2020浪潮雲數智中國行武漢站

浪潮存儲在戰略上提出了「雲存智用,運籌新數據」的理念,打造存儲平臺戰略,重點發展分布式存儲和快閃記憶體存儲等新存儲,並致力於打造存儲七大極致能力,更好地幫助用戶在多元化、應用複雜化的數據全局中將數據存好、用好和調度好,更好地發揮出數據價值。


為更好地支撐起「雲存智用,運籌新數據」理念,浪潮存儲在過去幾年投入了20億元巨資攻關存儲核心技術的突破,比如浪潮存儲幾年前開始布局快閃記憶體盤,其NVMe SSD已經在浪潮伺服器中進行搭載售賣,接下來還會在集中式存儲和分布式存儲中搭載;另外,浪潮存儲在存儲架構上將致力於打造出融合分布式和集中式架構優勢的新存儲架構,以實現「一個數據中心,一套存儲」的願景目標。


浪潮存儲短短幾年的飛速成長,同樣離不開強大人才體系的打造。浪潮存儲從過去幾十人的規模如今成長為上千人的團隊,其研發、市場、銷售人才體系不斷充實與壯大。此外,浪潮存儲還注重與華科大等高校、科研機構緊密合作,共同公關存儲多項核心技術的突破。

未來,隨著新基建的建設逐漸深入,千行百業必然會在數字基礎設施層迎來更大的變化,存儲作為新基建中的基石,其作用與價值將會得到進一步提升。浪潮存儲將持續以「雲存智用 運籌新數據」賦能智算中心,在分布式存儲和全快閃記憶體儲兩大新存儲領域加速創新,釋放數據要素價值驅動行業數位化轉型。

相關焦點

  • 中國天眼、華中大、清華為何不約而同選擇浪潮的數據存儲平臺?
    當今,在科學研究領域,在國家經濟實力不斷提升、持續加大投入的利好下,數位化帶來了科研模式的改變,亟需符合未來研發需求的新型基礎設施。對此,發改委今年首次明確了新基建範圍,將支撐科學研究等具有公益性質的重大科技、科教基礎設施劃分為創新基礎設施,屬於新基建未來重點投入方向。
  • 新數據時代,科研需要什麼樣的創新基礎設施
    現如今,單純的腦成像已經不成問題,但成像之後巨大的數據量如何存儲和分析成為當下腦科學等多個科研領域最為棘手的挑戰。是什麼阻礙了「腦洞大開」華中科大蘇州腦空間信息研究院所遇到的情況是科研機構在新數據時代下的一個縮影。
  • 從「中國天眼」到「大腦圖像」,這些科研新基建都有它的身影
    在新數據時代加速到來的今天,數位化正在改變科研模式,與其他行業相比,數據在科研領域的生產要素屬性更加快速顯現。發改委今年首次明確了新基建的範圍,將支撐科學研究等具有公益性質的重大科技、科教基礎設施劃分為創新基礎設施,屬於新基建未來重點投入方向。
  • 中國SDS市場最新數據出爐:浪潮分布式存儲為何成增速第一?
    浪潮存儲產品線總經理李輝曾表示,「新基建」對數據處理提出了海量、多元、實時、多雲的挑戰。以5G為例,如果把5G比做水流動的管道,管道十倍百倍的加粗,勢必要求存儲有足夠的容量,能接得住。根據IDC與浪潮存儲聯合發布的數據及存儲發展研究報告,未來,四大新數據特徵將會呈現。
  • 回顧2020:一路領漲的浪潮存儲,做對了什麼?
    北京2021年1月5日 /美通社/ -- 2020年剛剛過去,這一年新冠肺炎突如其來,給經濟和生活帶來了全方位衝擊,卻也在變局中開新局,促進了線下業務向線上的大遷徙,引發了以5G、大數據、人工智慧等新技術為代表的新基建熱潮,浪潮存儲基於對新數據時代的前瞻洞察和技術創新實現了增速領跑。
  • 象限晉級,「挑戰者」浪潮存儲的新挑戰
    其中,浪潮存儲實現跨象限晉升,從利基者象限晉級到挑戰者象限,成為本年度唯一實現象限跨越的存儲廠商。   跨越了象限 ,「挑戰者」浪潮存儲如何應對未來道路上更大的挑戰?未來,浪潮存儲應該如何再次實現象限的跨越,成為全球存儲市場的「領導者」?新風向:如何看待魔力象限背後的主存儲市場?
  • 拋出智算中心概念,浪潮要給智能社會新基建添磚加瓦
    數據中心4.0時代不論是外賣、電商、視頻、直播還是搜索,一切跟網際網路有關的應用背後,都有數據中心在發揮基礎作用,伺服器在數據中心日夜不眠地響應需求、運行代碼、運算數據、給出結果。第一代數據中心讓計算變得前所未有的普惠,一個數據中心的計算量超過了數千年人類計算量的總和,智算中心不只是在計算力上提高了一個數量級,同時變得更加開放標準、集約高效和普適普惠,也將是數據中心發展的趨勢。智算中心有望成為新基建的重點。
  • 100%數位化,中南醫院聯合浪潮存儲應對影像大數據挑戰
    如今,影像設備不斷向超高速、精細化、動態化方向發展,如320排探測器、動態640層CT成像新技術不斷湧現,在獲得更加精準的診斷效果的同時,爆發式增長的影像大數據也給後端數據存儲帶來了挑戰,一家大型三級醫院每年僅PACS影像數據就可達到PB級。結構化數據與非結構化數據、冷數據與熱數據的「存」和「用」成為限制醫療基礎設施平臺的主要性能瓶頸。
  • 34萬億投資的新基建 計算力為核心動能
    數位化轉型的基礎,就是「新基建」——以5G、人工智慧、數據中心為代表的信息數位化基礎設施。有媒體統計,新基建帶來的總投資額近34萬億。
  • 華立科技:發力新技術和大數據應用,搶跑新基建
    作為國內外知名的專業遊戲遊藝龍頭企業,華立科技在AI、VR、AR、5G、大數據等新技術應用方面都有重大突破。以新技術為驅動,夯實「新基建」底氣廣州華立科技自蘇本立先生創建以來,始終貫徹實施「創新驅動發展戰略」,「自主創新」成為華立科技區別於其他遊藝遊樂設備企業的獨特標籤。
  • 多活元數據技術,讓浪潮軟體定義存儲管理EB級數據
    再如,中國公共安全領域的「雪亮工程」等關係國計民生視頻監控項目的開展,使得公共安全視頻監控覆蓋範圍從原來的城市中心地帶擴展到了鄉村,這也將產生大量的數據。而在網際網路+商業領域,對用戶信息的掌握,更成為網際網路企業生存的根本,之前大量不需要存儲的用戶網絡瀏覽軌跡等中間信息,如今由於成為大數據分析的數據來源,也需要進行數據存儲。
  • 高性能計算技術賦能火星探測任務浪潮信息助力科學家探索神秘宇宙
    據悉,在高性能計算技術輸出這一方面,浪潮信息一路領先。日前,在第五個「中國航天日」中,浪潮信息又再次展現其卓越的計算機輔助技術,為中國首次火星探測任務的成功推進賦能,為中國航天局科研探索工作出力。資料顯示,2020年是火星探測活動的窗口期。
  • 京東物流與銳捷網絡達成戰略合作,共迎數字新基建浪潮
    雙方本著「互惠互利、資源共享、優勢互補」的原則,通過業務合作與創新,共同做大做強,實現跨越式發展,共迎數字新基建浪潮。本次籤約是迎合時代浪潮下的強強攜手,堅信雙方的戰略合作會取得雙贏與共同發展。」  圖:銳捷網絡代表致辭  強強聯手,共同打造國際化數字產業生態  多年來,銳捷始終紮根行業,深入場景進行解決方案創新,充分應用雲計算、大數據
  • 數據存儲的業界難題怎麼破?
    在12月29日舉辦的2020全球數據存儲教授論壇上,華為針對數據存儲兩大業界難題,發布2021年奧林帕斯懸紅,獎勵全球在數據存儲領域取得突破性貢獻的科研工作者。來自中國工程院、國內外頂尖高校、科研機構以及華為的上百位數據存儲領域專家出席本次論壇。
  • 醫療新基建浪潮下,我們為何看好這些醫療 AI 公司?
    科亞醫療表示,醫療新基建就是一個以醫療大數據平臺和新一代醫療信息網絡為基礎、以人工智慧技術為核心推動力的智慧醫療建設過程。而在「新基建」的影響下,未來醫療AI行業將更加注重下面三個層面:一、產品的臨床價值:醫療AI技術的核心目的是服務臨床,所以產品在臨床全流程應用中的臨床價值將成為檢驗產品價值的重要原則。
  • 騰訊雲數據中心「全景圖」,做新基建的「基建」
    數字經濟的「溢出」,是以雲計算、大數據、人工智慧等新興技術所推動的產業創新,同時讓數據中心成為了科技創新和技術應用的實體,更成為了千行百業數位化轉型的「新基建」,為數字經濟發展提供了有力的支撐。今年初,數據中心被寫入「新基建」,數據中心產業也迎來了新一輪的快速增長。實際上,隨著雲計算的發展和網際網路崛起,數據中心產業已經歷了十幾年的成長。
  • 華立科技蘇本立:超前布局「新基建」,以數據驅動精益造
    新基建是當下社會邁入數位化、信息化、智能化數字經濟的主要助力之一,在其涉及的領域中,新文娛已經成為新興技術應用的重要戰場。作為國內外知名的專業遊戲遊藝龍頭企業,華立科技在AI、VR、AR、5G、大數據等新技術應用方面都有重大突破。
  • 新基建浪潮下AI晶片的絕佳機遇 | CCF-GAIR 2020
    2020年8月8日 2020 全球人工智慧和機器人峰會(CCF-GAIR 2020)的AI晶片專場,來自學術界、產業界和投資界的6位大咖從AI晶片技術前沿、AI晶片的應用及落地、RISC-V晶片推動AI發展、新基建帶來的投資機遇共同探討新基建帶來的機遇。
  • 雲數智驅動數據高速增長,浪潮存儲提供EB級容量擴展
    浪潮存儲產品線總經理李輝曾表示,「人工智慧、大數據、5G新技術驅動下,數據發生本質改變,從過去『人工採集、人工幹預』過渡到現在『機器產生、機器處理』的新時代,數據量爆發式增長成為新常態。」 新數據時代對海量數據的存儲系統提出嚴苛要求 其一,高密度、大容量、可擴展。數據的爆發式增長和保存周期的延長,帶來了對存儲空間的直接需求。傳統的存儲架構已經無法解決如此大數據量的存儲空間問題。需要一套具有EB級擴展性、支持千億級文件並支持多種服務接口的新型存儲系統,滿足海量、多元化數據存儲的同時,實現跨平臺無障礙對接。
  • 中科院細胞所存儲進化史:從數據抽屜發展到10PB數據平臺
    當然,此時需要採集的研究數據也呈現爆發式增長。而這背後,更隱含著對存儲空間、I/O性能、高並發性能的更高訴求,以及設備管理、子系統管理、數據管理等諸多問題。 這又是一個相對專業的話題。生物科學被譽為「21世紀的科學」,細胞生物學又是生命科學研究的最前沿領域。通過研究細胞的生命活動過程、基因調控,以及細胞與微環境的關係,即可了解細胞的健康活動和發育過程。