打破數據壁壘 構建鯤鵬計算產業的金字塔基

2020-12-11 懂懂筆記

「算力是新生產力,數據是新生產資料,而5G、AI和雲是新生產工具。」華為Cloud & AI產品與服務總裁侯金龍認為,在生產工具齊備的情況下,算力作為創造智能財富的能力,並沒有對數據做到真正的開發。

隨著5G、AI、雲等技術的深度應用與融合,劇增的數據正在改變我們的生產和生活,但也帶來找數難、取數難、用數難等挑戰。我們會發現,空有這些數據生產資料,竟然無法產生價值。

以深圳為例,這個城市有超過200萬攝像頭,每天將產生80 PB數據,如果要保存數據30天,就需要高達240 PB的數據存儲空間,這是很難實現的,因此大量的數據只能存儲幾天。根據預測,全球數據量將從2018年的33 ZB快速增長到2025年的180 ZB。但是,產生的數據中僅有不到2%被保存,而被保存的數據中僅有不到10%被應用。

海量數據增長的背後,是需要海量存儲和計算的資源調配,如果不能提高算力,面對無限增長又無用的數據,智能時代永遠無法到來。

自下而上 打破數據四重壁壘

數據之於網際網路就像血液之於骨骼,但如今,數據有四堵看不見的圍牆,「存儲內部系統牆」、「資料庫與存儲鏈路牆」、「大數據與存儲配置牆」、「資料庫與大數據協同牆」,它們就像一個個血管中凝結的血塊,阻礙了大數據的自由流動。

麥肯錫曾研究發現,在過去十年中,數據流動使全球GDP貢獻增長了10.1%。在全球範圍內,與連通性較低的經濟體相比,連通性較高的經濟體獲得的收益最多高出40%。龐雜的數據雖然孕育著各種機遇,但企業數據共享這一概念還遠遠沒有達成共識,數據無法自由流動成為擺在企業面前的一道難以跨越的門檻。

在網際網路時代很難解開數據的「死結」,而智能時代想要實現企業效率的提升和總擁有成本的降低,就必須要打破這四堵牆。

作為具有行業前瞻性和勇於創新的企業,華為提出了全新的思路:從底端一起攜手搭建金字塔。

11月19日,華為在深圳宣布,面向鯤鵬計算產業,全面啟動數據基礎設施戰略,並開源數據虛擬化引擎HetuEngine(河圖引擎)。這是繼「鯤鵬+昇騰」雙引擎全面啟航計算戰略後,華為從數據角度對計算戰略的再度闡述。

華為數據基礎設施戰略圍繞數據「採-存-算-管-用」的全生命周期,涵蓋數據存儲、數據處理、數據管理系統、數據虛擬化引擎等。從數據基礎設施的底層出發,實現數據高效共享和分析,降本增效,最終突破數據的圍牆,讓數據融合更徹底;在頂層基於AI晶片、存儲和華為雲的三層架構,通過雲上雲下結合,雲上訓練和雲下推理,讓系統越用越快、越用越省。

可見,河圖引擎可以屏蔽數據基礎設施的複雜度,讓開發者像使用資料庫一樣使用大數據,復用現有的生態、工具和技能。

「為了更好地發展數據產業,華為將開源河圖引擎,開源版本的河圖引擎叫openHetu,將於2020年6月上線。我們將開源內核,開發者可以基於開原始碼進行定製,包括數據源擴展、SQL執行策略等,實現應用快速對接,提升開發效率。」侯金龍介紹,河圖引擎有4個核心能力,其中之一便是統一安全。

在企業最關心的安全層面,它通過細粒度動態授權、敏感數據自動感知等技術,實現異地異構數據源集中式安全配置與管控,使數據全局可控,數據授權時間從天到秒,解決企業的數據安全與合規問題。

鯤鵬計算 全產業鏈開源的根基

通過數據基礎設施戰略,讓華為與合作夥伴的關係更加緊密,並且面向更多企業敞開胸懷。實際上全球科技企業正在迎來開源潮,當開源成為一種商業模式,一種企業生態,一種行業合作手段之後,開源就成為企業成長、生態繁榮的新渠道。

華為已經接連開源了方舟編譯器、伺服器作業系統、GaussDB OLTP單機版資料庫等多個項目。基於鯤鵬計算產業,華為是以全開放心態實施全產業鏈開源策略。

開源軟體採用了開放原始碼、免費分發等形式,減少了營銷與銷售成本,更易於廣泛傳播。企業開源相當於興建了一家大型商超,開源軟體等於降低了商品進入的門檻,吸引更多的商品填充到貨架上。

而華為的全產業鏈開源則更加徹底,它開放了從商品生產到流通銷售的整個環節,因為參與到生產過程中,便把開源的風險降到最低,這種前店後廠的合作模式,也讓客戶更加放心。

這種開源模式企業不僅需要膽識與氣度,更需要深遠的產業格局與核心技術實力支撐,因為這等於是將自己到手的利益與他人分享。侯金龍強調,華為不僅要向開發者開放硬體,更要發揮軟硬協同的優勢,釋放更大的算力。

華為與產業合作夥伴攜手共建的鯤鵬計算產業,包括PC、伺服器、存儲、作業系統、中間件、虛擬化、資料庫、雲服務及行業應用等。華為則聚焦於發展華為鯤鵬+昇騰雙引擎基礎晶片族,共同為各行各業提供基於鯤鵬和昇騰處理器的IT基礎設施及行業應用。

「利用硬體能力,我們對外提供主板、SSD、網卡、RAID卡、Atlas模組和板卡,有限支撐合作夥伴發展伺服器和PC等計算產品。軟體方面開源作業系統、資料庫和AI計算框架,使能夥伴發展自己品牌的產品。」侯金龍對鯤鵬計算產業的定位是「硬體開放、軟體開源、使能合作夥伴」。

今年9月華為華為在全聯接大會上發布了「一雲兩翼雙引擎」的鯤鵬計算產業布局,基於「鯤鵬+昇騰」雙引擎正式全面啟航計算戰略,宣布開源伺服器作業系統、GaussDB OLTP單機版資料庫,開放鯤鵬主板,擁抱多樣性計算時代。為了支持鯤鵬產業生態的建設和發展,華為計劃在未來五年內投資15億美金來發展鯤鵬產業生態。

據預計,整個計算產業生態體系在全球有近兩萬億美元的市場空間,在中國則超過1.1萬億人民幣。從行業趨勢和應用需求看,多樣性計算時代正在到來,多種數據類型和場景驅使計算架構的優化,多種計算架構的組合是實現最優性能計算的必然選擇。

面向多樣性計算時代,即便是巨頭企業也無法將觸手蔓延向整個產業鏈。華為率先通過鯤鵬產業,全產業鏈深度的開源與合作,與IT業夥伴共同做大產業蛋糕。

鯤鵬+昇騰 給算力插上翱翔的翅膀

國內外做開放生態的企業不在不少。2014年微軟便在其雲平臺Azure上支持並使用Linux並成為開放原始碼的擁護者。國內的百度開源了71個項目,阿里巴巴開源了73個項目,騰訊的開源項目更是達到75個。

但像鯤鵬計算產業這樣,實現整體開源的企業卻少之又少。除了產業鏈配套原因外,算力無法跟上開源後數據的爆發式增長,讓很多企業空有開源數據,卻無法從數據管理走向數據運營。

隨著5G、AI和雲的普及,數據量正以驚人的速度增長,從1080P到4K、8K,視頻數據量將提升40倍,從4K到4K VR要增加6倍以上。未來每輛自動駕駛汽車每天就會產生高達64 TB數據,如果把數據存儲在硬碟上,無異於一個新的動力電池包。

自動駕駛技術不僅需要雲數據支持,更需要超強算力支持實時智能分析,所有車廠在正式發布自動駕駛軟體之前,都需要在數據中心進行大量的自動駕駛模型訓練。算力的水平決定了智能科技產業成熟商用的時間。

過去5年,通用CPU的發展遇到了一系列技術瓶頸,其單核性能平均每年提升不足10%,市場視為發展指引的摩爾定律開始放緩,甚至有人指出其不斷接近極限,計算架構需要新的創新力。華為的鯤鵬和昇騰正是在這樣的背景下出生——以全新的計算架構,面向未來。

華為的名字過去很少與計算這個詞聯接在一起,事實上,華為在計算領域已經經歷了15年的積累。

處理器是整個計算產業的基礎,有「芯」才有力。從2004年開始投資研發第一顆嵌入式處理晶片,目前投入超過2萬名工程師。這些時間和人力,最終帶來的成果便是先後面向計算產業的鯤鵬處理器、TaiShan伺服器解決方案、昇騰系列處理器。

在華為鯤鵬和昇騰兩大基礎晶片族中,鯤鵬代表通用計算,昇騰代表AI加速能力。華為智能計算業務部總裁馬海旭說:「智能世界帶來了豐富的應用,產生了海量的數據,同時對算力產生了極大的需求。華為提出了多樣性計算理念,面向不同應用,通過多種算力組合,打造開放的鯤鵬+昇騰計算產業生態。」

計算產業先後經歷了大型計算機、小型機/x86伺服器階段,並且開創了體驗好、省成本的雲計算時代。在當前「雲+AI+5G」技術疊加的背景下,計算產業正進入多元算力階段,企業也需要多元化雲服務架構。華為雲基於鯤鵬處理器推出了華為雲鯤鵬雲服務和面向行業場景的解決方案,開啟雲上的多元新架構,探索智能計算時代的雲架構。

華為依靠所積累的技術優勢,打造「一雲兩翼雙引擎」的算力產業布局,此一雲正是指華為雲,通過釋放全棧創新技術紅利,提供安全可靠的混合雲,「鯤鵬+昇騰」為算力的突破插上了展翅的羽翼。

任何一個時代,總會出現屬於這個時代的變革者和成功者。在計算領域,華為一步步打破阻撓算力增長和數據連接的壁壘,進一步釋放計算潛能。「華為在計算產業的追求是:為世界提供最強算力,讓雲無處不在,讓智能無所不及。」侯金龍說。

相關焦點

  • 打破數據壁壘,構建城市「神經元」
    上海城市運行「一網統管」從探索設想進入全面建設階段,「三級平臺、五級應用」的基本框架已經構建。「『一網統管』取得了階段性重要成果,初步開創了超大城市治理現代化的新局面。」經過一段時間調研,不少政協委員取得了這樣的共識。
  • 推進鯤鵬人才培養 助力鯤鵬產業生態建設
    華為多位專家及其合作夥伴在會上針對華為企業文化、鯤鵬生態、鯤鵬相關解決方案、鯤鵬應用實踐、鯤鵬生態背景下的職業能力要求等內容進行了深入的交流和探討。構建萬物互聯的智能世界華為雲與計算深圳業務部生態經理肖展鴻為大家分享了華為的企業文化,揭開了華為的神秘面紗。
  • 構建產業知識高地!全國首個鯤鵬產業學院正式揭牌、線上開課
    河南省教育廳副廳長刁玉華、河南投資集團黨委副書記佀洪恩、平頂山學院黨委書記王文鵬在線致辭,校企雙方多名負責人進行了精彩的線上分享,首批100多名平頂山學院學生在線收看由資深鯤鵬專家講授的《雲平臺構建與管理》直播。這是全國首個鯤鵬產業學院,也是在疫情期間為做好防控工作,按照河南省教育廳要求,首次採用線上授課方式,以華為雲及WeLink平臺為依託,保障停課不停學。
  • 鯤鵬在冀,共贏計算新時代! ——寫在寶德鯤鵬生態夥伴會議即將開幕...
    12月17日,「鯤鵬展翅·寶德凌雲」寶德鯤鵬生態夥伴會議(河北)將在石家莊雲臻金陵世貿廣場酒店舉行,屆時,寶德將攜手華為、深信服和北明軟體等各產業夥伴共同探討鯤鵬計算產業發展趨勢,共贏計算新時代。從華為推出鯤鵬開放合作的第一時間起,寶德就積極關注鯤鵬的產業發展動向以及相關合作政策,並與華為展開深度合作,推進鯤鵬技術體系在大數據、分布式存儲、HPC、資料庫、人工智慧等領域的深度集成應用。尤其是寶德聯合上下遊夥伴,建立了鯤鵬生態適配與創新中心,加強行業生態夥伴交流,促進鯤鵬計算在全行業的快速布局。
  • 華為鯤鵬計算產業已聚合30萬開發者 多方面均取得長足發展
    11月28日消息,在近日舉辦的「首屆綠色計算產業峰會」上,華為技術有限公司鯤鵬計算業務總裁張熙偉做了主題為《鯤鵬展翅,凝心聚力凝,共贏綠色計算新時代》的演講,他介紹了華為鯤鵬計算產業過去一年多的建設成果及對未來發展的展望。
  • 擁抱鯤鵬,共贏計算新時代 2020寶德鯤鵬生態夥伴大會成功舉行
    隨著5G、數據中心、人工智慧、工業網際網路等新基建和創新業務的增加與應用的多元化發展,計算產業進入多樣性新時代。為進一步拓展鯤鵬計算產業生態,加強產業夥伴的協同發展,展示產業成果,繼續推動計算產業的持續發展壯大,10月16日,以「相聚寶地,共譜華章」為主題的「2020寶德鯤鵬生態夥伴大會」在深圳成功舉行。
  • 天津鯤鵬生態創新中心啟動運營 打造我市計算產業創新名片
    天津鯤鵬生態創新中心昨天在濱海高新區正式啟動運營,為天津市產業發展注入新動力,將成為天津市計算產業的創新名片。「天津作為國內數字經濟發展的排頭兵,是全國重要的創新策源地。在天津共建鯤鵬生態創新中心,打造鯤鵬計算產業示範區,發展鯤鵬計算產業生態是華為在天津的重要布局。」華為中國區副總裁強華告訴記者,「華為將助力天津把計算產業打造成為新型支柱產業,驅動產業鏈轉型升級,打造產業數位化底座。」
  • 數字吉林整挺好 鯤鵬生態助力佳
    新計算通過分布式計算提供實時數據分析,實現「數據在哪裡,計算就在哪裡」,讓數據、算法和算力這個數字經濟時代的鐵三角實時融合,從而為企業和組織的生產、管理決策提供依據。因此,作為數字經濟時代基礎設施的動能源頭,計算產業扮演著「發動機」的角色。
  • 華為鯤鵬專題報告:鯤鵬之意,鴻鵠之志
    1 鯤鵬之意,鴻鵠之志1.1 作為底座的鯤鵬晶片重要性凸顯 鯤鵬計算產業,根據華為官方的表述,是基於鯤鵬處理器構建的全棧 IT 基礎設施、行業 應用及服務,包括 PC、伺服器、存儲、作業系統、中間件、虛擬化、資料庫、雲服務、行 業應用以及諮詢管理服務等
  • 甘肅鯤鵬生態創新中心:立足蘭州 服務西北 共贏計算新時代
    今年9月蘭州市大數據管理局、蘭州高新區管委會分別與華為技術有限公司和拓維信息系統股份有限公司籤訂了《鯤鵬生態創新中心項目協議》和《鯤鵬計算產業項目合作協議》,計劃共建「甘肅鯤鵬生態創新中心」。甘肅鯤鵬生態創新中心將通過聚焦優勢產業,聚合產業合作夥伴,構建技術合作平臺、測試認證平臺、創新孵化平臺、成果展示平臺、人才培養平臺,最終在甘肅構建國內有影響力、有特色的鯤鵬計算產業生態。甘肅鯤鵬生態創新中心的成立開啟了甘肅鯤鵬計算產業生態發展的新篇章。
  • 貴州鯤鵬生態創新中心揭牌 發揮數字產業戰略引領作用
    正因為計算產業未來強勁的發展潛力,中國各個省份都在努力增加計算產業投入,期望讓計算產業成為帶動經濟發展的新引擎。而在全國眾多省份中,貴州有著獨特的需求和優勢。首先,貴州有發展計算產業的優勢基礎。貴州的大數據產業實踐成功,數字經濟發展態勢良好,數字經濟已經成為了貴州高質量發展的新動能。
  • 邊緣計算2.0:鯤鵬昇騰同唱時代之歌
    剛剛結束的2020邊緣計算產業峰會上,鯤鵬和昇騰通過自身的落地實踐,向行業重新梳理了其對邊緣智能的理解和主張,描繪了一幅邊緣智能的悠悠長卷。華為昇騰計算業務總裁許映童在2020邊緣計算產業峰會上演講時認為,當前邊緣計算所面臨的數據主要存在兩方面的變化。一是從網際網路時代,到移動網際網路時代,到產業網際網路時代,再到萬物互聯時代,數據量呈現指數級增長,同時通過5G網絡的放大效應之後,有實時性要求處理的數據需求也大大增加。
  • 華為發布 ARM-based 處理器「鯤鵬920」,創造計算性能新紀錄
    同時,ARM產業迎來新的發展機會,華為本次發布鯤鵬920及TaiShan伺服器,主要應用於大數據、分布式存儲、ARM原生應用等場景。我們攜手全球合作夥伴,秉承開放、合作、共贏,促進ARM生態發展,做大計算領域空間,擁抱多樣性計算時代!」
  • 厚植鯤鵬人才沃土 打造寧夏信息產業發展「新高地」
    12 月 16 日,「鯤鵬展翅,共贏計算新時代」 2020 寧夏鯤鵬產業生態峰會,在寧夏中衛市成功召開。本屆峰會由寧夏自治區工業與信息化廳、中衛市人民政府主辦,由中衛市大數據管理局、寧夏信息產業協會、華為技術有限公司、四川華鯤振宇智能科技有限責任公司、拓維信息系統股份有限公司聯合承辦。
  • 寧夏川,鯤鵬產業兩頭「尖」
    2014年,西部雲基地數據中心開始建設,國內外諸多科技企業雲集於此。這也將帶動寧夏相關產業產值逾千億元。計算力就是生產力,算力多樣性是新一輪科技變革的歷史機遇。多樣性的計算力將更靈動地推動數字產業化,更順暢地推動產業數位化。
  • 鯤鵬展翅津門 共建計算生態——天津鯤鵬生態創新中心運營啟動儀式...
    鯤鵬生態創新中心落戶濱海高新區,為天津信息技術產業發展注入了新的動力。天津將推動天津鯤鵬生態創新中心各項工作向縱深發展,打造計算產業基礎能力、完善計算產業基礎結構和提高計算產業基礎質量。通過全球視野、行業需求、技術領先原則,集聚高層次人才、打造高質量產品;通過創新中心搭建項目合作、技術創新、成果轉化、應用推廣的交流協作平臺,推動產學研深度融合發展。
  • 華為、黃河科技集團與河南理工大學共建鯤鵬產業學院揭牌
    ▲河南理工大學鯤鵬產業學院籤約暨揭牌儀式現場「鯤鵬產業學院的成立,是貫徹落實習近平總書記考察調研河南時重要講話精神和《河南省鯤鵬計算產業發展規劃》的具體舉措,對全面深化產教融合、校企合作,促進教育和鯤鵬產業有機聯動、創新發展,構建產教全方位全過程深度融合的協同育人長效機制,提升學校服務區域發展能力具有重要意義。」
  • 貴州鯤鵬生態創新中心揭牌,Coremail助力鯤鵬產業生態
    12月22日上午,貴州鯤鵬生態夥伴大會在貴陽成功召開。會上,貴州鯤鵬生態創新中心正式揭牌,來自各行各業的嘉賓們齊聚一堂,共同為貴州的大數據產業發展建設貢獻力量。Coremail論客也受邀出席此次大會,並獲得貴州鯤鵬合作夥伴授牌。
  • 陝西電子信息集團在陝西鯤鵬計算產業峰會上成功籤約
    陝西電子信息集團在陝西鯤鵬計算產業峰會上成功籤約 時間: 2019-12-25 10:39:16 字體設置 大 中 小
  • 邊緣計算構建三大運營商5G專網核心能力
    在12月10日召開的「2020邊緣計算產業峰會(ECIS2020)」上,三大運營商紛紛強調了邊緣計算對5G專網建設的重要意義,未來將進一步強化邊緣計算能力,實現邊雲協同,共創產業新價值。數據傳輸速度飛快,對5G下的傳輸數據進行分析可謂十分艱難。所以在數據傳輸前需要預處理,將數據抽象化、碎片化、結構化,這就體現了邊緣計算的重要性。  邊緣計算,是數字世界的計算架構不斷演變過程中的必然,這與生物進化過程中,從單細胞生命體,到多細胞聯合體,再到複雜生命體的演化過程如出一轍,雲邊端協同的計算架構猶如人的大腦、脊髓以及周圍神經系統的架構一樣。