「算力是新生產力,數據是新生產資料,而5G、AI和雲是新生產工具。」華為Cloud & AI產品與服務總裁侯金龍認為,在生產工具齊備的情況下,算力作為創造智能財富的能力,並沒有對數據做到真正的開發。
隨著5G、AI、雲等技術的深度應用與融合,劇增的數據正在改變我們的生產和生活,但也帶來找數難、取數難、用數難等挑戰。我們會發現,空有這些數據生產資料,竟然無法產生價值。
以深圳為例,這個城市有超過200萬攝像頭,每天將產生80 PB數據,如果要保存數據30天,就需要高達240 PB的數據存儲空間,這是很難實現的,因此大量的數據只能存儲幾天。根據預測,全球數據量將從2018年的33 ZB快速增長到2025年的180 ZB。但是,產生的數據中僅有不到2%被保存,而被保存的數據中僅有不到10%被應用。
海量數據增長的背後,是需要海量存儲和計算的資源調配,如果不能提高算力,面對無限增長又無用的數據,智能時代永遠無法到來。
自下而上 打破數據四重壁壘
數據之於網際網路就像血液之於骨骼,但如今,數據有四堵看不見的圍牆,「存儲內部系統牆」、「資料庫與存儲鏈路牆」、「大數據與存儲配置牆」、「資料庫與大數據協同牆」,它們就像一個個血管中凝結的血塊,阻礙了大數據的自由流動。
麥肯錫曾研究發現,在過去十年中,數據流動使全球GDP貢獻增長了10.1%。在全球範圍內,與連通性較低的經濟體相比,連通性較高的經濟體獲得的收益最多高出40%。龐雜的數據雖然孕育著各種機遇,但企業數據共享這一概念還遠遠沒有達成共識,數據無法自由流動成為擺在企業面前的一道難以跨越的門檻。
在網際網路時代很難解開數據的「死結」,而智能時代想要實現企業效率的提升和總擁有成本的降低,就必須要打破這四堵牆。
作為具有行業前瞻性和勇於創新的企業,華為提出了全新的思路:從底端一起攜手搭建金字塔。
11月19日,華為在深圳宣布,面向鯤鵬計算產業,全面啟動數據基礎設施戰略,並開源數據虛擬化引擎HetuEngine(河圖引擎)。這是繼「鯤鵬+昇騰」雙引擎全面啟航計算戰略後,華為從數據角度對計算戰略的再度闡述。
華為數據基礎設施戰略圍繞數據「採-存-算-管-用」的全生命周期,涵蓋數據存儲、數據處理、數據管理系統、數據虛擬化引擎等。從數據基礎設施的底層出發,實現數據高效共享和分析,降本增效,最終突破數據的圍牆,讓數據融合更徹底;在頂層基於AI晶片、存儲和華為雲的三層架構,通過雲上雲下結合,雲上訓練和雲下推理,讓系統越用越快、越用越省。
可見,河圖引擎可以屏蔽數據基礎設施的複雜度,讓開發者像使用資料庫一樣使用大數據,復用現有的生態、工具和技能。
「為了更好地發展數據產業,華為將開源河圖引擎,開源版本的河圖引擎叫openHetu,將於2020年6月上線。我們將開源內核,開發者可以基於開原始碼進行定製,包括數據源擴展、SQL執行策略等,實現應用快速對接,提升開發效率。」侯金龍介紹,河圖引擎有4個核心能力,其中之一便是統一安全。
在企業最關心的安全層面,它通過細粒度動態授權、敏感數據自動感知等技術,實現異地異構數據源集中式安全配置與管控,使數據全局可控,數據授權時間從天到秒,解決企業的數據安全與合規問題。
鯤鵬計算 全產業鏈開源的根基
通過數據基礎設施戰略,讓華為與合作夥伴的關係更加緊密,並且面向更多企業敞開胸懷。實際上全球科技企業正在迎來開源潮,當開源成為一種商業模式,一種企業生態,一種行業合作手段之後,開源就成為企業成長、生態繁榮的新渠道。
華為已經接連開源了方舟編譯器、伺服器作業系統、GaussDB OLTP單機版資料庫等多個項目。基於鯤鵬計算產業,華為是以全開放心態實施全產業鏈開源策略。
開源軟體採用了開放原始碼、免費分發等形式,減少了營銷與銷售成本,更易於廣泛傳播。企業開源相當於興建了一家大型商超,開源軟體等於降低了商品進入的門檻,吸引更多的商品填充到貨架上。
而華為的全產業鏈開源則更加徹底,它開放了從商品生產到流通銷售的整個環節,因為參與到生產過程中,便把開源的風險降到最低,這種前店後廠的合作模式,也讓客戶更加放心。
這種開源模式企業不僅需要膽識與氣度,更需要深遠的產業格局與核心技術實力支撐,因為這等於是將自己到手的利益與他人分享。侯金龍強調,華為不僅要向開發者開放硬體,更要發揮軟硬協同的優勢,釋放更大的算力。
華為與產業合作夥伴攜手共建的鯤鵬計算產業,包括PC、伺服器、存儲、作業系統、中間件、虛擬化、資料庫、雲服務及行業應用等。華為則聚焦於發展華為鯤鵬+昇騰雙引擎基礎晶片族,共同為各行各業提供基於鯤鵬和昇騰處理器的IT基礎設施及行業應用。
「利用硬體能力,我們對外提供主板、SSD、網卡、RAID卡、Atlas模組和板卡,有限支撐合作夥伴發展伺服器和PC等計算產品。軟體方面開源作業系統、資料庫和AI計算框架,使能夥伴發展自己品牌的產品。」侯金龍對鯤鵬計算產業的定位是「硬體開放、軟體開源、使能合作夥伴」。
今年9月華為華為在全聯接大會上發布了「一雲兩翼雙引擎」的鯤鵬計算產業布局,基於「鯤鵬+昇騰」雙引擎正式全面啟航計算戰略,宣布開源伺服器作業系統、GaussDB OLTP單機版資料庫,開放鯤鵬主板,擁抱多樣性計算時代。為了支持鯤鵬產業生態的建設和發展,華為計劃在未來五年內投資15億美金來發展鯤鵬產業生態。
據預計,整個計算產業生態體系在全球有近兩萬億美元的市場空間,在中國則超過1.1萬億人民幣。從行業趨勢和應用需求看,多樣性計算時代正在到來,多種數據類型和場景驅使計算架構的優化,多種計算架構的組合是實現最優性能計算的必然選擇。
面向多樣性計算時代,即便是巨頭企業也無法將觸手蔓延向整個產業鏈。華為率先通過鯤鵬產業,全產業鏈深度的開源與合作,與IT業夥伴共同做大產業蛋糕。
鯤鵬+昇騰 給算力插上翱翔的翅膀
國內外做開放生態的企業不在不少。2014年微軟便在其雲平臺Azure上支持並使用Linux並成為開放原始碼的擁護者。國內的百度開源了71個項目,阿里巴巴開源了73個項目,騰訊的開源項目更是達到75個。
但像鯤鵬計算產業這樣,實現整體開源的企業卻少之又少。除了產業鏈配套原因外,算力無法跟上開源後數據的爆發式增長,讓很多企業空有開源數據,卻無法從數據管理走向數據運營。
隨著5G、AI和雲的普及,數據量正以驚人的速度增長,從1080P到4K、8K,視頻數據量將提升40倍,從4K到4K VR要增加6倍以上。未來每輛自動駕駛汽車每天就會產生高達64 TB數據,如果把數據存儲在硬碟上,無異於一個新的動力電池包。
自動駕駛技術不僅需要雲數據支持,更需要超強算力支持實時智能分析,所有車廠在正式發布自動駕駛軟體之前,都需要在數據中心進行大量的自動駕駛模型訓練。算力的水平決定了智能科技產業成熟商用的時間。
過去5年,通用CPU的發展遇到了一系列技術瓶頸,其單核性能平均每年提升不足10%,市場視為發展指引的摩爾定律開始放緩,甚至有人指出其不斷接近極限,計算架構需要新的創新力。華為的鯤鵬和昇騰正是在這樣的背景下出生——以全新的計算架構,面向未來。
華為的名字過去很少與計算這個詞聯接在一起,事實上,華為在計算領域已經經歷了15年的積累。
處理器是整個計算產業的基礎,有「芯」才有力。從2004年開始投資研發第一顆嵌入式處理晶片,目前投入超過2萬名工程師。這些時間和人力,最終帶來的成果便是先後面向計算產業的鯤鵬處理器、TaiShan伺服器解決方案、昇騰系列處理器。
在華為鯤鵬和昇騰兩大基礎晶片族中,鯤鵬代表通用計算,昇騰代表AI加速能力。華為智能計算業務部總裁馬海旭說:「智能世界帶來了豐富的應用,產生了海量的數據,同時對算力產生了極大的需求。華為提出了多樣性計算理念,面向不同應用,通過多種算力組合,打造開放的鯤鵬+昇騰計算產業生態。」
計算產業先後經歷了大型計算機、小型機/x86伺服器階段,並且開創了體驗好、省成本的雲計算時代。在當前「雲+AI+5G」技術疊加的背景下,計算產業正進入多元算力階段,企業也需要多元化雲服務架構。華為雲基於鯤鵬處理器推出了華為雲鯤鵬雲服務和面向行業場景的解決方案,開啟雲上的多元新架構,探索智能計算時代的雲架構。
華為依靠所積累的技術優勢,打造「一雲兩翼雙引擎」的算力產業布局,此一雲正是指華為雲,通過釋放全棧創新技術紅利,提供安全可靠的混合雲,「鯤鵬+昇騰」為算力的突破插上了展翅的羽翼。
任何一個時代,總會出現屬於這個時代的變革者和成功者。在計算領域,華為一步步打破阻撓算力增長和數據連接的壁壘,進一步釋放計算潛能。「華為在計算產業的追求是:為世界提供最強算力,讓雲無處不在,讓智能無所不及。」侯金龍說。