(本文出自UIT創新科副總工程師陳雪菲在2018中國存儲與數據峰會上的主旨報告)
邊緣計算撲面而來
2018年即將過去,在年末我們回首IT行業的技術熱點時,在業界的眾多關注技術熱點之中,邊緣計算也是如此耀眼的那一個,令人難以錯過。假若數年後再次回首,你將不得不承認,2018就是邊緣計算廣泛進入公眾視野並快速發展的一年。
在這一年裡,諮詢和評論機構對邊緣計算可以說是不吝筆墨。其中IDC給出了一些精確描述性的信息:「邊緣計算是微型數據中心的網狀網絡,在本地處理或存儲關鍵數據,並將所有接收到的數據推送到中央數據中心或雲存儲庫,其覆蓋範圍不到100平方英尺」,不僅定性圈定了邊緣計算所處的位置,還定量給出了離數據發生地的距離數字;相對IDC這段充滿術語的描述,Ganter的副總裁兼分析師Dave Russell的定義更加文藝範:「邊緣計算就是現實與數字的交互之處」。
通常評測機構對技術發展看得更早一些,而評判一個技術趨勢是否正在成為大潮,不妨去觀察業界廠商是否真正開始有所舉措。而當我們深入探究,令人驚訝地發現產業鏈上的頭部廠商們幾乎都有所動作,涉及廠商範圍之廣,以近年的一個流行詞彙「從芯到雲」正好可以描述這種情況。
晶片廠商的領頭羊Intel在2018年2月份推出的Xeon D-2100系列處理器,基於最新的Skylake架構,明確指明了面向邊緣計算和其他一些受限應用場景,這些場境對密度和能耗都更為敏感。ARM幾乎同時推出了「Trillium」項目,包括一系列特別設計優化的處理器,提高邊緣設備的機器學習、人工智慧和目標檢測能力。AMD也在18年推出了兩款嵌入式處理器,分別是EPYC 3000以及Ryzen V1000,採用「ZEN架構」,依然是瞄準邊緣計算。
系統廠商介入邊緣計算大部分都是通過超融合產品,這類產品多針對缺乏IT技術支持的分布式邊緣環境,在一個統一解決方案中提供多種功能,包括計算、存儲和網絡資源以及管理軟體和其他功能的一體化集成。設計上注重密集度,低能耗和低成本且易於管理。例如惠普宣布接下來4年將在邊緣計算領域投資40億美元。該公司的Edgeline Converged Edge Systems系統正是一個面向邊緣計算的拳頭產品,目標客戶是那些希望獲得數據中心級計算能力,且通常在邊遠地區運營的工業合作夥伴。這個系統明確提出在不依賴於將數據發送到雲或數據中心的情況下,為工業運營(比如石油鑽井平臺、工廠或銅礦)提供分析計算能力。
思科通過HyperFlex超融合系統來支持多種雲和邊緣環境,這個系統集合了之前的統一計算系統(UCS)、Nexus網絡交換機以及去年該公司收購的Springpath的軟體,強調了敏捷性和適應能力。
VMware是另一家高調宣布支持邊緣計算的公司,它主要是基於自己現有的技術,比如vSAN超融合存儲,vSphere和VMware的Pulse IoT Center,Pulse IoT Center為邊緣系統和網關提供管理、監控和安全,以及傳感器等連接設備。在今年上半年的MWC全球移動通信大會發布了一系列三個邊緣計算解決方案,其中的首要方案正在努力將超融合基礎設施(HCI)引入邊緣位置,將使用VMware Pulse IoT Center和HCI工具,在邊緣對由物聯網設備收集的傳感器數據進行實時分析。
老牌的網際網路和雲廠商也都令人驚訝的大力推動邊緣計算,當然首先是雲端能力向編譯輻射。例如AWS推出的 Greengrass服務將AWS擴展到設備上,這樣它們就可以「在本地處理它們所生成的數據,同時仍然可以使用雲來進行管理、數據分析和持久的存儲」。 而微軟在這一領域計劃在未來4年內大幅投入,在邊緣計算,物聯網領域將投入50億美元。同時他們已經發布了Azure IoT Edge解決方案,「將雲分析擴展到邊緣設備」,支持離線使用。希望聚焦於邊緣的人工智慧應用。谷歌軟體硬體同步進行,包括硬體晶片Edge TPU和軟體堆棧Cloud IoT Edge。谷歌表示,「Cloud IoT Edge將谷歌雲強大的數據處理和機器學習功能擴展到數十億臺邊緣設備,例如機器人手臂、風力渦輪機和石油鑽井平臺,如此它們就能夠就近對終端設備的大量傳感器返回的數據進行實時操作,並在本地直接進行結果預測。
邊緣計算把原本打算在雲中心進行的存儲、數據處理/預處理、簡單分析工作分擔給邊緣節點去做,這種方式,一方面能夠有效幫助雲中心緩解壓力,同時提高系統的容錯能力,在部分節點出現異常的時候仍保證其他部分功能可以正常使用,不再「牽一髮而動全身」。另一方面能夠提高響應用戶的速度,在一些關鍵應用上提供更好的用戶體驗。
邊緣計算和雲計算在某種視角上看有點像蹺蹺板的兩端,一頭是集中,一頭是分布。雲計算進入主流視野已經有10年以上了,從本質上看還是大集中——將計算存儲能力都集中到雲端統一處理,用戶或者終端能做的事只剩下連上去使用。而邊緣計算的主要思路還是把工作切分並分布出去,能夠完成工作的部件或子系統直接放在網絡的邊緣,就近處理。實在無法就地完成的工作任務再拉回雲端統一處理。使用邊緣計算的系統設計的一個核心思想在於讓計算靠近數據;如果以物聯網應用為例,大量的物聯網設備在把數據傳輸上傳到雲端之前,會經過一個由一定數量的邊緣節點組成的邊緣層。這些邊緣節點具有一定的數據存儲能力、計算能力和應用分析能力,會把位於邊緣區域網當中的設備信息經過篩選過濾、分析匯總之後再經由廣域網交給雲中心處理。而大量只需要在設備之間通信即可完成的工作,就不需要再傳輸給雲中心,只需要在邊緣層上處理即可。
為何我們需要邊緣計算?美國前總統柯林頓,在1992年美國總統大選時曾有一句名言——「笨蛋,根本問題是經濟!」 有人認為他是因為這句話戰勝對手老布希而當選,可能有點誇大,但他的確一針見血找到了根本問題所在。在這裡我也想引用這個句式,「是的,根本問題是網絡」。雲計算之後再提邊緣計算的根本原因剖析到底還是網絡,之所以雲計算無法全盤通吃所有的IT系統,網絡帶寬的限制,特別是網絡時延的難以消除,是橫亙在前的巨大鴻溝。並非所有的應用都是所謂「雲原生」,大量的應用系統仍然分散部署在各處,離雲端數據中心很遠。尤其是一些需要實時響應的系統,例如自動駕駛,不可能每一個操作都等待千裡之外的雲端數據中心發回的反饋,數據一個來回加上處理的時間,車子可能就已經錯過路口或發生事故了。
而邊緣計算的出現能夠大幅減少到雲端的數據傳輸量,減少了網絡限制,而最關鍵的是提供了更好的實時響應能力。當然衍生開來闡述的話,由此還降低了時間成本和大量數據傳輸和存儲的資金成本。
超融合現狀
回到HCI超融合,這是一個已經出現了3年多的技術,經過這些年的發展,從Gartner的技術成熟曲線上看,超融合技術明顯已經越過了最受關注的頂點,將在2-5年內進入平穩期。
從我看來,而今年最大的新消息是超融合技術分家,原本的定義裡是「集成系統:超融合(integrated systems:hyperconvergence)」分成兩個技術名詞
主要區別在於產品技術形態,HCIS是以硬體為中心,使用專有的優化硬體,而HCI則以軟體為中心,硬體上採用通用設備。大部分的廠商還都是兩者兼顧的,既有HCIS也有HCI產品,例如Nutanix/Dell EMC/HPE(SimpliVity)/Pivot3/華為/H3C/等。而只有HCI(軟體)的代表廠商相對少一些,例如VMware /Microsoft/ Stratoscale/SmartX。(我猜想這個拆分和老牌重量級軟體廠商MicroSoft的加入會不會有關係?不得而知。)
超融合發展已經有一些時間,曾經有些爭議和關注點現在業界也有了共識,例如數據路徑引發的關於真偽超融合的爭議,超融合最核心的和關鍵的難點技術在於SDS軟體定義存儲實現的優劣等等,甚至關於產品形態也出現了很多新東西。
最初關於產品的標準化業界是一致認可的,所有的節點硬體都是一個統一規格,2U或1U的X68兼容硬體,多個多核CPU,大內存,SSD+HDD的內置存儲。但到三年後的今天,除了標準化設備,漸漸很多廠商支持不同定位的節點,比如偏計算的節點和偏存儲的節點。
例如提供更大容量的「存儲型超融合產品」,單臺設備提供0.5PB~1PB左右的容量,滿足一些海量數據要求的應用場合。再有基於ARM架構的超融合產品,在基本體系架構上有別於X86的硬體,然而實現的功能相差無幾,在能耗和計算核心提供數量上更有優勢。再就是精簡型的超融合產品,特殊定製更小體積,無風扇等機械部件,抗震可靠,甚至有額外增添的GPS定位等特殊功能。當然還有不少面向AI機器學習的超融合產品,支持GPU,TPU和TensorFlow/Caffe等AI典型計算框架的產品
而處於2018年底的今天,我們不僅要看現狀,超融合的未來發展方向更加值得關注。有典型的幾個發展方向如下:
首當其衝的是超融合和雲的相愛相殺,我們看到一些廠商就直接以超融合直面競爭私有雲,甚至在項目裡也不做嚴格區分,但技術上講,更適合的未來應該是混合雲的場景;如何實現更強大的功能,如何適配於多雲環境,這是超融合下一步發展的重要方向。
另一個發展方向是處於風口浪尖AIOps,人工智慧化運維。超融合基礎架構上搭載的系統和工作負載越來越複雜,很多關鍵應用也加載上來,對複雜系統的適應能力和本身的高可靠甚至是自愈能力都顯得更加重要,如何導入AI幫助更好的運維,以達成前述的能力,必然成為超融合系統是否能進入大型部署規模的一個關鍵點。
最後一個非常值得關注的方向無疑是邊緣計算,精簡型的超融合系統是非常適配的選擇。我們接下來將重點討論。
邊緣計算呼喚超融合
在前面我們已經討論了邊緣計算興起的根本原因,當由於網絡限制和巨大數量導致的計算處理能力前移,我們會發現最迫切的需求是處理能力和存儲資源,而且需求量很大,當然還需要數據分析工具,將軟體和數據推送到邊緣的工具,以及跨邊緣與集中式雲聯合起來的方法,甚至需要在邊緣本身處的機器學習。
這一切的一切都清晰地指出,邊緣需要一些更加強大的基礎架構能力。
我們認為,超融合適合邊緣計算有以下三個理由
而關於超融合產品在邊緣計算裡出現的形態,目前看和普通的超融合產品還是有所區別的。目前超融合集中部署的情況還是比較多,很多都部署在大型企業用戶IDC或者雲服務商IDC裡。而針對邊緣的使用場景,更合理的形態是精簡加固型硬體平臺,具有小尺寸,低能耗,高可維護性和安全性的特點,同時還具有其他附加特性,如GPS/加密/自毀等標準產品上不會出現的功能。同時它必須具有完整系統的兼容性,具有相對完整的OS平臺,能夠搭載大多數的基礎數據分析平臺。
典型應用場景
最後我們來看一些實際出現的行業應用,在邊緣計算的很多場景都可以部署超融合,例如能源行業的石油鑽井平臺,安防監控行業的人臉識別比對,遠洋貨輪的綜合系統和各子系統,環保行業的水文信息監測,氣象行業的遙感雲圖,交通行業的無人駕駛,大型客機機載系統和軌道交通的車載各類系統。
我們以火車的車輪平衡系統的工況監控系統為例,已經部署下去的大量傳感器能夠不停收集數據,如果工程師想要了解最近三個月傳動系統,火車車輪和剎車系統運行得怎麼樣,最近工況如何,未來兩周內是否需要維修或者替換,他就得使用歷史累計的傳感器數據,利用專業分析預測軟體來評估相關零部件是否需要維修。
現在數據有了,而在何處進行後續處理分析就是一個問題?這種情況下,使用超融合的架構在邊緣完成數據處理,就是一個非常適合的方案。短期分析可以就地進行並很快返回,而避免了每次從不同地點把大量採樣數據完全返回到一個千裡之外的雲端數據中心處理,並等待返回結果。雖然這一應用場景並不要求秒級或是分鐘級響應,但系統仍然需要在一個限定的時間窗口(例如8小時/12小時/24小時)計算完成並做出相應反饋,這其實對計算還是有實時性的剛性需求。
使用邊緣計算超融合的方案,大數據的分析過程可以在給定的時間窗口內實現,精簡加固型的超融合系統也能夠適應部署的糟糕環境。
其實這一類的物聯網應用,感應器產生數據量其實非常巨大,例如龐巴迪的C系列飛機,在12小時的飛行過程中會產生844TB的數據量。
http://smartsolution247.com/is-location-everything-how-the-edge-is-driving-digital-transformation/
如果不能就近處理,通常這樣的原始數據要麼丟棄,要麼得等待緩慢的數據傳輸轉移的過程和佔用雲端大量的存儲計算資源以完成相關分析。
如果最終的應用是一個大數據的分析,部署到邊緣的超融合節點至少可以完成第一步的數據清洗,節省大量的低信息含量的原始數據傳輸成本。
總結一下,這類系統有幾個典型的需求特徵如下
Gartner預測到2022年,所有企業將有75%全面展開邊緣計算戰略,而到2018年底,這個比例還不到10%。在未來三年邊緣計算大行其道的時刻,我們相信超融合基礎架構能夠幫助大家應對在這一全新領域要解決的許多新挑戰,一些剛性需求諸如小尺寸,低能耗,極簡部署,易於管理和維護性等能夠得到滿足,有力支持邊緣計算發展。
未經允許不得轉載:DOIT » 更適合邊緣計算的基礎架構:超融合