智能計算、邊緣計算環境下的雲原生進化之路

雲計算的發展,經歷了虛擬化、商業IaaS、商業PaaS,到開源IaaS、開源PaaS、雲原生等階段,核心組成部分也經歷了從伺服器到虛擬機再到容器的演變。

2015年創立的CNCF發布的開源平臺Kubernetes,讓雲原生技術得到長足發展,越來越多的行業、場景採用雲原生技術,企業和個人開發者4年增長了近20倍,來自超過2k個公司的3.5萬多個開發者向開源社區貢獻了14萬餘行代碼。

今天,在5G、AI &大數據應用日漸普及的背景下,為適應多雲混合雲、智能計算、邊緣計算、異構計算等計算環境,雲原生正在迎來新的進化。

在華為開發者大會2020(Cloud)期間,來自華為雲、才雲科技、中國聯通的技術專家,帶來了雲原生技術的最新發展成果和趨勢走向。

Kubeflow + Volcano 加速機器學習平臺容器化進程

近10年來,AI發展迅速。在AI訓練過程中,涉及到硬體、作業系統、驅動、程式語言和運行時、存儲和資料庫、框架、上層應用預算法等多層技術堆棧,應用K8s,則能讓用戶屏蔽程式語言以下的所有堆棧,更多關註上層技術實現。

K8s長於任務調度,在分布式AI訓練過程中,能把訓練任務分布到不同的集群上執行。但K8s默認的調度器存在諸多問題,如:

•資源的爭搶問題

•Head-of-Line Blocking問題

•優先級問題

•部分任務的親和性問題

•PS Worker 的帶寬很大程度上影響訓練問題

•拓撲問題

另一方面,隨著AI應用需求的增加,人們開始考慮如何進一步簡化上層的存儲、框架技術堆棧,讓AI訓練更加容易,Kubeflow應運而生。

Kubeflow定位於K8s平臺上ML工作負載管理工具,如數據存儲、框架選擇均能通過Kubeflow獲得管理,實現分布式訓練、分布式實驗、分布式服務、管道服務等功能,進一步簡化堆棧。

使用Kubeflow,流程更加清晰簡單,用戶只要關心業務邏輯、算法、模型代碼的開發,就能完成從模型訓練到模型發布一整套流程,不必關注底層。

Volcano是在Kubernetes 上針對大數據、深度學習等場景設計的調度系統,能夠解決部分分布式訓練任務調度的痛點問題。Volcano基於K8s,具有高擴展性,且容易學習上手。

才雲科技機器學習平臺工程師、Kubeflow開源社區維護者高策介紹,分布式AI訓練任務的資源爭搶成本極高,等待時間長達10秒級,採用Volcano PS-Worker 親和性調度之後, PS和Worker之間的通信速度變快,任務執行效率提高,等待時間有大幅度下降。

高策分析這一顯著提高來自兩個方面原因:一方面任務執行時間縮短,資源很快被釋放,其他任務獲得資源的等待時間變少;另一方面與默認調度器比較,Volcano解決了資源爭搶問題,不會再發生任務無謂等待甚至鎖死的情況。

基於 KubeEdge 的邊緣計算平臺幫助客戶降本增效

隨著5G通信的商用,萬物互聯時代快速到來,網絡邊緣的設備數量、產生的數據爆發增長,集中式的數據中心(包括公有雲服務)將面臨實時性、帶寬、能耗、數據隱私的挑戰,越來越多的場景需要應用邊緣計算。

在K8s上,可以通過K3s、Microk8s、KubeEdge三種架構實現邊緣計算,KubeEdge以雲邊協同、邊緣側的輕量和邊緣自治能力而獲得更多應用。

聯通雲計算有限公司容器團隊負責人、KubeEdge開源社區Approver張杰,負責在聯通雲的容器和KubeEdge落地工作,他介紹了一個汽車保養門店車位績效AI識別的典型應用案例:

客戶是一家汽車保養連鎖機構,每個門店都有多個保養車位,每個車位都需要記錄車輛維護數量、時間,以評估每工位、每門店的業務績效。如果採用通常做法,額外購置智能攝像頭或者使用雲識別服務的話,成本會非常高昂。

聯通雲計算通過KubeEdge部署的邊緣計算系統,採用工位攝像頭來抓取車輛進出的照片,實時識別車輛信息、計算車輛停留保養時間,實現全天統計無遺漏,最後匯總報表推送至雲端的運營中心,實現門店乃至車位的業績效率統計、實現KPI考核,以及門店地域的汽車維修熱點統計分析,實現門店資源的全局調度等功能。

這一邊緣計算方案,繼續採用原有系統的IP攝像頭,不需額外購置智能攝像頭,只需一次性投入,運營過程中每次識別幾乎不產生使用費用,很好地保護了客戶投資。

這是一個典型的雲端向雲邊端遷移的過程中,聯通雲在邊緣側加入幾臺arm 伺服器,實現就近計算,只上報統計結果,即解決了延遲問題,又提高了敏感數據的安全性問題。

系統改造後,在雲端會有應用服務的管理平臺以及業務的運營平臺。控制層面由k8s master和kubeedge的cloudcore管理。每個線下門店的ARM伺服器上都安裝kubeedge的邊端組件:mqtt、edgecore服務等,管理pod的生命周期以及對應的終端管理。

所有的應用都經過容器化改造,使用KubeEdge統一管理和下發。使用KubeEdge本身提供的能力,既能最大化發揮容器的快速部署的優勢,也能實現雲邊協同和邊緣自治的能力。很好的滿足了客戶對於運維和運營的需求。

藉助邊緣計算系統,單張圖片識別時間開銷 < 50ms,且在網絡質量不佳時,也可以離線使用。同時,利用IoT感知技術,可以實時監控輪胎等可燃物料存儲區域的溫度狀態,如果店面出現明火及煙霧時,會及時推送報警短視頻到門店管理人員及運營平臺,達到自動報警的目的。

火了這麼久,2020年雲原生將走向哪裡?

王澤鋒是華為云云原生開源負責人、KubeEdge項目聯合創始人,他是國內最早的一批K8s Maintainer,是KubeEdge項目和Volcano項目開源的主導者。

王澤鋒預測了2020年雲原生在企業落地的3大趨勢,他認為:更多企業採用多雲混合雲,以避免廠商綁定;更多的AI &大數據應用開始雲原生開發;5G + AI +邊緣將成為雲原生向外延伸的新機遇。

近年來K8s在中國的發展迅速,5G、AI、邊緣計算正在創造新體驗、新應用、新產業,促進智能在諸多行業的普及和應用。KubeEdge和Volcano正是在這個過程中創立,並在應用實踐過程中,逐漸得到完善。

邊緣計算具有連接的廣泛性、數據帶寬優化、邊緣的自治性、業務的實時性、安全與隱私保護等優勢。但在落地實現中,每個應用場景的具體設備、網絡通信等條件都不盡相同,需要面對資源有限、網絡不暢、離線自治、設備接入和管理等現實問題。

KubeEdge是K8s上更好地實現邊緣計算的工具,針對邊緣側的實際環境做了諸多優化:實現了邊緣側節點的離線狀態自治;雲邊消息傳輸默認使用websocket,支持雲邊協同;同時支持雲端集群和邊緣端集群的管理;在邊緣側節點Edgecore 的內存暫用率大約是70M,極致輕量;同時兼容k8s 的核心api功能等等。

KubeEdge由華為開源並於2019年3月捐給CNCF基金會,是K8s IoT Edge Working Group 的關鍵參考架構之一,目前有超過250位貢獻者參與維護。

以KubeEdge為核心構建的華為雲智能邊緣平臺,具有大規模、輕量化、邊緣智能、超強算力等特點。平臺支持十萬節點、百萬應用,雲端統一管理、配置、升級;資源佔用小於128mb,支持輕量化容器和函數管理;集成40+ AI算法,邊緣流計算以及時序型資料庫;支持華為鯤鵬/華為昇騰算力調度,邊緣AI推理算力提高3倍。

AI&大數據近年來成為新的熱點,雲原生能帶來諸多好處:實現自動化、標準化、易擴展;支持異構硬體,降低複雜度;提高利用率和性價比等等。

但AI&大數據的雲原生技術還不完善,目前主要解決了各個計算框架容器化的問題,仍有許多能力需要完善,如:改善資源分配的孤立性,避免作業死鎖;針對資源的拓撲優化;作業任務間的依賴關係支持。

Volcano開源項目基於K8s構建Batch系統,提供針對AI大數據的複雜作業管理和高級調度能力。

Volcano項目基於華為雲容器平臺大規模高性能計算應用管理的最佳實踐,在原生 K8s 的基礎上,補齊了作業 (Job) 調度和設備管理等多方面的短板。目前,Volcano 在華為雲上對接了包括一站式 AI 開發平臺 ModelArts、雲容器實例 CCI、雲容器引擎 CCE 在內的多款服務,是整個高性能計算領域不可或缺的基座。自開源以來,項目已經吸引了來自騰訊,百度,快手以及 AWS 等多個公司的貢獻者。

雲原生代表了新一代的技術方向,其在中國的發展如火如荼,CNCF的會員數量從2015年只有華為1家初創&白金會員,到今天已經發展到50家。全球1/4認證的K8s服務提供商來自中國;全球1/3的K8s培訓發生在中國。

在雲原生熱度持續上升的過程中,其生態獲得發展,超過90個廠商提供了認證的K8s的雲服務或者發行版,Kubernetes的南向有多種運行時、存儲、網絡等插件供用戶選擇,北向的應用管理和數據服務生態也持續豐富——業界主流的CICD工具鏈、資料庫、消息中間件等都支持對接K8s或直接在K8s上運行。

2020年已經過去四分之一,雲原生在多雲混合雲,邊緣計算,智能計算等領域的強勁發展勢頭,值得所有開發者關注。

_____END_____

未經允許不得轉載：DOIT » 智能計算、邊緣計算環境下的雲原生進化之路