作業幫受邀參加2020 Techo Park開發者大會,分享平臺架構容器化...

2020-12-26 YNET.com北青網

12月19日-20日,由騰訊主辦的2020 Techo Park開發者大會在京舉行,全球200餘位頂級技術專家以及數千位參會者在大會現場就雲計算、大數據和人工智慧等前沿技術話題展開深度交流。

作業幫基礎架構部架構方向負責人呂亞霖受邀出席本次大會的「企業IT架構雲原生的必經之路」容器分論壇,並在現場發表《作業幫容器化探索和落地實踐》主題演講,分享作業幫容器化背景、目標、落地、收益及未來規劃,深入剖析容器在教育行業落地所面臨的問題、挑戰以及相應的高效解決方案。

雲原生技術架構是有效手段,K8S及其生態是重要抓手

隨著雲原生技術的成熟和普及,金融、教育、遊戲等各個領域越來越多的企業IT架構正在向雲原生架構轉型。在此背景下,作業幫在技術和實踐中所取得的一系列進展與成績,成為教育領域企業雲原生上雲轉型的一大代表,為行業提供了可供借鑑的成功案例。

呂亞霖在演講中首先分享了作業幫技術體系現狀,他表示,作業幫自2015年成立至今,一直保持高速增長,尤其是在今年更是實現了規模的成倍增長,發展到現在已擁有數千個業務應用、數萬個應用實例、數十萬計算核數,未來一段時間內將會依然保持增長勢頭。

而在規模化加速發展的同時,作業幫的複雜度也在急劇增加。呂亞霖表示,作業幫已從最開始的拍照搜題工具類型應用,演化成教研、工具一體並覆蓋整個教學領域,涵蓋了從低幼、K12到成人教育的全階段,技術棧則由PHP、C++演化成涵蓋了現在所有主流語言的多語言棧,由此也面臨著高可用、極致性能、高並發的一系列問題,在可用性和性能的要求上比大部分網際網路業務要求更加苛刻。

在業務的極速擴張下,控制其架構複雜度同時保證業務服務穩定性、成本以及效率成為作業幫容器化的核心問題。對此,呂亞霖指出,用雲原生技術架構,基礎設施接管業務中大量非功能邏輯,實現彈性、可觀測、韌性、自動化、可持續等特性是有效手段,K8S以及其生態是重要抓手。

呂亞霖進一步闡述了作業幫容器化層級和其背後的技術思考,「在虛擬機時代,應用直接運行在資源上,所以底層資源的變更對上層應用是有感知的,應用通過服務治理手段來保證業務的高可用、性能和可擴展性,但是建立和運維這種體系的成本高昂。而在容器化體系下的雲原生架構,K8S通過對下遊資源的抽象,來抹平資源差異和變更,由此資源對上層服務透明,上層服務不關係底層資源的細節和變化。同時,對上層應用做服務化,用應用框架落地規範和標準,降低接入成本。」

CPU高峰調度應根據未來使用量,日誌檢索針對元數據

呂亞霖強調,在容器化落地進程中,首先明確業務服務構建容器的原則是很重要的,一是避免陷入重大問題缺陷,二是有利於容器生態的快速接入。

「容器化落地的內核主要是集中在IPVS和Cgroups,內核上我們遇到了很經典的ipvsreuse mode問題,也有在高並發下網絡毛刺的問題,我們通過騰訊tlinux內核團隊協作解決了這些問題。」呂亞霖在大會現場分享了容器化落地的內核以及原生K8S優化等內容。

「K8S默認調度器有很多不足,比如高峰調度不均衡問題,我們先後做過均衡調度,真實調度,優化後發現在業務deployment時,其實是均衡的,但是到了尖峰時段,又變得不均衡,因為大部分業務場景下CPU高峰增量不是線性的,所以我們的建議是做高峰預測調度,不要根據現在的使用量來調度,而是要根據未來的使用量。」

接下來,呂亞霖進一步從容器化落地服務發現註冊的控制面和數據面進行了詳細說明,他表示,在容器化過渡期間,虛擬機和容器會並行很長一段時間,所以需要解決老的虛擬機和容器化互通的問題,從控制面上來看,通過一個控制組件,來監聽虛擬機的名字服務,將服務註冊到K8S集群的service裡,監聽其變更,將變更同步到容器。而在數據面,容器通過service直接訪問虛擬機,service來做負載均衡,虛擬機訪問容器化,則通過一個東西向的ingress服務,訪問容器內的服務單元。

此外,Service Mesh對於像作業幫等使用多語言的公司來說優勢非常明顯。呂亞霖指出,其優勢一是低入侵,業務幾乎無感,二是多語言支持,三是與服務感知的結合較好。

資源彈性調度+在離線混合部署,部分業務成本下降43%

作為資源彈性調度的重要參考背景,作業幫容器化落地過程中的時間周期特性十分明顯,尖峰時段是平峰時段的20倍,是低峰時段的上百倍,同時流量上升曲線較陡,凌晨到5點前流量較少。此外,遇到寒暑高峰或者期中、期末考試,也會有很大的資源使用量。

基於這一特性,呂亞霖和團隊主要通過兩種HPA來擴縮POD,一個是定時HPA,較為適合時間點明確的業務,另一個是autoHPA,用來應急擴縮,防止服務出現容量問題。同時,底層資源層面則有兩個池子,一個是固定池,裡面是裸金屬服務,長時間使用,另一個是動態池,由一批按需的虛擬機構成,平時處於關機狀態,當資源緊張時則會開機加入集群,用來應對非預期的峰值。

除此之外,在離線業務容器化混合部署則成為成本節約優化的一大利器。據呂亞霖介紹,正常在線業務有大量的低負載時段,作業幫把大數據離線和視頻音頻轉解碼服務均容器化,統一在K8S調度,部署到在線K8S集群,由此帶來的收益是非常大的,而這裡面主要的技術則是利用tlinux的cpu隔離策略。

而從異構計算來看,在GPU服務的容器化方面,作業幫的主要策略是gpu-share方案,通過顯存和算力進行POD調度,從上遊流量入口側對算力進行隔離,來保證GPU服務穩定性,同時實現資源利用率的最大化。「在我們的場景下,大規模使用GPU幾千卡,比較常見的情況是卡故障,這時候就需要做故障轉移和資源下線操作。」呂亞霖稱。

此外,作為可用性保證的重要環節之一,在多雲K8S建設方面,作業幫在多個雲廠商部署獨立的K8S集群,實現統一K8S的管理調度層,雲內流量閉環,數據存儲專線同步,源頭DNS/HTTPDNS切流。

在多重舉措的合力推動下,作業幫容器化的收益顯著,同樣業務遷移前後,使用了HPA和在離線混合部署後,成本下降43%,穩定性提升到99.995%,接口響應提升10%。由此,有效支持了作業幫業務的快速迭代,秒級急速擴縮容,服務運行態規範落地和統一的運維環境,多雲的環境統一,提升服務可用性。這也便於雲間相互自由遷徙,實現單雲故障的應急預案,通過優化資源碎片,在離線混合部署,自動擴縮容,整體成本進一步下降。

在演講最後,談及對於容器化未來的規劃展望時,呂亞霖提出四大方向,包括更大規模和全時段的在離線混合部署,K8S與Serverless的結合是未來的趨勢,中間件容器化,以及大數據服務容器化。

責任編輯:韓璐(EN053)

相關焦點

  • 2020 Techo Park開發者大會召開,作業幫分享拍搜系統架構演變歷程
    12月19日至20日,由騰訊主辦的2020TechoPark開發者大會於北京召開。據悉,本次大會邀請了全球超200位頂級技術專家來到現場,與數千位參會者就雲計算、大數據和人工智慧等前沿技術話題展開深度交流,為中國及全球雲計算愛好者、從業者、開發者提供最具參考價值的創新分享。
  • 2020 Techo Park開發者大會召開 作業幫分享拍搜系統架構演變歷程
    12月19日至20日,由騰訊主辦的2020 Techo Park開發者大會於北京召開。據悉,本次大會邀請了全球超200位頂級技術專家來到現場,與數千位參會者就雲計算、大數據和人工智慧等前沿技術話題展開深度交流,為中國及全球雲計算愛好者、從業者、開發者提供最具參考價值的創新分享。
  • 騰訊開發者大會|作業幫呂亞霖:在離線業務容器化混合部署是成本...
    12月19日-20日,由騰訊主辦的2020 Techo Park開發者大會在京舉行,全球200餘位頂級技術專家以及數千位參會者在大會現場就雲計算、大數據和人工智慧等前沿技術話題展開深度交流。
  • 作業幫受邀參加2020中國教育科技大會 分享多雲架構新探索
    12月23日,由中國計算機用戶協會指導,iTechClub(網際網路技術精英俱樂部)教育委員會主辦的國內網際網路技術領域最專業、最具影響力的大型教育科技類行業盛會「2020中國教育科技大會」在北京召開。作業幫基礎架構負責人董曉聰受邀出席本次大會,並在「運維安全——後疫情時代的在線教育挑戰」分會場分享作業幫如何通過基於雲原生的多雲建設,破解業務發展過程中存在的穩定性、效率、成本、安全等方面問題,實現彈性、韌性、可觀測、自動化、可持續的在線架構,以及通過技術改造帶來的一系列收益,以真實案例深刻闡述技術變革持續推動教育產業的加速迭代發展。
  • 作業幫呂亞霖:在離線業務容器化混合部署是成本節約利器
    12月19日-20日,由騰訊主辦的2020 Techo Park開發者大會在京舉行,全球200餘位頂級技術專家以及數千位參會者在大會現場就雲計算、大數據和人工智慧等前沿技術話題展開深度交流。作業幫基礎架構部架構方向負責人呂亞霖受邀出席本次大會的「企業IT架構雲原生的必經之路」容器分論壇,並在現場發表《作業幫容器化探索和落地實踐》主題演講,分享作業幫容器化背景、目標、落地、收益及未來規劃,深入剖析容器在教育行業落地所面臨的問題、挑戰以及相應的高效解決方案。
  • Techo Park開發者大會應用化計算分論壇:如何在雲端快速構建應用
    12月19-20日,騰訊Techo Park開發者大會在北京舉行,200多位行業頂尖專家和5000多名開發者齊聚一堂,共同探討雲計算、大數據和人工智慧等前沿技術話題,並同步舉辦30多場分論壇交流,超百萬用戶也通過線上和線下方式參與到這場技術研討的年度盛會。
  • 產學研用2020啟智開發者大會亮點搶鮮報
    鄒鵬則表示,定位為網絡空間科學與技術研究的鵬城實驗室,就是要把國內的人工智慧的基礎匯聚在一個公共平臺上,成為信息社會裡的基礎設施。12月2日三位專家將出席大會並進行主題演講,期待能繼續聆聽他們分享的前沿觀點。
  • 西瓜創客8歲學員受邀華為開發者大會HDC.Cloud,與全球高手「雲同臺」
    2016年,曾有一位9歲的澳大利亞女孩,成為蘋果公司有史以來年齡最小的開發者。2020年,最小開發者記錄被來自於西瓜創客在線少兒編程的兩位 8 歲學員再度刷新,並受邀為眾多專業開發人士分享編程學習故事。  在華為開發者大會HDC.Cloud 即將開幕之際,華為官方日前發布了一組開發者嘉賓預告,從中揭曉了一系列活動懸念。
  • 作業幫受邀參加新京報2020在線教育論壇,暢談未來教育新生態
    12月2日,由新京報舉辦的2020在線教育論壇在北京召開。此次論壇的主題為「融合創新 未來教育新生態」。作業幫作為國內最大的K12在線教育平臺受邀參會,作業幫執行總裁蘇靜與教育部基礎教育司副司長俞偉躍、北師大未來教育高精尖創新中心執行主任餘勝泉、北京市市委教育工委副書記李奕、北京中學校長夏青等一眾嘉賓共同參與了議題探討。
  • Techo開發者大會,騰訊優圖分享最新研究成果和產業實踐
    12月19日-20日,由騰訊發起的2020 Techo Park開發者大會於北京順利召開。其中人工智慧專場以「人工智慧算法與最佳實踐」為主題,為開發者、業界及生態夥伴呈現了雲計算時代下人工智慧領域的最新前沿技術與最佳行業實踐。
  • 阿鋪科技受邀參與2020中國.NET開發者盛會
    12月19日-20日,由.NET眾多社區聯合組織主辦的2020中國.NET開發者大會在蘇州圓滿完成。中國 .NET開發者盛會!本次大會以「開源、共享、創新」為主題,以線下城市蘇州為中心,覆蓋北京、上海、深圳、廣州、長沙、成都等地區,是中國 .NET 開發者的大聚會,活動雖受疫情影響,線下規模有所減小,但熱情絲毫不減,現場共計將近600名優秀開發者參與本次活動,線上直播參會人數達數十萬人,覆蓋城市達10+個。超50萬開發者共同見證這場.NET領域的年度技術盛會。
  • 「Game 4 Change」,2020騰訊遊戲開發者大會開啟限量報名
    2020年12月7日~10日晚19點至23點,由騰訊遊戲學院舉辦的第四屆騰訊遊戲開發者大會(Tencent Game Developers Conference,簡稱 TGDC)將在線上舉行。
  • 貝殼·如視惠新宸出席騰訊雲開發者大會 展望沉浸式服務新時代
    12月19日,騰訊雲2020 Techo Park開發者大會正式啟幕,超過200位頂級技術專家和數千位參會者匯聚一堂,面向全球開發者和技術愛好者分享雲計算、大數據和人工智慧方面的創新和實踐。貝殼找房副總裁、騰訊雲TVP創始委員惠新宸,貝殼找房如視事業部技術負責人楊永林受邀出席此次大會,並就TRTC(實時音視頻)、VR等尖端科技在居住服務等領域的應用進行深度交流,為參會嘉賓提供極具參考價值的經驗分享。
  • 達內受邀參加華為鯤鵬開發者技術沙龍
    2020年10月15日,華為鯤鵬開發者技術沙龍系列活動第三場在北京鯤鵬聯合創新中心舉辦。本次活動中,達內教育受邀並組織十多名學員到場參加,與計算和信息安全領域的專家、工程師進行深度交流學習。同時,活動還邀請行業標杆企業探討ICT全棧產業生態建設,搭建溝通交流平臺,激發開發者活力,解決應用遷移中的痛點、實現軟體更好調優,推進國產計算體系從「可用」到「好用」的落地。馮茂柏先生多年來從事虛擬化、中間件等領域的工作。他在本次活動中首先介紹了軟體3類遷移的實戰案例: SO庫遷移、Maven工程遷移和Python工程遷移。
  • 西瓜創客少兒編程8歲學員,刷新華為開發者大會HDC.Cloud新紀錄
    2016年,曾有一位9歲的澳大利亞女孩,成為蘋果公司有史以來年齡最小的開發者。2020年,最小開發者記錄被來自於西瓜創客在線少兒編程的兩位 8 歲學員再度刷新,並受邀為眾多專業開發人士分享編程學習故事。
  • 容器管理平臺的項目實戰 ---應用微服務化與CICD
    本文來自12月15日有容雲Docker微信群分享整理分享嘉賓:惠志朋有容雲技術總監
  • 2020啟智開發者大會開幕 百度飛槳正式發布「OpenI-星辰PPSIG共建...
    (原標題:2020啟智開發者大會開幕 百度飛槳正式發布「OpenI-星辰PPSIG共建計劃」)
  • 2020啟智開發者大會:AI醫療平臺素問系統誕生,智慧醫療煥然「醫」新
    2020啟智開發者大會:AI醫療平臺素問系統誕生,智慧醫療煥然「醫」新 伴隨著人工智慧技術的快速發展,AI技術在醫療場景的滲透正掀起一場醫療技術與服務的變革,「算法」+「數據
  • 影創科技受邀參加2020 Qualcomm XR生態合作夥伴大會
    2020 Qualcomm XR生態合作夥伴大會暨第二屆XR創新應用挑戰賽頒獎典禮將於2020年9月5日在江西南昌舉行。本次大會得益於南昌市紅谷灘區人民政府及各部門對本次會議給予的大力支持與關注,為會議的組織和管理帶來了十分重要的指導和助益。