金山雲邊緣計算助力愛奇藝,衝進30毫秒高速區

2020-12-15 站長之家

1. 愛奇藝在金山雲部署邊緣服務

邊緣計算是近期較流行的技術概念,邊緣計算其離不開「低延遲」和「海量並發連接」,愛奇藝和金山雲本次成功地將概念變為產品實踐。降低網絡延遲能把用戶拉入植物神經都無感的 30 毫秒舒適區;低延遲快速交互又極易出現瞬時大並發,我們需要將用戶訪問分散隔離到不同的邊緣節點。

愛奇藝在金山雲邊緣(以下簡稱KENC)部署了DOH(DNS over HTTPS)服務,受益於KENC邊緣容器雲的穩定性能和強大功能,愛奇藝DoH服務的的各項網絡指標均有提升,力求為用戶提供更加極致的視聽體驗。未來5G信息源數量會增加十倍以上,延遲會進一步降低,今天的DoH邊緣產研實踐,也是雙方為明天的業務創新練兵。

2. DoH服務的技術價值

我們首先解釋這次部署的DoH服務的技術特性和業務價值,再看金山雲KENC如何支撐DoH服務。

DNS協議(RFC1035)是網際網路上的指明燈,是最廣泛的訪問指向方式。但它畢竟是 1987 年制定的老標準了,當時網際網路速度慢、規模小,科教網絡可信賴,其運行機制和報文格式,限制了它的應用範圍。

DoH協議(RFC8484)於 2018 年正式發布,其使用HTTP GET/POST完成DNS查詢過程,解決了安全和信息量的問題,有如下的先天優勢:

1. HTTPS加密防止DNS的嗅探和劫持,網際網路圈現在就是這樣用httpdns的。

2. DNS查詢只傳遞域名信息,EDNS也只是加上客戶端IP,HTTP查詢能攜帶大量自定義客戶端信息,更方便DoH伺服器做策略判斷。

3. DNS的響應報文只能回復IP,而DoH響應包除了DNS解析結果之外,可以一併完成其他消息分發。

4. 基於HTTP協議,DoH可以實現長連接、多重查詢、緩存和更新緩存,這是DNS無法比擬的性能優勢。

5. DoH是企業自有域名的直接解析,路徑極短依賴極少;而DNS是社會公用服務系統,依賴多、穩定性差、不可控。

3. 愛奇藝的DoH業務實踐

當前很多網際網路公司都在應用DoH服務防止惡意劫持,但DoH更有潛力成為一個更精細的客戶端調度和傳參系統。愛奇藝看重了DoH從IT基礎架構層面和客戶端通訊的能力,為更精細化的網絡運營做布局:

1. 當單集視頻點播有異常卡頓、當生僻內容只有部分CDN有緩存時,當要混用P2P和CDN網絡,DoH服務可以做URI級別的精準調度。

2. 當設備頻繁切換Wifi、當某段網絡擁塞,DoH服務能算出最佳路由,甚至能按比例疏導分配用戶訪問。

3. DoH客戶端可以將設備ID、用戶行為、網絡診斷等信息一併傳輸給DoH服務,DoH服務還能從其他系統加載策略參數,上述信息計算後隨著DNS查詢一併反饋給客戶端。

4. DoH根據用戶請求的頻率,能完成一些監控信息搜集工作,比如某批設備為什麼頻繁讀取同一視頻內容,且報告嚴重卡頓?

與服務端DoH發力的同時,愛奇藝技術團隊同時配套開發了DoH-SDK,提供愛奇藝產品矩陣的應用集成。DoH-SDK實現上使用嵌入式服務IP、DoH域名解析、AnyCast IP解析等多種方式獲取最優的DoH伺服器列表,同時通過擴展DoH協議,針對無法解析的域名走local DNS解析,最大限度保證用戶體驗。通過將DoH邊緣化部署後,用戶端進行網絡請求時 域名解析的耗時,全業務流程會有5-30ms的延遲降低,TCP連結成功率也有提升,且通過SDK簡單配置即可實現多節點容錯和輪詢。

4. 金山雲如何承載DoH

前文介紹的擴展傳參都涉及用戶行為數據,大型網際網路企業必須自建自研DoH服務,不可能使用常規雲廠商提供的 DoH on PaaS服務。愛奇藝很早就在核心機房部署了DoH服務,但此次選擇在金山雲邊緣節點上線生產業務,有如下技術考量:

1. DNS over HTTPS肯定比DNS over UDP要慢,就算用到「長連接+單次多查詢+緩存」等優化手段依舊還是慢一些。金山雲是按照優質CDN標準做網絡選點,網絡質量好、覆蓋足,成功將單次連接的延遲壓縮了5-30ms,多次訪問的提升會更明顯,最終為DoH扳回一局,從DNS汙染時的救火服務,變為了在線主打業務。

2. 如果只在全國幾個中心機房建設DoH,單點維持上億個並髮長連接是個複雜艱難的工作。DoH是策略查詢和分發的服務,它只載入少量配置信息就能做大量自運算查詢,非常適合水平複製上百份後部署到邊緣節點,將用戶訪問分散化、本地化。DoH非常適合做邊緣化架構改造,再搭配上客戶端容錯機制,從架構上規避了單點大範圍崩潰。

3. 愛奇藝接入過程中驗證了KENC容器的管理和計算能力。KENC容器的計算性能按對齊雲主機設計,可以在邊緣節點撐起密集查詢、審核轉碼等業務。邊緣應用需要彈性管理動態擴縮容,KENC提供了兼容K8S的接口讓客戶無縫對接。

4. 金山雲認為邊緣容器並不組成大規模複雜群集,而是低延遲大帶寬海量並發。DoH服務並未使用七層負載均衡,而是用三四層直接接入服務,其效率更高速度更快,減少了七層負載均衡這個黑盒故障點,而且避免七層負載均衡解析客戶業務。

5. 基於愛奇藝資源管理平臺,實現容器資源的自動註冊,同時結合金山雲提供的豐富Open-API完善容器資源信息,最終實現對物理機、虛擬機、容器等資源的統一部署、透明管理。

目前愛奇藝DoH服務針對自有產品設計使用,未來隨著邊緣雲的興起,愛奇藝完成了DoH30 毫秒服務圈覆蓋全球覆蓋的能力後,屆時會考慮將DoH服務開放。愛奇藝在金山雲KENC部署DoH只是起步,愛奇藝奇速播業務也剛剛完成了邊緣節點部署測試。隨著調度策略放到邊緣節點,愛奇藝也在探索將調度策略的各種伴生應用向邊緣部署遷移。作為國內領先的娛樂視頻平臺,愛奇藝擁有業界領先的視頻傳輸、調度、處理的IT技術能力。其持續關注5G和邊緣計算技術,不斷探索著用新興IT技術去推動體驗改善和業務變革。

5. 金山雲KENC願與您攜手同行

為了配合客戶未來業務發展,良好的客戶反饋也給我們更大的信心,KENC會建設更多節點,強化容器網絡。我們還在研發各種新功能,比如具備全局同步緩存資料庫,具有慢速錯峰能力的網絡存儲接口,具備代碼託管能力的ServerLess……

金山雲KENC有一隻精英團隊,我們能和客戶做專業性上的平等溝通,什麼服務放到邊緣上有業務改進價值,邊緣化改造給甲方帶來的成本和風險。我們希望能和各位工程師,共同探索更多有典型意義的邊緣計算技術模式。

相關焦點

  • 金山雲邊緣計算KENC:讓普適的算力和網絡更近更下沉
    「5G時代,是邊緣計算的時代」,12月10日,在2020邊緣計算產業峰會上,金山雲CDN及視頻雲產品中心副總經理斯文在分享《金山雲邊緣計算的思考與實踐》時講到,5G低延時、大帶寬、低成本的特性,會對未來網際網路的應用形態產生巨大改變,屆時算力與客戶端的聯繫程度將會更加緊密,第三方數據預測未來80%的算力將下沉到邊緣。
  • 寺庫直播、愛奇藝VR,共同助力LANVIN雲看秀
    同時,加碼愛奇藝助力,打造出2020開年第一場奢侈品VR雲看秀。寺庫直播、愛奇藝VR,共同助力LANVIN雲看秀。圖片來源:視覺中國資料圖本季,LANVIN以「Conversation Piece」為主題,選址始建於15世紀的Manufacture des Gobelins織毯工坊,帶來一場穿越時空的復古大秀。
  • 一文了解邊緣計算和邊緣AI
    根據全球技術市場諮詢公司ABIResearch的數據顯示:預計到2025年,邊緣AI晶片組市場的收入將達到122億美元,雲AI晶片組市場的收入將達到119億美元。邊緣AI晶片組市場將超過雲AI晶片組市場。首席分析師LianJyeSu表示:隨著行業的發展,企業越來越多的需要解決有關數據隱私、電源效率、低延遲和強大的設備上計算性能等問題,邊緣AI將是解決方案。
  • 邊緣計算:是流行詞還是未來?
    施巍松在他的論文《Edge Computing:Vision and Challenges》對「邊緣計算」如此定義——「邊緣計算是指允許計算在網絡邊緣,代表雲服務的下遊數據和代表物聯網服務的上遊數據上執行的使能技術。在這裡,我們將「邊緣」定義為沿著數據源和雲數據中心之間的路徑的任何計算和網絡資源。」
  • 行業數位化邊緣計算專題論壇:深耕邊緣計算應用創新 加速行業數字...
    華為技術有限公司數據通信產品線物聯網關領域總監卜德雲在主題演講《華為邊緣計算物聯解決方案,助力行業數位化轉型》中介紹,華為邊緣計算物聯解決方案採用開放平臺架構,提供豐富的物聯網接口,支持IP化PLC通信和5G上行等創新技術。
  • 天宇經緯發布首款無人機5G機載邊緣計算終端
    2020年6月5日,天宇經緯(北京)科技有限公司在北京舉行「天宇雲盒系列產品」線上發布會,面向全球發布「無人機5G機載邊緣計算終端」——天宇雲盒5G版,同時發布系列產品天宇雲盒LTE 2.0版和LTE GS版。
  • 智聯邊雲 共創產業新價值 ——2020邊緣計算產業峰會在京盛大召開
    邊緣計算產業聯盟理事長於海斌於海斌在致辭中表示:「在國家大力發展新基建的今天,邊緣計算蓄力爆發的時刻或已來臨,邊緣計算將是5G、工業網際網路、人工智慧三者融合發展的爆發點。未來,聯盟將進一步加強與學術界和產業界的合作,深耕邊緣計算在不同行業的落地需求與應用模式,助力聯盟成員打造更多邊緣計算新應用,共同推進邊緣計算產業的高速發展。」
  • 百度大腦:端-雲-邊緣協作時代,如何小時級變身AI端計算工程師
    當前,我們進入了端-雲-邊緣協作的時代,不僅要看端計算的能力、算法的效果,更要看它們相互之間協作的效率,這也是影響企業能否真正實現 AI 轉型的最重要因素之一。那麼企業如何處理圖片、文本、視頻等不同類型的業務數據,又該選擇哪種端-雲-邊緣的協作方案,才能在這千變萬化的競爭時代,使用少量數據快速實現高精度的 AI 開發,抓住市場的機會呢?
  • 了解邊緣人工智慧及邊緣計算
    邊緣人工智慧可以使人工智慧技術得到更廣泛的應用,使智能設備在無需接入雲平臺的情況下對輸入做出快速反應。雖然這是邊緣人工智慧的一個快速定義,但是需要更好地理解和探索邊緣人工智慧技術,並了解邊緣人工智慧的一些用例。為了真正理解邊緣人工智慧,首先需要了解邊緣計算,而理解邊緣計算的最佳方法就是將其與雲計算進行對比。
  • 邊緣計算網關助力鋼鐵廠自動化生產線監控系統
    二、系統概述計訊物聯充分利用物聯網信息化、網絡化、智能控制等先進技術,有效的對生產設備、生產過程進行監控,輔助生產管理,並根據TG452邊緣計算網關採集的實時信息可及時預測生產過程中可能發生的異常情況,指導有關人員及時採取措施避免事故的發生,保障生產的正常進行,達到事前預防維護、事發及時發現及時處理的效果
  • CPDA數據分析師:如何用簡單的英語解釋邊緣計算
    要使邊緣設備變得智能,他們需要處理所收集的數據,及時分享見解,並在可行時採取適當的行動,邊緣計算是使邊緣設備執行此操作而無需將數據傳輸到其中的科學,另一個伺服器環境,換句話說邊緣計算使數據和計算最接近交互點,如果我們考慮一個輪輻模型,那麼雲就是中心,而輻條外部的一切都是邊緣,這一切都不在雲中, 如果我們考慮一個輪輻式模型,那麼雲 就是中心,
  • 一體化交付 ZStack邊緣計算智能體驗
    雲計算作為物聯網的「大腦」,會將大量邊緣計算無法處理的數據進行存儲和處理,整理和分析,並反饋到邊緣設備,增強局部邊緣計算能力。然而,企業在建設雲平臺過程中不可避免地會遇到諸多問題,如建設成本高,硬體配置要求、建設周期長,成本不可控;運營成本高,專業技術人員學習周期長,違背「雲」目標;不可持續性,無法快速匹配不斷變化的業務需求,功能升級受限等等。
  • 青雲QingCloud 物聯網平臺新增邊緣 AI,軟體定義邊緣計算
    同時,邊緣 AI 進一步加強了青雲QingCloud 雲網邊端一體化能力,為用戶及合作夥伴提供了更理想的 AIoT 應用體驗,全面釋放 AIoT 潛能,創造更多商業價值。目前,邊緣 AI 已在口罩檢測、人臉識別等場景完成部署應用。
  • 全球雲遊戲產業提速 邊緣計算成千億市場破局關鍵
    業內人士指出,伴隨「新基建」戰略的快速推進,超高速5G行動網路的不斷普及將進一步助推雲遊戲業務的增長,受需求驅動,5G產業鏈上邊緣計算、網絡切片等雲遊戲相關技術行業將率先獲得利好。掘金千億市場,邊緣計算成破局關鍵5G雲遊戲產業聯盟秘書長、中國信通院5G數字文創研究中心副主任林瑞傑表示,以雲遊戲為代表的數字文娛產業高速發展,依賴於技術、內容和成本三大因素,而內容和玩法又受限於技術和成本的制約,邊緣計算技術是破解這個難題的可行方案。
  • 合眾之力,打造邊緣計算新時代
    在日前舉行的「智聯邊雲,共創產業新價值」2020邊緣計算產業峰會上,ECC理事長於海斌表示,ECC的成員已經從初創時期的62家增長到現在的300多家,行業影響和示範作用不斷擴大。更重要的是,在各方的共同努力下,邊緣計算已經在各個領域都展現了巨大的價值。
  • 以高清、VR、互動為核心金山雲構建全面沉浸式視頻服務
    在昨日召開的第八屆中國網絡視聽大會上,金山雲高級副總裁、合伙人梁守星表示,在5G網絡下,基於超高清、低時延互動的沉浸式視頻業務場景會不斷產生和演化,未來幾年將成為視頻行業的主力軍。金山雲視頻雲在「向上AI化、向下邊緣化」的發展方向下,提出「智享沉浸視界」的發展目標。基於高清、VR、互動,金山雲在Iaas、PaaS層服務全面布局,助力客戶構建沉浸式體驗能力。在IaaS層,整合了邊緣計算平臺、計算存儲平臺、內容分發加速平臺,以及數據處理中心。
  • 紫光股份旗下新華三集團推出自主研發的工業邊緣計算一體機
    紫光股份旗下新華三集團(以下簡稱「新華三」)作為首批通過「邊緣計算標準件計劃」產品測試的廠家,針對生產製造和產品服務兩大場景,推出邊緣計算網關和邊緣計算雲一體機,採用IT與OT融合架構設計,具備全要素數據採集、邊緣實時分析、多協議轉換、雲邊協同等能力,體現了其作為工業數位化轉型先行者的技術積累和深厚的研發實力。
  • 邊緣計算,計算架構不斷演進的必然
    據IDC數據顯示,未來超過50%的數據需要在邊緣側進行存儲、分析、計算,到2024年全球邊緣計算市場將達到2506億美元。邊緣計算作為2020年新興技術趨勢的佼佼者,正日益趨向成熟,賦能各行各業,成為支撐新基建戰略,促進行業數位化轉型的重要抓手。 2020年12月10日,由邊緣計算產業聯盟(ECC)主辦的2020邊緣計算產業峰會(ECIS2020)在京盛大召開。
  • 騰訊雲重磅發布邊緣可用區,雲邊端一體,拓展雲的邊界
    在5G時代,超過50%的數據和計算將發生在邊緣,雲-邊-端一體化是不可逆轉的技術趨勢。在中心式region的基礎上,騰訊雲網絡順勢推出邊緣可用區(Edge Zone),一站式提供覆蓋全國主要省會城市的三大運營商三網帶寬的邊緣可用區(武漢、杭州、長沙、福州、濟南、石家莊,其他城市陸續上線中),就近接入,時延平均降低20%以上。
  • 邊緣計算2.0時代來臨,產業未來會這樣發展
    邊緣計算助力,運營商發力5G專網運營商在邊緣計算領域已經走出了一條專網化道路,在toB市場做出了一番成績。三大運營商紛紛推出定製化5G專網,邊緣計算是5G面向toB市場發展的關鍵抓手。中國電信推出5G定製網,採用「致遠」「比鄰」「如翼」三類服務模式。