金山雲邊緣計算助力愛奇藝,衝進30毫秒高速區

2020-12-25 中國網科學頻道

1.愛奇藝在金山雲部署邊緣服務

邊緣計算是近期較流行的技術概念,邊緣計算其離不開「低延遲」和「海量並發連接」,愛奇藝和金山雲本次成功地將概念變為產品實踐。降低網絡延遲能把用戶拉入植物神經都無感的30毫秒舒適區;低延遲快速交互又極易出現瞬時大並發,我們需要將用戶訪問分散隔離到不同的邊緣節點。

愛奇藝在金山雲邊緣(以下簡稱KENC)部署了DOH(DNS over HTTPS)服務,受益於KENC邊緣容器雲的穩定性能和強大功能,愛奇藝DoH服務的的各項網絡指標均有提升,力求為用戶提供更加極致的視聽體驗。未來5G信息源數量會增加十倍以上,延遲會進一步降低,今天的DoH邊緣產研實踐,也是雙方為明天的業務創新練兵。

2. DoH服務的技術價值

我們首先解釋這次部署的DoH服務的技術特性和業務價值,再看金山雲KENC如何支撐DoH服務。

DNS協議(RFC1035)是網際網路上的指明燈,是最廣泛的訪問指向方式。但它畢竟是1987年制定的老標準了,當時網際網路速度慢、規模小,科教網絡可信賴,其運行機制和報文格式,限制了它的應用範圍。

DoH協議(RFC8484)於2018年正式發布,其使用HTTP GET/POST完成DNS查詢過程,解決了安全和信息量的問題,有如下的先天優勢:

1. HTTPS加密防止DNS的嗅探和劫持,網際網路圈現在就是這樣用httpdns的。

2. DNS查詢只傳遞域名信息,EDNS也只是加上客戶端IP,HTTP查詢能攜帶大量自定義客戶端信息,更方便DoH伺服器做策略判斷。

3. DNS的響應報文只能回復IP,而DoH響應包除了DNS解析結果之外,可以一併完成其他消息分發。

4.基於HTTP協議,DoH可以實現長連接、多重查詢、緩存和更新緩存,這是DNS無法比擬的性能優勢。

5. DoH是企業自有域名的直接解析,路徑極短依賴極少;而DNS是社會公用服務系統,依賴多、穩定性差、不可控。

3.愛奇藝的DoH業務實踐

當前很多網際網路公司都在應用DoH服務防止惡意劫持,但DoH更有潛力成為一個更精細的客戶端調度和傳參系統。愛奇藝看重了DoH從IT基礎架構層面和客戶端通訊的能力,為更精細化的網絡運營做布局:

1.當單集視頻點播有異常卡頓、當生僻內容只有部分CDN有緩存時,當要混用P2P和CDN網絡,DoH服務可以做URI級別的精準調度。

2.當設備頻繁切換Wifi、當某段網絡擁塞,DoH服務能算出最佳路由,甚至能按比例疏導分配用戶訪問。

3. DoH客戶端可以將設備ID、用戶行為、網絡診斷等信息一併傳輸給DoH服務,DoH服務還能從其他系統加載策略參數,上述信息計算後隨著DNS查詢一併反饋給客戶端。

4. DoH根據用戶請求的頻率,能完成一些監控信息搜集工作,比如某批設備為什麼頻繁讀取同一視頻內容,且報告嚴重卡頓?

與服務端DoH發力的同時,愛奇藝技術團隊同時配套開發了DoH-SDK,提供愛奇藝產品矩陣的應用集成。DoH-SDK實現上使用嵌入式服務IP、DoH域名解析、AnyCast IP解析等多種方式獲取最優的DoH伺服器列表,同時通過擴展DoH協議,針對無法解析的域名走local DNS解析,最大限度保證用戶體驗。通過將DoH邊緣化部署後,用戶端進行網絡請求時域名解析的耗時,全業務流程會有5-30ms的延遲降低,TCP連結成功率也有提升,且通過SDK簡單配置即可實現多節點容錯和輪詢。

4.金山雲如何承載DoH

前文介紹的擴展傳參都涉及用戶行為數據,大型網際網路企業必須自建自研DoH服務,不可能使用常規雲廠商提供的 DoH on PaaS服務。愛奇藝很早就在核心機房部署了DoH服務,但此次選擇在金山雲邊緣節點上線生產業務,有如下技術考量:

1. DNS over HTTPS肯定比DNS over UDP要慢,就算用到「長連接+單次多查詢+緩存」等優化手段依舊還是慢一些。金山雲是按照優質CDN標準做網絡選點,網絡質量好、覆蓋足,成功將單次連接的延遲壓縮了5-30ms,多次訪問的提升會更明顯,最終為DoH扳回一局,從DNS汙染時的救火服務,變為了在線主打業務。

2.如果只在全國幾個中心機房建設DoH,單點維持上億個並髮長連接是個複雜艱難的工作。DoH是策略查詢和分發的服務,它只載入少量配置信息就能做大量自運算查詢,非常適合水平複製上百份後部署到邊緣節點,將用戶訪問分散化、本地化。DoH非常適合做邊緣化架構改造,再搭配上客戶端容錯機制,從架構上規避了單點大範圍崩潰。

3.愛奇藝接入過程中驗證了KENC容器的管理和計算能力。KENC容器的計算性能按對齊雲主機設計,可以在邊緣節點撐起密集查詢、審核轉碼等業務。邊緣應用需要彈性管理動態擴縮容,KENC提供了兼容K8S的接口讓客戶無縫對接。

4.金山雲認為邊緣容器並不組成大規模複雜群集,而是低延遲大帶寬海量並發。DoH服務並未使用七層負載均衡,而是用三四層直接接入服務,其效率更高速度更快,減少了七層負載均衡這個黑盒故障點,而且避免七層負載均衡解析客戶業務。

5.基於愛奇藝資源管理平臺,實現容器資源的自動註冊,同時結合金山雲提供的豐富Open-API完善容器資源信息,最終實現對物理機、虛擬機、容器等資源的統一部署、透明管理。

目前愛奇藝DoH服務針對自有產品設計使用,未來隨著邊緣雲的興起,愛奇藝完成了DoH 30毫秒服務圈覆蓋全球覆蓋的能力後,屆時會考慮將DoH服務開放。愛奇藝在金山雲KENC部署DoH只是起步,愛奇藝奇速播業務也剛剛完成了邊緣節點部署測試。隨著調度策略放到邊緣節點,愛奇藝也在探索將調度策略的各種伴生應用向邊緣部署遷移。作為國內領先的娛樂視頻平臺,愛奇藝擁有業界領先的視頻傳輸、調度、處理的IT技術能力。其持續關注5G和邊緣計算技術,不斷探索著用新興IT技術去推動體驗改善和業務變革。

5.金山雲KENC願與您攜手同行

為了配合客戶未來業務發展,良好的客戶反饋也給我們更大的信心,KENC會建設更多節點,強化容器網絡。我們還在研發各種新功能,比如具備全局同步緩存資料庫,具有慢速錯峰能力的網絡存儲接口,具備代碼託管能力的ServerLess……

金山雲KENC有一隻精英團隊,我們能和客戶做專業性上的平等溝通,什麼服務放到邊緣上有業務改進價值,邊緣化改造給甲方帶來的成本和風險。我們希望能和各位工程師,共同探索更多有典型意義的邊緣計算技術模式。

相關焦點

  • 沉浸式視頻雲,金山雲怎麼做?
    其次,是向下邊緣化,包括更大的邊緣帶寬;更加下沉、更接近用戶的邊緣以及更強算力的邊緣計算。在邊緣網絡上實現用戶的快速接入和使用,並且保證不同租戶之間在網絡上的安全隔離。在算力上,金山雲提供容器化、虛擬化等各種使用場景,支持快捷和靈活性的邊緣計算部署。
  • 中興走進深圳清華大學研究院輕舟雲 共探5G時代邊緣計算
    近日,中興通訊工程師一行來到深圳清華大學研究院,與下一代網際網路研發中心輕舟雲的專家們一起探討5G時代中邊緣計算技術的發展與應用。作為全球第一家第一個同時擁有5G網絡和5G手機的廠商,中興工程師在交流中表示,與4G相比,5G將作為一種全新的網絡架構,提供10Gbps以上的峰值速率、更佳的移動性能、毫秒級時延和超高密度連接。
  • PPIO姚欣:數據在邊緣大量產生,架構正在走向邊緣計算
    在下午的「助力數字經濟,共譜數據安全——區塊鏈大數據論壇」 上,PPIO 聯合創始人姚欣帶來題為《從大數據到邊緣計算淺談分布式存儲落地》的演講。他表示,今天我們要走向一個去中心化的時代,我們要走向一個分布式的時代,為什麼呢?是因為數據在邊緣大量的產生,我們也需要把我們的計算和存儲放在邊緣,這樣才能適應數據處理越來越高速,越來越低延遲的需求。
  • 中興走進深圳清華大學研究院輕舟雲 共探5G時代邊緣計算發展與應用
    首頁 > 傳媒 > 關鍵詞 > 中興最新資訊 > 正文 中興走進深圳清華大學研究院輕舟雲 共探5G時代邊緣計算發展與應用
  • 騰訊雲六大邊緣可用區同日開服,邊緣計算全矩陣成型
    12月17日,騰訊雲正式對外宣布,位於武漢、杭州、長沙、福州、濟南、石家莊六大省會城市的邊緣可用區(Edge Zone)同日開服。相比10月14日,騰訊雲首個5G邊緣計算中心正式對外開放,此次騰訊雲大規模集中開服活動,在雲計算史上尚屬首次。
  • 中國電信持續發力,邊緣計算5G發展紅利知多少?
    MEC是5G場景落地發展的關鍵推力,中國電信利用網絡和數據中心優勢發展MEC,圍繞商超綜合體、工業網際網路、VR/AR、高清視頻等行業,逐漸沉澱出了眾多5G應用場景案例,促進了5G生態繁榮,助力新型消費蓬勃發展。持續推進5G+MEC探索中國電信多次強調,要強化網絡切片、邊緣計算、網絡AI等關鍵核心技術的自主創新。
  • 如何計算邊緣計算的成本
    但是邊緣計算的成本會累積起來嗎?集中化的趨勢是由規模經濟驅動的,這使得超大規模數據中心的運營成本更低。邊緣計算設施將處理更多的應用程式,但其成本會更昂貴。邊緣計算應用程式最終會為獲得資源付出更多的成本。對於這一階段的邊緣計算成本高昂有一系列猜測。世邦魏理仕公司IT諮詢總監Duncan Clubb認為,邊緣計算設施與傳統雲計算或託管數據中心相比更昂貴。
  • 雷軍的文娛試驗田:投入30億+,捕獲優酷、荔枝、愛奇藝、喜馬拉雅...
    11月18日,金山辦公正式在科創板掛牌上市。「從1988年金山創辦到今天,WPS走了整整31年。從1999年以金山辦公為業務主體準備上市算起,到今天,我們足足等了20年。」金山軟體董事長、小米集團創始人雷軍在上市儀式上如此表示。企查查信息顯示,在上市之前,金山辦公曾於2013年11月完成5000萬美元的戰略投資。
  • 68家電信和網際網路企業存網安違規,科大訊飛、愛奇藝、金山雲等在列
    本次抽查共發現 68 家電信和網際網路企業、域名機構不同程度存在違規情況,網絡安全管理局已明確檢查整改要求並要求限期完成整改,涉及企業包括科大訊飛、愛奇藝、金山雲等。
  • 解鎖萬億級市場,邊緣計算不「邊緣」
    從整個系統框架來看,邊緣計算分為雲、邊緣、現場(端)三層,強調「雲邊端」一體化。行業落地階段(2018-至今)5G的快速發展助力邊緣計算向各行業快速滲透,雲計算公司、CDN公司、電信運營商、設備廠商、研究機構及行業組織活躍,迎來創業和資本熱潮。
  • 聚焦Open Infrastructure丹佛峰會,九州雲分享邊緣計算技術與實踐
    同時,中國聯通攜手英特爾、九州雲創建的邊緣計算白皮書也在峰會進行發布。強強聯合,發布邊緣計算白皮書面對愈來愈多的智慧化創新應用,中國聯通在結合自有機房構建MEC邊緣雲平臺的過程中,亟需一個更高效、更可用的基礎架構解決方案來助力其解決傳統機房基礎條件落後、中心雲與邊緣雲協同能力提升、保持服務一致性以及上層創新應用支持與加速等問題。為此,中國聯通攜手英特爾、九州雲等合作夥伴一起,以StarlingX軟體堆棧為基礎,構建全新的ME-IaaS,並發布該份白皮書。
  • 全球首發1毫秒計費模式,騰訊雲引領Serverless時代新標準
    在第三代通用計算平臺的探索和布局上,騰訊雲已經走在了全球的前列。3月6日,騰訊雲正式向外界展示了其在Serverless領域的最新進展,包括率先在業界推出1毫秒計費模式,並通過進一步打通上下生態鏈,構建三步上雲的極致全雲端開發體驗。
  • 劉江川:工業邊緣計算將網際網路帶向何處?
    過往的研究表明,即使是對英國這種國土面積較小的國家,邊緣計算的分布也只能把延遲降低到200毫秒,要想進一步降低就會比較麻煩,但是對中國這類國土面積較大的國家,邊緣計算的分布其延遲也只能是維持在2、3毫秒。以上這些延遲,和消費網際網路所能達到的情況差不多,這對很多工業場景將有比較大的限制。
  • 邊緣計算:是流行詞還是未來?
    但是,在此,我們依舊可以將其用以理解邊緣計算。在目前的網際網路科技企業的物聯網解決方案中,雲邊端一體化的思路往往是主流。從市場的角度來看,將雲計算與邊緣計算結合理解,更有助於我們去認知。實際上,不管如何看待雲計算與邊緣計算兩者的關係,後者的發展也或多或少可以歸結於前者的推動。
  • 後疫情時代邊緣計算(Edge Computing)的未來
    儘管通常將其定義為少於5毫秒,但在這個超連接的遠程工作世界中,即使5毫秒也太慢了。網絡從未像現在這樣顯得如此緊要。在電話會議和流媒體之間,服務提供商無法承受滯後、解析度下降和緩存變慢的問題。為了解決這個問題,業務應用和數據必須儘可能靠近數據攝取點邊緣,從而減少了總體往返時間,並最終允許應用實時訪問信息。但這說起來容易做起來難。
  • 新華三集團推出自主研發的工業邊緣計算一體機 助力企業實現設備...
    紫光股份旗下新華三集團(以下簡稱「新華三」)作為首批通過「邊緣計算標準件計劃」產品測試的廠家,針對生產製造和產品服務兩大場景,推出邊緣計算網關和邊緣計算雲一體機,採用IT與OT融合架構設計,具備全要素數據採集、邊緣實時分析、多協議轉換、雲邊協同等能力,體現了其作為工業數位化轉型先行者的技術積累和深厚的研發實力。
  • 公有雲+邊緣+專有雲加速融合,騰訊Techo Park無邊界計算分論壇解析...
    公有雲+邊緣+專有雲加速融合,騰訊Techo Park無邊界計算分論壇解析無限算力新浪潮 2020年12月22日 13:05作者:黃頁編輯:黃頁
  • 專訪加拿大工程院院士劉江川:邊緣計算告別「手工作坊」時代
    首先是數據不願意放在雲上,其次是上雲也要上自己的伺服器。他高下立判:2019年將是電力物聯網元年,而這個市場也是大家一起來做。行業普遍認識到邊緣計算是在工業網際網路中需要被介紹、需要被推廣的概念,加之邊緣伺服器的出現,邊緣側的計算爆發是遲早的事,而電力物聯網將是頭號玩家們競相進入的領域。
  • 深圳清華大學研究院輕舟雲 開啟邊緣計算時代全新篇章
    近日,深圳清華大學研究院下一代網際網路研發中心邊緣計算領域最新研究成果——輕舟雲面世。輕舟雲以「讓網絡連接更快、更穩定、更安全」為宗旨,針對實時計算創新地提出了函數分發網絡,簡稱FDN(Function Delivery Network),致力於打造滿足5G與物聯網時代,高帶寬、延遲敏感等新型應用需求的網絡調度系統。
  • 新基建時代邊緣計算成風口,OneEdge邊緣計算亮相2020線上智博會
    今年兩會,「新基建」被寫入政府工作報告,報告指出:「加強新型基礎設施建設,發展新一代信息網絡,拓展5G應用,建設充電樁,推廣新能源汽車,激發新消費需求、助力產業升級」。  隨著產業數位化的加速推進,智慧城市、智能製造等新興行業帶來的海量計算數據使得傳統的雲計算架構已無法滿足。基於此,在網絡邊緣部署節點,就近提供計算、存儲和網絡資源的邊緣計算,成為針對這一問題最有效解決方案。