如何構建低延時的直播體驗,讓互動更實時?

2020-12-26 阿里云云棲號

QuestMobile《2020中國移動直播行業「戰疫」專題報告》數據顯示, 疫情期間,看直播成為休閒娛樂、獲取資訊、上課學習的主要方式,一些高度依賴線下場景的行業也紛紛通過直播進行自救,線上轉型直播賣貨,政府部門也通過直播形式進行招商、推廣農產品等。電商平臺在疫情期間加大對直播的支持力度,為滯銷農產品直播、雲賣車、雲賣房、實體店直播賣貨提供平臺和支持。

直播破圈加速進行,除了各類網絡紅人外,國家博物館、知名酒吧、景點等線下主體為網民提供線上逛博物館、雲蹦迪、雲旅遊服務,吸引了大批年輕用戶參與。直播不再是線上娛樂內容的生產工具,而是與商業業務場景結合越來越緊密,逐漸演變為基礎的業務工具。

直播的及時性和互動性讓他成為信息觸達、互動溝通的新媒介,但直播的實時互動效果夠好了嗎?傳統的直播技術延遲非常大,從觀眾評論到看到主播給出反饋一般要在5-10秒以上。我們來看下幾個典型的尷尬場景:

在線教育,學生提問,老師都講到下一個知識點了,再返回來回答。電商直播,詢問寶貝信息,主播「視而不理」。打賞後遲遲聽不到主播的口播感謝。在別人的吶喊聲知道球進了,你看的還是直播嗎?高延時影響了直播互動體驗,阻礙了直播在一些場景的落地,特別在電商直播,直播間的評論提問是觀眾和主播互動的一個重要手段,主播的實時互動反饋對直播間的活躍度和交易達成至關重要。

使用常規的直播方案(rtmp推流,FLV/RTMP/HLS播放),延遲大概在5-10秒左右,這些延遲主要來自以下幾個方面:

推流側buffer, 這部分來自於畫面從傳感器模數轉換到音視頻編碼以及輸出畫面到網絡的buffer。最主要的還是來自於編碼的延遲,這與推流軟體的編碼參數設置有關,如是否有B幀,幀參考關係設置,壓縮性能等。以OBS為例,當輸出設置如下圖時,延遲達到最低(1s以內):

不過,上圖的配置,在MAC和windows 平臺上的效果也不一樣,mac 平臺的延遲在幾百ms,而windows 可以做到50ms (實際案例數據)。推流網絡方面,主播的推流網絡一般都比較穩定,有的會拉專線,質量比較可靠。

CDN鏈路延遲, 這分為兩部分,一部分是網絡傳輸延遲。CDN內部有四段網絡傳輸,假設每段網絡傳輸帶來的延遲是20ms,那這四段延遲便是100ms;此外,使用RTMP幀為傳輸單位,意味著每個節點都要收滿一幀之後才能啟動向下遊轉發的流程;CDN為了提升並發性能,會有一定的優化發包策略,會增加部分延遲。在網絡抖動的場景下,延遲就更加無法控制了,可靠傳輸協議下,一旦有網絡抖動,後續的發送流程都將阻塞,需要等待前序包的重傳。播放端buffer,這個是延遲的主要來源。公網環境千差萬別,推流、CDN傳輸、播放接收這幾個環節任何一個環節發生網絡抖動,都會影響到播放端。為了對抗前邊鏈路的抖動,播放器的常規策略是保留6s 左右的媒體buffer。阿里雲低延時直播(Real-time Streaming)

傳統的直播技術,已經不能滿足對互動要求更高的直播要求,為此,2019年阿里雲與淘寶直播共同推出超低延時直播服務RTS(Real-time Streaming),該方案基於WebRTC實現,採用UDP傳輸協議打造,實現可以承載大規模並發,端到端延時1秒內的低延時直播體驗。由於RTS服務部署於阿里雲CDN節點,復用CDN的節點和網絡資源,在接入成本、節點覆蓋、承載能力上實現了平衡。經過一年多的不斷磨練,整體體驗和服務業更為完善和成熟。

阿里雲低延時直播的技術架構:

從傳輸的細節來看,如下圖所示:

上圖與現在直播系統的架構圖並無大的區別,改變的地方在於客戶端到CDN節點進行播放的鏈路,由RTMP協議切換為RTP協議,TCP協議換成UDP協議。RTS服務進行了服務與節點雙重升級,同時針對全鏈路直播指標進行監控和針對性優化,以及通過智能調度系統以及網絡擁塞、抗弱網優化、緩衝策略等進行一系列底層核心技術優化,實現RTPoverUDP更好地對抗公網的丟包,使得播放器上收到的流質量相對RTMPoverTCP更加穩定,這樣一來,播放器就可以降低buffer,不用像以前那樣設置6s的buffer來對抗抖動,現在只需要設置1秒左右就OK了,整體延時可以控制在1-1.5S左右。

如何接入RTS服務:

RTS目前提供兩種接入服務:

1、基於WebRTC開放協議升級網絡模塊

對於自研播放器或者使用開源播放器的用戶,阿里雲提供與標準WebRTC協議對接方案,在現有的直播業務新增一個RTS播流域名,一個推流兩種方式拉流。推流側不用改造,僅升級播放器網絡模塊,拉取超低延時流播放,這樣讓底層網絡對接更透明開放,客戶端自主可控。

上圖是普通播放器的架構。播放器使用FFmpeg打開網絡連接,讀取音視頻幀後會放入播放器緩衝,之後會依次對它進行解碼、音視頻同步及渲染。

接入低延遲直播系統後,整體架構如圖下面部分:FFmpeg 增加低延遲直播插件支持私有協議;將播放器的緩衝設置為1秒,FFmpeg 輸出的音視頻幀直接送入解碼器進行解碼,然後同步,渲染。

另外,RTS網絡SDK為播放器接入阿里雲低成本多協議低延時網絡傳輸基礎設施提接口。該SDK具有非常友好的API,非常穩定的設計,在音視頻同步,秒開,流暢度等指標也做了很多優化。API設計上提供了ffmpeg demux插件,可以像調用其他ffmpeg demux插件一樣被集成進應用程式,另外也提供非ffmpeg接口。

2. 集成阿里雲RTS播放器

使用第二種方法,可以更加快速地實現RTS服務,即在現有的直播業務新增一個RTS播流域名,然後集成

阿里雲播放SDK

,用戶端通過不同URL參數播放器自動識別,即可實現低延時直播服務。阿里雲播放器是一個通用的播放器sdk,除了支持點播和直播的播放功能外,深度融合視頻雲業務,如支持視頻的加密播放、安全下載、清晰度切換、短視頻等業務場景,為用戶提供簡單、快速、安全、穩定的視頻播放服務。

結束語經驗證,阿里雲RTS直播核心指標表現優異:相同卡頓率下,RTS直播延時降低75%,並且在相同網絡延時和丟包率指標下,RTS直播播放成功率、卡頓率、秒開率等指標表現均有所提升,大幅優化直播體驗。RTS已經在淘寶直播中大規模應用,降低了淘寶直播的延遲,提升了用戶的互動體驗,經過線上驗證發現,低延遲直播對電商直播的成交有明顯的促進作用,其中 UV 轉化率提升4%,GMV 提升5%。目前在一些教育行業、電商遊戲直播等領域,已經有眾多知名客戶接入RTS服務並上線。

相關焦點

  • 聲網發布重磅產品:「極速直播」首創低延時強互動,「低碼高清...
    艾瑞諮詢數據顯示,預計至2020年度,中國在線直播用戶將達5.26億,中國直播電商市場規模將達9610億元,同時2020年前三季度新增近2.5萬家與直播相關的企業,較去年同步增長565.32%。這也對直播行業提出了更大的挑戰,低延時、強同步、低帶寬等功能需求,已成為直播平臺提升用戶體驗、優化成本的關鍵技術因素。
  • 低延時、強同步、低帶寬成直播業關鍵 聲網發布新產品填補空白
    經濟日報-中國經濟網北京12月11日訊 直播成為當下主流的社交與媒介方式,隨著直播+場景的爆發,低延時、強同步、低帶寬等已成為直播平臺提升用戶體驗、優化成本的關鍵技術因素。聲網Agora教育行業、極速直播產品負責人仇媛媛表示,根據實時互動的強弱程度以及對延時的不同要求,聲網將互動體驗分為四個級別:強互動、中互動、輕互動、弱互動。強互動延時小於400ms,中互動延時在400-800ms之間,輕互動延時在800ms-3s之間,弱互動延時在3s以上。
  • 直播中那幾秒延時到底來自哪?
    7月16日,亞太內容分發大會上,阿里雲高級產品運營專家俞翔受邀出席,並分享了基於CDN網絡構建超低延時直播的場景實踐。以下為演講原文。近幾年,直播帶貨已經逐漸走進大眾視野。在今年上半年受疫情原因影響,直播營銷市場被加速催熟,這倒逼著企業探索線上業務。傳統高度依賴線下場景的行業也紛紛通過直播進行自救。
  • 好未來超低延時直播技術讓在線課堂更流暢
    因為協議本身的延時、丟包是無法克服的。  那麼,如何才能提升直播課的互動體驗?有沒有辦法在甚至已經有50%丟包的情況下仍保持清晰流暢的直播效果?  在對比體驗了多家主流直播課平臺後,可以發現好未來直播雲延時較低、音視頻流暢清晰。
  • 聲網發布極速直播、低碼高清,首創輕互動直播,節省50%帶寬成本
    隨著直播+場景的爆發,低延時、強同步、低帶寬等已成為直播平臺提升用戶體驗、優化成本的關鍵技術因素。聲網Agora教育行業、極速直播產品負責人仇媛媛表示,根據實時互動的強弱程度以及對延時的不同要求,聲網將互動體驗分為四個級別:強互動、中互動、輕互動、弱互動。
  • 聲網發布極速直播、低碼高清 首創輕互動直播,節省50%帶寬成本
    隨著直播+場景的爆發,低延時、強同步、低帶寬等已成為直播平臺提升用戶體驗、優化成本的關鍵技術因素。聲網Agora教育行業、極速直播產品負責人仇媛媛表示,根據實時互動的強弱程度以及對延時的不同要求,聲網將互動體驗分為四個級別:強互動、中互動、輕互動、弱互動。
  • 如何精確統計平臺直播延時?
    導語 | 延時是網絡直播服務中不可忽視的一環,延時統計方案的實施使我們有了衡量大盤數據的標準,為後續的延時優化及衡量收益奠定基礎,但是目前業界常用的方案對於大型平臺整體延時的統計尚顯不足。本文將從該情景出發,和大家一同探討直播延時統計層面上的技術方案。文章作者:井帥軍,騰訊前端研發工程師。
  • 聲網Agora發布實時互動雲行業首個體驗質量標準XLA
    聲網Agora宣布推出RTE(實時互動雲)行業首個體驗質量標準—XLA(Experience Level Agreement),並表示聲網希望通過XLA質量標準的發布有效解決RTE行業的實時互動體驗質量無章可循、不可衡量、無保障的痛點,進一步推動RTE行業建立標準化、透明化的體驗質量標準
  • 微贊直播率先支持SRT推流,低延時、高並發、更流暢!
    為給用戶帶來更好的觀看體驗,微贊投入了大量的研發成本,從底層推流協議出發,接入新一代延遲更低、網絡更穩定、抗丟包能力更強的SRT推流協議,成為行業率先支持SRT推流的直播平臺!目前,微贊已上線SRT推流。
  • 基於Open WebRTC Toolkit(OWT)的8K全景視頻低延時直播系統
    本文來自Open WebRTC Toolkit (OWT)音視頻架構師戴建輝在LiveVideoStackCon2019深圳大會的演講,詳細介紹了如何基於Open WebRTC Toolkit (OWT)方案,結合SVT-HEVC tile-based編碼等技術實現低延時的8K全景直播系統。
  • 騰訊雲技術專場:低延時直播系統架構設計與弱網優化實踐|報名
    直播電商也已經是各個行業必須要抓住的風口,董明珠從拒絕做直播電商到直播單場帶貨量高達7億,現在準備成立自己的董明珠直播間,把直播電商常態化。無論是在線教育場景還是直播電商場景,這背後離不開音視頻技術的支持。
  • 關於直播延時,看看科大未來團隊是怎麼做的?
    直播延時是直播APP最大的痛點,不管是教育直播、娛樂直播還是遊戲直播,很多客戶第一次做直播系統,就會疑惑,如何能降低直播延時,甚至達到0延時,那麼我們這裡會慢慢給大家解答你們心中的疑惑。直播為什麼會延時直播為什麼會延時,其實是因為網宿、快網、七牛、高升、藍汛、觀止雲、騰訊雲、百度雲、阿里雲等市場上主流的直播商家都是使用的CDN技術,而延時其實也是CDN直播技術的難點之一。
  • GET2020丨保利威無延遲直播引領互動大班課升級!
    直播作為強交互、信息密度高的傳播媒介,實時互動必然是大勢所趨。  但是,傳統大班課直播作為在線教育的典型場景,很難避免直播延時,在學習效果上仍有爭議:  1.受限於成本,大多數大班課都是老師單向講解,缺乏有效互動;  2.師生互動延遲較高,有時上課體驗可能不如錄播課,導致學生完課率較低。  這樣一來,大班課引流體驗不佳,很容易影響到最終的銷售轉化率和續班率。  大班課直播中,互動實時性是機構更關心的問題。
  • 太空狼人殺火爆的背後 實時遊戲語音有哪些技術難點?
    1、SD-RTN™打造超低延時、高質量、大規模鐵三角最佳平衡   SD-RTN™是聲網專為實時互動而創建的軟體定義實時網,綜合考量了不同地域特點、跨國跨洲鏈路質量、不同網絡類型、不同終端類型、不同業務場景的特徵,分別適配不同的傳輸控制策略,打造一張真正高可用、高可靠、高質量、超低延時的全球實時網絡,即使在面對超大規模實時互動場景時,也能保證甚至優化音視頻質量和延時。
  • 如何降低企業直播直播雲延時的手段有哪些?
    一般來說,直播中延遲要低於800毫秒,才能夠滿足連麥互動的要求,做一些比較高頻的互動。如果延遲高於800毫秒,連麥的效果就很難被觀眾接受了。保利威直播雲從上面這張圖譜,我們可以看到,要達到毫秒級別(1秒內)的延遲,才能夠滿足連麥的要求。為了追求更好的用戶體驗,那麼我們就要不斷優化延時,達到最優。
  • 雲賞櫻、雲蹦迪……萬物皆可「雲」背後的RTC實時音視頻技術
    2019年下半年,UCloud優刻得推出了一站式實時音視頻方案 URTC,包含實時語音保真通話、實時音視頻會議和互動視頻直播等核心功能,提供可靠穩定的實時音視頻技術,保障不卡頓、低延時、交互好的直播互動體驗,覆蓋在線課堂、狼人殺、遊戲解說、愛豆直播、直播賣貨、遠程問診、金融視頻面籤、遠程教育、視頻會議、雲K歌等近百種場景。
  • 聲網Agora發布2020年總結 月均實時音視頻用量超 400 億分鐘
    XLA 相當於是把原本黑盒狀態的體驗質量明晰化了,一經推出就得到眾多開發者及客戶的認可,截至 10 月 24 日,已有 60 家企業加入 XLA 計劃,將共同推動實時互動全行業體驗質量的有效提升,推動實時互動行業逐漸走向成熟。  首創輕互動直播產品「極速直播」  聲網極速直播開創了低延時、強同步的"輕互動"直播場景,並支持連麥。
  • 董明珠直播首秀翻車,如何才能避免直播卡卡卡卡頓嚴重?
    以聲網Agora為例,其獨家的軟體定義實時網SD-RTN™ ,不僅在互動的超低延時上已經做到了業內領先水平,同時,針對用戶不同的網絡環境,擁有網絡估計、弱網對抗、擁塞控制算法、碼率和幀率智能調節等多種技術手段和策略,保證70%丟包情況下,音視頻通話流暢;80%丟包情況下,音頻通話流暢,即使在偏遠地區和跨國互動等弱網環境下依然可以穩定流暢不卡頓。
  • 聲網發布極速直播、低碼高清兩大新品 可節省50%帶寬成本
    聲網Agora教育行業、極速直播產品負責人仇媛媛表示,根據實時互動的強弱程度以及對延時的不同要求,聲網將互動體驗分為四個級別:強互動、中互動、輕互動、弱互動。 強互動:延時小於400ms,屬於全實時互動,對(可感知)延時的容忍度為零,如全程需要通過音視頻進行實時互動、連麥或會議的場景。
  • 貴州雲計算企業白山雲科技助力巨人網絡,打造極致遊戲體驗
    任性變大變胖變強,在《球球大作戰》的實時對戰中,"小確幸"在橫行霸道中生長。……玩法不斷翻新,新品快速迭代,遊戲行業強手如雲,對戰正酣。面對用戶增長紅利的逐漸消退,任何一家企業要想在"注意力競爭"中搶佔C位,都必須加速向"精品時代"進發。設計研發要出新出奇,遊戲體驗要流暢穩定。