12月20日,騰訊2020 Techo Park開發者大會在北京舉行,在主題為「雲上視界,對話未來」的視頻通信雲分論壇上,騰訊雲視頻業務產品總監黃斌攜手多位技術專家共同展示了騰訊在音視頻及通信雲領域的最新產品及技術進展,成為該論壇一大亮點。
隨著音視頻在線上會議、教學、商業、娛樂等場景的廣泛應用,藉助5G、雲計算、大數據、人工智慧技術,騰訊雲構建了一個完整的音視頻通信產品體系,覆蓋媒體內容生產和音視頻通信的各個環節。
首先,騰訊雲發布了自研編碼器「瑤池V500」和音頻技術方案「騰訊天籟」,為提升音視頻通信質量輸出能力;其次,針對融合通信,騰訊雲發布了TRTC在金融及IOT領域的方案,超低延遲「快直播」產品結束公測,正式規模商用;另外,在內容生產方面,騰訊雲進一步升級多模態內容製作能力,發布AI媒體內容生產平臺智媒,「騰訊雲製作」方案在業務能力、素材模版資源及渠道發布能力方面全面升級;最後,「騰訊臨境」沉浸式媒體解決方案及對應SaaS平臺也在會上正式發布,提供從硬體採集、空間建模、雲端SaaS編輯器到終端展示互動的完整一站式能力。除此之外,視頻雲還發布了視頻雲海外2.0版本,提升全球服務能力。
首款自研硬體編碼器瑤池V500亮相,助力雲遊戲、超清直播等
隨著5G時代的到來,雲遊戲、4K/8K高清直播等超高清流媒體應用越發增長迅猛,視頻編碼是決定體驗和成本的關鍵技術。不過,目前市面上的編碼器,通常會為了滿足實時編碼要求,而對編碼工具和算法做大量裁剪和簡化,最終導致壓縮效率低下。
為解決這個痛點,騰訊雲首款自研H265硬體編碼器瑤池V500把實時編碼器的壓縮效率提高到了一個新的水平。
騰訊雲架構平臺部視頻研發負責人李雅卿介紹道,在算法上,瑤池V500完整實現了高精度運動搜索、全率失真優化、高效自適應量化等所有主流編碼工具,並融合了騰訊雲軟體編碼器碼率控制等方面的領先技術,壓縮效率優越;在硬體設計上,通過靈活的多核擴展架構、高性能編碼流水線、層級化Memory布局等技術,很好滿足了高吞吐、低時延和實時的要求。
項目實測,瑤池V500不僅能夠滿足手遊雲遊戲體驗要求,且在相同畫質下相比市面主流方案降低了15%帶寬,如果是在相同帶寬條件下,對畫質的提升效果明顯。
(騰訊雲瑤池V500與市面主流方案在手遊雲遊戲中的畫質對比)
除了雲遊戲之外,騰訊雲瑤池V500硬體編碼器也適用於高清直播場景。直播場景與雲遊戲場景不同,直播對延時要求不敏感,因此算法優化空間更大。經實測,瑤池V500在直播場景下壓縮效率的優勢能提升30%,相同帶寬下面畫質提升更加明顯。
「騰訊天籟」讓你「聽得見、聽得清、聽得真」
解決了視頻的畫面問題,緊接著是聲音。騰訊天籟實驗室專家研究員肖瑋介紹,「騰訊天籟」是騰訊面向實時音視頻會議的新一代實時音頻技術產品,為了解決實時音視頻會議場景下的各種挑戰,騰訊天籟以『聽得見、聽得清、聽得真』為目標,打造了一整套圍繞音頻通信核心體驗的技術體系。
從生活場景體驗來看,實時音視頻會議面臨諸多挑戰,如接入設備的差異性、接入場景的複雜化、通話環境的多樣化、多人同場地通話、噪聲消除,以及網絡環境的穩定性等等。
對此,「騰訊天籟」依靠信號處理和深度學習提升聲音質量採集上界,同時強化了弱網下的質量保障;相關技術已經在包括騰訊會議的諸多產品中獲得應用。例如在聲音採集方面,騰訊會議的AI降噪,能夠適應多種噪聲環境下語音增強任務,提供高質量通話效果;騰訊會議採納自研的cPLC、cFEC技術,能夠在連續120ms突發丟包或者大丟包等場景保持通話連續性。此外,藉助本次Techo Park開發者大會,騰訊天籟實驗室,也對外發布了《音頻聯合信源信道編碼技術白皮書》。
智媒時代來臨,騰訊雲AI技術讓內容生產更智能
騰訊多媒體實驗室總監李松南介紹了AI媒體內容生產平臺「智媒」。「智媒」具備自動作詞、視頻增強、橫屏轉豎屏、視頻剪輯、視頻配樂、智能封面等能力,部分功能已開始服務於騰訊雲上的明星產品,如騰訊明眸和騰訊智眸。
以視頻剪輯為例,利用AI結合多模態,可實現體育、遊戲、影視等場景的精彩視頻生成。「例如足球視頻,我們可以把一場足球比賽按照不同的事件進行拆分,還可以把射門、慢動作、進球等事件拼接起來,自動生成一段針對一場足球比賽的精彩集錦。」李松南介紹道。
此外,AI技術可以識別圖片或視頻中的人物、動作等信息,自動生成文字描述,當前可完成通用、電商、遊戲領域的自動描述,各種領域均可定製。同時還支持自定義語言風格,使其符合標題、摘要、彈幕、解說等各種場景的表達習慣。
騰訊實時音視頻TRTC和快直播LEB迭代升級
騰訊實時音視頻產品TRTC為開發者提供可快速搭建的低成本、低延時、高品質的互動解決方案,助力企業將線下活動、會議無縫遷移到線上。
據騰訊雲終端產品中心高級工程師蔣磊介紹,騰訊實時音視頻通信TRTC針對多人互動深度優化,全球端到端延時低於300ms,實測抗丟包率超過 40%,抗網絡抖動超過 1000ms,超低延遲大房間支持10萬人在線。
此外,TRTC還採用了騰訊自研的領先行業的實時音頻引擎TRAE,具備優秀的3A處理效果,出眾的音效處理能力,突出的性能優勢,為包括 QQ、微信、全民K歌、QQ音樂等在內的各類 APP提供音頻底層技術。
隨後,蔣磊還展示了「快直播方案LEB」。據了解,國內傳統直播主要採用RTMP、HTTP-FLV、HLS這幾種傳輸協議,一般會出現3~20秒的延時,特殊的場景比如活動賽事直播這種不強調互動性而是要求流暢性的直播延時通常在10秒以上。
騰訊雲快直播兼容標準WebRTC並對WebRTC協議進行了多項優化升級,將直播延遲降低至百毫秒級,同時兼顧秒開、卡頓率等核心指標,優化直播體驗。不僅如此,快直播兼容目前騰訊雲標準直播的全部功能,推流、轉碼、錄製、截圖、鑑黃、播放全功能支持,能夠滿足現有標準直播業務平滑遷移。只需一步即可從標準直播升級到快直播(超低延遲直播),騰訊雲快直播現已結束公測期,全面正式商用。
騰訊視頻雲海外媒體方案2.0發布,雲+端一體化、超低延遲、Mediaservice全面上線
面對日益增加的海外媒體服務需求,騰訊視頻雲海外媒體方案2.0發布。
騰訊視頻海外媒體方案2.0主打三大新方向升級:完善「雲+端」一體化方案、超低延遲直播全球部署、媒體服務系列新產品Mediaservice全面上線。
目前雲+終端一體化解決方案全面上架國際站,極具騰訊雲特色的移動直播SDK、短視頻SDK、美顏特效SDK全面上線國際站,為海外用戶提供「雲+端」全鏈路一體化解決方案。而超低延遲直播(快直播)也已正式在海外上線部署,將為海外客戶提供百毫秒級的直播新體驗。
媒體服務系列三大新產品(MediaLive MediaPackage MediaConnect)正式在海外上線,能為客戶提供極致的轉碼、封裝、全球傳輸新能力,提供海外OTT場景下的全新解決方案。媒體服務系列新產品覆蓋了多種海外常見傳輸或音視頻協議,支持7x24小時極致穩定性能,極速高清智能轉碼更是最多可達到30%視頻壓縮率。
此外,騰訊雲在全球部署了超過2000個CDN的節點和超過120T的儲備帶寬,支持RTP/SRT/HLS/DASH等8種海外常見傳輸或音視頻協議支持能力,目前騰訊視頻雲已經部署全球60多個國家和地區。
騰訊雲製作能力全面升級,助力內容創作
騰訊雲製作也進行了全面升級,這是騰訊雲面向內容製作領域,推出的製作雲SaaS產品,為視頻內容創作提供了一套「採集-傳輸-雲端導播-視頻編輯-剪輯-雲端分發」全生命周期解決方案。
此次發布的騰訊雲製作產品,提供騰訊獨家版權素材庫、創意模板庫和AI工具箱,除了升級視頻剪輯業務功能外,還支持一鍵分發至企鵝號,新浪微博,快手等媒體平臺。
與此同時,騰訊雲製作還升級了業務模式,除了0研發投入、0代碼接入,2天的急速交付模式讓客戶低成本且快速擁有自己的整套視頻創意網站,上線團隊管理模塊與行業模板還可提高管理效果和客戶使用效果。
騰訊臨境打造沉浸式空間體驗
騰訊臨境為視頻雲團隊針對企業級營銷提供的全新一站式沉浸式解決方案,依託多硬體採集支持、空間建模能力、實時通訊/客戶呼叫中心等營銷能力集成,覆蓋客戶需要的多樣場景,支持多平臺終端打造沉浸式新體驗。能夠助力企業快速實現VR沉浸式營銷方式,帶給用戶全真網際網路新體驗。
此外本次臨境還新發布了臨境SaaS平臺產品,平臺能夠為採集完成後的模型輕鬆疊加營銷觸達能力,具有操作簡單、營銷功能全面、模型管理、多平臺分發四大特點,讓用戶的沉浸式營銷變得更加簡單易用。
例如,國際文博會騰訊VR展廳,打破了時空的限制;「雲上濱海」VR展廳使更多人可以參觀到騰訊濱海大廈展廳,通過實時VR帶看講解功能,用戶可以了解騰訊的文化產業內容和理念。線上參觀的方式降低了物質成本,打破了實體展廳人數限制的弊端,可容納參觀人數無上限,「一對多」的互動講解方式也提升了接待效率。
隨著5G、邊緣計算等新興技術的發展,音視頻技術正改寫電商、教育等行業的發展模式。騰訊雲將持續迭代音視頻及通信技術,交付高質量、高穩定性及高性價比的技術服務回饋客戶與合作夥伴的信任,助力各行業創新發展與變革。