騰訊開源首款H.266播放器!專訪背後「天團」騰訊多媒體實驗室

2020-12-25 騰訊網

智東西(公眾號:zhidxcom)

作者 |李水青

編輯 |漠影

「如果你被人家氣勢一震,忘了自己優勢在哪兒,就不行!」

「甭管你平常怎麼謙虛謹慎,但是在國際標準會議現場,不能忘了自己的技術優勢!不要害怕別人是權威,要勇於挑戰,把自己的技術優勢表達出來,人家不好的地方也敢於指出來,這樣才可以!」

李翔在講述標準會議的經歷時,聲音鏗鏘篤定,讓我感覺騰訊會議對面的仿佛是一位國際重案組老辣的刑警隊長,而不是頭像照片中的儒雅知識分子。

智東西12月7日報導,近日,騰訊多媒體實驗室宣布開源國內首個H.266/VVC(Versatile Video Coding)視頻解碼播放器 。這距離最新H.266/VVC視頻編解碼標準出爐剛剛過去了三個多月,這一標準使得視頻在相同質量下,只需要一半的帶寬,有望為視頻行業帶來跨時代的變革。

2020年7月,H.266/VVC視頻編解碼標準宣布編輯完成,以騰訊為代表的中國企業成為這一標準制定的重要力量 。以騰訊為例,其提出的100多個提案獲得採納。

近日,我們有幸與騰訊多媒體實驗室的行業標準專家李翔、視頻編解碼研發負責人朱斌進行了一場越洋遠程會議,聊了聊VVC播放器和標準制定背後的那些事。

一、30年從追趕到引領,騰訊深度參與H.266/VVC標準制定

回顧每一代視頻編碼技術的變革,都曾深刻影響人們的生活和生產發展。

20世紀90年代,MPEG-1、MPEG-2標準的橫空出世,帶來了全民家庭影音的第一波浪潮。進入21世紀之後,H.264標準的普及,不僅推動各類移動網際網路視頻應用爆發增長,也從底層技術帶動智慧安防、視頻會議等行業向普惠化、高畫質化、智能化方向發展。

▲20世紀90年代的VCD設備

但是在很長一段時間裡,國內視頻編解碼技術並沒有實現自主。

在20世紀90年代我們看到中國VCD、DVD廠商遍地開花,然而廠商沒有MPEG-1、MPEG-2(H.262)標準的必要專利,只能承擔代工的角色。廠商需要付出高額的專利費,被國外卡脖子。

幾十年後的今天,情況發生了變化。在本次H.266/VVC標準制定中,有很多技術提案來自中國企業。而H.266/VVC標準,有望在4K、8K、VR等應用快速發展的時代,掀起新的浪潮。

H.266/VVC將給視頻行業帶來什麼樣的改變?

李翔用一組數據讓我們有了直觀認識:「根據Cisco報告,2020年視頻將佔網際網路流量79%。每個月視頻流量將近130EB,也就是130乘以十的九次方個GB,量是非常巨大的。如果我們能把帶寬降低一半,將是一個天文數字。」

騰訊多媒體實驗室是中國企業在國際視頻標準中把握話語權的一大代表。據悉,在H.266/VVC標準制定中,騰訊多媒體實驗室累計技術提案超過300篇,超過100篇專家小組報告、核心實驗報告、專題討論組報告以及標準會議輸出決議文稿,100多個提案獲得採納。

這一成果在所有標準制定廠商中名列前茅。

二、打入國際視頻標準制定,這個「神仙天團」了不得

騰訊多媒體實驗室,前身是QQ於2011年成立的音視頻中心,是騰訊CSIG(雲與智慧產業事業群)下屬的音視頻通信和處理研發團隊,專注於多媒體技術領域的前沿技術探索、研發、應用和落地。其在2017年建立的標準團隊,大部分成員辦公地位於美國。

▲騰訊多媒體實驗室標準制定團隊部分成員,從左至右依次為趙亮、許曉中、李翔、劉杉、夜靜、趙欣。

簡單來說,標準團隊研究的是國際國內多媒體標準制定,包括媒體壓縮,媒體系統、傳輸與5G,媒體AI以及行業論壇等。

儘管長期低調,但騰訊多媒體實驗室的陣容卻相當豪華。從團隊的幾位代表人物,我們就能看到這個團隊的「神仙陣容」:

實驗室聯合負責人劉杉博士,是已定稿國際標準H.265/HEVC V4 和H.266/VVC V1的聯合主編;視頻標準負責人李翔博士,是H.266/VVC參考軟體聯席主編。

▲右邊第一位為騰訊傑出科學家、多媒體實驗室聯合負責人劉杉

這些在國際視頻編解碼標準委員會中的任職是什麼概念?

簡單來說,視頻編解碼標準最終發布的是標準文本,因此標準文本主編在標準委員會中十分重要。目前H.266/VVC標準的主編共有四位,除劉杉博士外,另外三位分別來自德國HHI研究所,美國高通公司和字節跳動。再看參考軟體,要知道,標準制定中的所有實驗、評價都需要在參考軟體上進行,因此這也是個非常有影響力的職位。李翔博士是三位聯合主席之一,另外兩位分別來自美國夏普實驗室和德國HHI研究所。

也就是說,以騰訊為代表的中國企業在其中佔據了重要職位,話語權相當強。

李翔說:「此外還有專門的專題專家小組、核心實驗等,我們實驗室有幾十人次擔任相當重要的職位,負責維護相關工作的,話語權還是相當大的。」

可以看到,在100多項H.266/VVC視頻標準提案被採納的同時,騰訊在國際視頻編解碼標準制定中已經把握了十分穩固的話語權和影響力。

三、100項提案獲H.266採納,背後是鮮為人知的汗水

成績不是水到渠成就拿到了,是汗水換來的。

李翔和朱斌接受採訪的時候是美國凌晨12點,儘管夜深,兩位專家還是耐心地為我們講述了其中的一些過往。

標準制定中蘊含著巨大的商業利益。每三個月一次、每次持續10~12天的標準會議是包括騰訊、德國HHI、美國高通等幾十個團隊各方激烈博弈的一大「舞臺」。會議期間,各方專家會就多至1000多的篇技術提案逐一進行深入探討辯論。每天的會議強度很大,通常在十幾個小時,有時甚至會24小時連著開。

▲國際標準會議現場

李翔說:「一千篇文章在這十幾天裡全部討論,討論也不是說念一遍就過去,涉及到標準必要專利的歸屬,各個公司都有相當大的利益,所以很多東西要反覆討論很長時間。」

但在技術討論過程中,並不是只看誰的技術積累深,還有一方面是反應快。

「如果你被人家氣勢一震,忘了自己優勢在哪兒,那就失敗了!不管平常怎麼謙虛謹慎,但是在國際標準會議現場,不能忘了自己的技術優勢!不要畏懼別人是權威,要勇於挑戰,把自己的技術優勢表達出來,人家不好的地方也敢於指出來,這樣才可以!」

李翔的聲音鏗鏘篤定,讓我感覺網絡對面的仿佛是一位國際重案組老辣的刑警隊長,而不是頭像照片中的儒雅知識分子。

▲左起第二位為騰訊多媒體實驗室視頻標準負責人李翔

值得一提的是,和參與標準制定的國際企業相比,人力是騰訊的一個劣勢。比如,在視頻編解碼標準領域久負盛名的德國老牌研究所HHI的VVC研發的團隊成員在30人左右,美國高通公司的團隊也在20人以上。而李翔的團隊卻常年保持在六七人,需要以少敵多。

「像美國高通、德國HHI這些團隊一次去十幾個人,有的人專門分析別人的弱點、有的人專門強調自己的優點,這在我們都要一個人甚至不到一個人去完成。」

會不會有勢單力薄的感覺?

李翔答道:「我們人少有時候就容易被圍攻,一個會場我們一個人對人家好多人,雖然勢單力薄但我們氣勢上不輸!

那麼為期十幾天的標準會議結束後,是不是可以休息了?

並不是。「開完會你有提案被採納,那你還要去做軟體的集成,放在參考模型裡頭。有時候說這是幸福的煩惱,採納了是很高興,但是採納以後還要進一步花時間把這個事情做好。」

在哪一瞬間會感受到得到了同行尊重、肯定和權威的認可?

李翔坦言,尊重和認可是在點點滴滴裡建立的,看你怎麼理解。

李翔列舉了一個細節:以Tencent這個名字為例,一開始大家會開玩笑說「more than ten cents」,當然一方面是善意的交際,但另一方面也說明當時確實沒什麼人知道騰訊這個公司。同時,中國人的名字比較難念,大家不會去記中國人的名字,卻會去念同樣難念的日本人的名字。

「現在這個圈子裡頭我想沒有誰不知道騰訊。」「而且很多中國同事的名字被很多公司的專家記住。原來為什麼記不住你的名字呢,原來沒有話語權,做的也不行,根本不會對你有什麼關注,現在不一樣了。」李翔的語氣輕鬆,但背後的艱辛可想而知。

2018年4月,在美國聖地牙哥舉行的MPEG122會議上,騰訊多媒體實驗室提交了10個高質量的標準提案,並在CfP質量評測中超過很多國際知名公司和研究機構,一戰成名。

四、主攻屏幕內容編碼技術,《王者榮耀》成「考題」

2020年7月,截至H.266/VVC定稿,騰訊多媒體實驗室有100多項技術提案被採納。這些提案覆蓋多個關鍵領域。

比如十分重要的屏幕內容編碼技術,騰訊是屏幕內容編碼技術的主要貢獻者。簡單來說,相比於傳統方法出現的邊緣尖銳、字帶毛邊等問題,屏幕內容編碼技術則可以取得較好的主觀效果,且壓縮比高。

除了屏幕內容編碼技術,騰訊的提案貢獻還涉及一些比較基礎的方向,包括變換、可伸縮的編碼等。以變換為例,在H.265/HEVC中主流是用DCT-2,而在VVC裡,不同場景會用到不同的變換,效果會更好。

但是新的變換包括DST-7之前並沒有很好的算法,DST-7在H.265的時候不是影響很大,是因為它只有4×4大小,現在有32×32大小的,這個矛盾就更突出了。騰訊多媒體實驗室在保持壓縮性能的情況下,把DST-7等算法的複雜度降下來,做出了重要貢獻。

值得一提的是,在標準制定中,《王者榮耀》也被作為重點應用場景加入標準測試序列,所有的技術提案都要在這些測試序列進行測試。李翔說:「就相當於一個考試,(《王者榮耀》)相當於一個考題,考試做得好(在測試序列上壓縮性能好),相應的場景就得益。這樣就保證了新一代標準對典型遊戲場景的壓縮性能」。

可以看到,一方面騰訊多媒體實驗室深度參與了標準提案,一方面也成了「考題的出題方」之一,可以說在標準制定中把握住了很強的主動權。

五、開源國內首款H.266/VVC播放器,做好標準生態

朱斌是騰訊多媒體實驗室視頻編解碼研發負責人,畢業於愛荷華州立大學取得電子和計算機工程博士學位,在2018年加盟騰訊多媒體實驗室。

談到加入騰訊,他頗為感慨:「我一開始入行也知道中國公司參與標準制定是比較少的,華人工程師參與的非常多,沒有一個公司把他們召集在一起,我覺得騰訊給了我們這麼一個機會。現在各個公司對我們中國公司都非常的重視。」

▲騰訊多媒體實驗室視頻編解碼研發負責人朱斌

朱斌在騰訊多媒體實驗室深度參與了H.266/VVC播放器的開發,這是國內在H.266/VVC標準發布後的首款播放器。

採用H.266/VVC播放器會給人們帶來什麼直觀的感受?

簡單來說:第一相同質量的視頻,帶寬減半,第二相同帶寬,可以看更好質量的視頻。

我們可能從一些當下初步顯露頭角的應用來理解這一技術。H.266/VVC播放器無疑能使我們通過更少的流量看到更流暢的高質量視頻、直播,其在高解析度VR、雲遊戲、智慧醫療等新興領域的應用前景更深遠。儘管視頻編解碼標準的落地需要一定時間,但已經有一些苗頭顯現。

以近年來概念火熱的雲遊戲為例,雲遊戲使用雲端的顯卡支持遊戲運行,其中一個關鍵環節時將遊戲視頻壓縮傳回用戶端。由於遊戲視頻畫面對幀幅、實時性要求極高,帶寬需求也往往過高,而H.266/VVC能使得所需的帶寬對半砍,讓雲遊戲更絲滑順暢,從而提高用戶體驗。

朱斌說:「如果2D雲遊戲能玩了,那麼VR的虛擬實境的雲遊戲也不遠了。」

但H.266/VVC視頻編碼技術的應用價值遠不止於視頻文娛消費領域。朱斌舉例說,比如飛機駕駛培訓中用到的模擬仿真、遠程醫療中的遠程做手術、VR遠程教育等,這些對帶寬要求高的應用都將受益於H.266/VVC視頻編碼技術。

可以預見,隨著物聯網時代的到來,最新一代視頻編解碼標準H.266/VVC也將帶來新的應用爆發。

以騰訊為代表的中國公司越來越重視標準行業、多媒體壓縮行業,從中也能看到騰訊對自身的業務戰略布局。參與標準制定對於騰訊來說至少具有以下幾大重要意義:

1、新標準的應用可以大幅降低騰訊和用戶的帶寬成本。騰訊與視頻相關的應用非常多,包括微信、QQ的實時視頻通話,騰訊視頻、全民K歌等交互應用,以及疫情中開始上量的騰訊會議、智慧文旅等。沒有視頻標準技術方面的積累,騰訊全球視頻相關業務的布局都有可能因智慧財產權方面的欠缺而陷入被動。

2、王者榮耀作為標準測試序列。之前的標準對於遊戲場景不是那麼重視,其中一個主要原因是因為參與公司的業務重點並不是遊戲。因此,最終標準制定出來也不一定能夠真正解決遊戲業務的痛點。騰訊多媒體實驗室把《王者榮耀》作為重點的場景推進去。一方面對電競有好處,另一方面確保騰訊的重要應用場景可以得到新標準較好的支持。

3、新標準可以為騰訊帶來專利保護。談到視頻壓縮標準,就一定繞不開標準必要專利。騰訊參與國際視頻標準制定,有利於形成競爭專利壁壘,也可以為拓展相關業務節省高昂的專利費。李翔認為,這也是「保護騰訊業務的必要武器」。

結語:中國智能產業需要底層技術突破

通過與來自騰訊多媒體實驗室兩位專家的對話,我們了解到中國企業在國際關鍵標準制定過程中越來越獲得強大的話語權,做出貢獻,而背後不僅是華人專業研發能力的比拼,也是意志情懷的戰鬥。這些在底層技術領域勤奮積累、據理力爭來的存在感,也將在中國智能產業進程中起到重要推動作用。

相關焦點

  • 騰訊多媒體實驗室劉杉:萬物皆媒的5G時代,多媒體打開新場景
    騰訊傑出科學家、多媒體實驗室負責人 劉杉在多媒體技術革新方面,騰訊在不斷尋求突破。自2018年參與H.266/VVC標準制定以來,騰訊多媒體實驗室約有100項技術被標準採納,數量位居全球領先;為積極推動AV1商業化,騰訊雲於2019年11月率先成為中國第一家支持AV1轉碼的雲服務商;今年10月,騰訊在標準截稿3個月內在國內率先發布了H.266高清/超高清實時播放器。
  • 騰訊雲十年新風向:雲原生與開源的未來
    除了發布雲原生全景圖外,騰訊雲還升級發布八款雲原生系列產品,包括:開源雲原生開發環境Nacalhost、首款金融級雲原生Serverless消息隊列TDMQ、國內首款全Serverless雲原生MySQL資料庫TDSQL Serverless、雲開發 CloudBase、Serverless FaaS計算平臺SCF、企業級微服務技術中臺TSF 2.0、基於雲原生的泛Hadoop大數據框架
  • 騰訊多媒體實驗室的完整音視頻技術棧
    而背後依傍的,就是騰訊多媒體實驗室,其專注於多媒體技術領域的前沿技術探索、研發、應用和落地,包含實時音視頻、編解碼和網絡傳輸,基於信號處理和深度學習的多媒體內容處理、分析、理解和質量評估,沉浸式媒體(VR、AR、點雲等)系統設計和端到端解決方案。同時負責國際國內行業標準制定,包含多媒體數據壓縮,網絡傳輸協議,多媒體系統和開源平臺等。
  • 透過騰訊雲,窺探神秘的全真網際網路
    騰訊傑出科學家、多媒體實驗室負責人劉杉表示,騰訊於2018年初開始參與H.266/VVC標準制定,在歷時兩年多時間裡,向標準組織提交幾百個技術提案,其中約有100項技術被標準採納。 王慧星則透露,在H.266/VVC標準制定中,騰訊和華為兩家公司貢獻的專利,在中國是名列前茅的。
  • 騰訊多媒體實驗室商世東:天籟技術讓人工耳蝸語音清晰度和可懂度...
    9月27日,值國際聾人日之際,騰訊多媒體實驗室聯合騰訊公益慈善基金會、深圳市信息無障礙研究會等機構召開發布會,宣布發起「天籟行動」,面向公益開發者、設備廠商、相關機構開放騰訊天籟AI音頻技術,應用於聽障人群無障礙建設等相關社會責任領域。會上,騰訊多媒體實驗室高級總監商世東發表了《AI,讓天籟無界》的主題演講,分享了騰訊天籟AI音頻技術研發的原理及應用。
  • 騰訊多媒體實驗室推出智慧媒體內容生產平臺
    12月19日至20日,由騰訊主辦的年度技術盛會2020Techo Park開發者大會於北京順利召開。本次大會邀請了200多位海內外專家和和數千位參會者就人工智慧、多媒體等前沿技術話題展開交流。在視頻通信雲分論壇上,騰訊多媒體實驗室總監李松南進行了《智媒-多模態與內容生產》的主題分享。
  • 騰訊多媒體實驗室推出AI媒體內容生產平臺「智媒...
    12月19日至20日,由騰訊主辦的年度技術盛會2020Techo Park開發者大會於北京順利召開。本次大會邀請了200多位海內外專家和和數千位參會者就人工智慧、多媒體等前沿技術話題展開交流。在視頻通信雲分論壇上,騰訊多媒體實驗室總監李松南進行了《智媒-多模態與內容生產》的主題分享。
  • 騰訊安全雲鼎實驗室利用騰訊安全自主研發的系統到底是什麼
    各類主流作業系統也表示會推出新一代的開源作業系統。(開放與友好無關,只是一種商業競爭手段。)騰訊安全雲鼎實驗室利用騰訊安全自主研發的「defylibrary」和騰訊安全開放雲平臺聯合打造了基於anyway.os的開源系統——anywaylab系統。
  • 「騰訊開源十年圖譜」發布,覆蓋雲原生等五大技術領域
    開源是全球開發者共享知識、共建技術的橋梁,而跨越技術本身,開源還是解決人類共同難題的重要模式。12月19日,騰訊開源聯盟主席單致豪在騰訊 2020Techo Park 開發者大會上,集中發布了三大騰訊開源項目,同時還首次發布了「騰訊開源十年圖譜」。
  • 騰訊安全聯合實驗室掌門人領銜騰訊CTF(TCTF)
    2月28日,騰訊安全聯合實驗室七大掌門人、頂尖網絡安全技術大牛——吳石、於暘(TK)、袁仁廣(yuange)、董志強、李旭陽、馬勁松、李偉等一齊出席了由中國網絡空間安全協會競評演練工作委員會指導、騰訊安全發起、騰訊安全聯合實驗室主辦、0ops戰隊和北京郵電大學協辦的騰訊CTF(騰訊信息安全爭霸賽,Tencent Capture
  • newline 又一系列產品通過騰訊會議認證
    騰訊會議認證是由騰訊雲、騰訊會議聯合騰訊多媒體實驗室針對騰訊會議硬體廠商發起的專業的音頻、視頻認證,其測試規範可比肩國際權威音視頻認證——Zoom和微軟Teams,甚至某些標準還要更為嚴苛,同時騰訊會議認證也結合國內市場、廠商和用戶的實際情況,使其既滿足國際認證標準的專業與嚴格,又符合國內市場現狀和用戶需求。
  • 騰訊天衍實驗室鄭冶楓:醫學影像AI為什麼需要小樣本學習和域自適應...
    在8月9日的醫療科技專場上,騰訊天衍實驗室主任、美國醫學和生物工程學會的會士(AIMBE Fellow)、IEEE醫學影像雜誌副編鄭冶楓博士,分享了小樣本學習和域自適應技術在醫學影像AI問題中的最新研究思路及應用進展。
  • 騰訊天衍實驗室奪世界機器人大賽雙冠軍
    雷鋒網消息,日前,「2020世界機器人大賽-BCI腦控機器人大賽」公布成績,騰訊天衍實驗室和天津大學高忠科教授團隊組成的C2Mind戰隊,入圍BCI腦控機器人大賽「運動想像範式」賽題決賽,最終斬獲技術賽「顳葉腦機組」一等獎,以及技術錦標賽「顳葉腦機有訓練集一等獎」兩項冠軍。
  • 勇奪NTIRE大賽冠軍,騰訊優圖RealSR超解析度算法開源了!
    近日,騰訊優圖實驗室提出一種新的圖像超解析度算法RealSR並開源。該算法在CVPR-NTIRE-2020真實圖像超分比賽中以明顯優勢獲得雙賽道冠軍。GitHub地址如下: https://github.com/Tencent/Real-SR 01 賽事介紹 在2020年的NTIRE真實圖像超分比賽中,騰訊優圖團隊
  • 騰訊出品全新音樂播放器
    聽歌的工具有很多,除了比較經典的網易雲,騰訊旗下的酷狗音樂、酷我音樂、QQ音樂,阿里巴巴的蝦米音樂等,都有著不同的粉絲群體。但對於一個重度聽歌用戶來說,除了豐富的音樂庫,一個簡潔個性的軟體界面也是非常重要的,看久了網易雲的黑紅主題後,一直想找一款在某些方面可以替代的產品,直到這款App的出現.
  • 騰訊發布首款自研GPU伺服器:16卡GPU
    騰訊雲發布了星星海首款自研GPU伺服器,在性能、能效、安全特性、可靠性等層面進行了大膽的自主創新和突破。  在設計上,星星海首款自研GPU伺服器全球首創在同一框架內,靈活更換主板,支持多平臺兼容,使得業務在面對GPU選擇時更廣泛。
  • 騰訊開源又一裡程碑:Apache TubeMQ迎來全面升級
    近日, 騰訊 Techo Park 開發者大會開源專場在京舉辦,騰訊開源辦公室執行總監許勇、Apache TubeMQ 項目負責人薛趙明、優品科技CTO兼TARS開源框架核心維護者阮曙東、意法半導體亞太區MCU策略部總監陳德勇四位嘉賓分享了騰訊開源治理實踐和開源協同的戰略,以及騰訊開源生態合作的最佳實踐。
  • 騰訊天衍實驗室斬獲CCKS2020試驗裝備NER任務冠軍
    近日,第十四屆全國知識圖譜與語義計算大會(CCKS2020)舉辦的知識圖譜與語義計算技術評測競賽結果公布,騰訊天衍實驗室從213支參賽隊伍中脫穎而出,斬獲試驗裝備鑑定領域實體抽取(NER)任務冠軍,體現了在實體抽取和知識圖譜領域的技術實力。
  • 產業提速,騰訊視頻上線AVS3格式高清視頻
    經過近半年的打磨,騰訊視頻Android平臺近日上線了AVS3視頻內容。現在下載最新版本騰訊視頻APP,搜索「戰狼」,播放便能看到視頻畫面有「AVS3」水印,即可體驗AVS3格式的高清畫質。,構建了生產、傳輸、播放全鏈條閉環系統,以便為用戶提供更好的畫質體驗。