儘管HEVC(H.265)在2013年就完成了定稿,但直到去年蘋果才宣布在iOS 11上支持HEVC。在封閉的蘋果生態下,新的Codec應用還用了4年時間,何況其他開放的生態系統呢。2018年初,熊貓TV宣布開始支持HEVC直播間,雖然這次升級主要幫助運營方節省帶寬成本(20%以上),但未來將會在移動端投屏下切換至更高的碼率,提升用戶端觀看體驗。作為本土主流的遊戲直播平臺,熊貓TV在新技術創新方面走在了同行前列,也給行業提供了實踐參考。LiveVideoStack邀請熊貓TV CTO黃歡和金山雲算法總監朱政解讀了熊貓TV HEVC的實現,他們還對Codec的未來給出了自己的思考。
策劃 / LiveVideoStack
LiveVideoStack:熊貓直播HEVC直播間面向哪些用戶,或哪些軟體和硬體平臺條件的用戶開放?
黃歡:由於手機型號的多樣性,在上線前的測試階段,我們進行了大量的兼容性、穩定性、性能、功耗、溫度測試,在不同的軟體系統環境和硬體配置情況下,儘量降低用戶對耗電量和長時間觀看設備發熱的感知,最終選定iOS 10及以上系統版本和iPhone 8機型,Android 7.0及以上系統版本作為第一批開放設備。
LiveVideoStack:熊貓直播的用戶通過什麼方式觀看HEVC視頻?不具備HEVC解碼能力的用戶,自動切換到H.264流?
黃歡:目前熊貓直播的移動端均支持觀看HEVC房間,熊貓直播平臺會根據用戶的設備情況、網絡狀態、用戶的個性化選擇,自動為用戶選擇合適的線路、解析度、碼率、視頻編碼方式,用戶不會感覺到HEVC房間和其他房間的差異,一切都已經為用戶自動配置好了。
LiveVideoStack:主播端實現HEVC推流,需要哪些條件?
黃歡:首先需要主播使用的硬體能夠支撐HEVC編碼。如果要使用硬體編碼,需要晶片支持,比如iOS A10 Fusion chip。如果是使用軟體編碼,需要CPU具有較強的計算能力。其次,需要CDN支持HEVC轉碼,包括HEVC不同碼率、解析度的轉換,HEVC和其他編碼方式的轉換。最後,需要主播端把相關功能配合起來,比如連麥、美顏、貼片。目前熊貓自研的主播端已經實現了HEVC推流。
LiveVideoStack:HEVC的房間、用戶、播放時長等佔總量比例是多少?
黃歡:隨著用戶硬解設備的升級更新,CDN廠商轉碼伺服器擴容,HEVC房間數量在逐步增加,比例會越來越大。
LiveVideoStack:觀看HEVC直播的用戶主要來自移動端還是PC端?Android和iOS用戶哪個多?
黃歡:觀看HEVC直播的用戶主要來自移動端,Android用戶多一些。
LiveVideoStack:預計2018年HEVC在熊貓直播的「比例」達到多少?
黃歡:這要看用戶使用的硬體設備情況,我們估計移動端佔比會超過50%,其他平臺的數據還不好預計。
LiveVideoStack:制約HEVC普及的因素還有哪些?如用戶設備不具備硬解能力,CDN支持能力,HEVC專利費?
黃歡:HEVC正走在普及的路上,技術方案、軟體和硬體的支撐能力、CDN的支持能力都已經具備。隨著用戶手中硬體設備的更新,會有越來越多的用戶觀看到HEVC視頻。HEVC專利費主要是對硬體設備商收取費用,是IT巨頭們需要面對的問題。H.264也有專利費,只要費用被控制在合理的範圍,就不會是技術普及的障礙。
LiveVideoStack:預計HEVC和H.264在未來多長時間內,仍然在熊貓TV共存,這意味著一路直播需要提供HEVC和H.264兩路流,增加存儲成本。您如何看待這一局面,如何解決一困境?
黃歡:H.264方案一樣有存儲成本和轉碼成本,同等畫質下HEVC碼率更低,佔用存儲空間更少。HEVC直播間的帶寬成本會下降。
LiveVideoStack:評估過VP9方案嗎?
黃歡:我們應該是評估過了業內所有的視頻編碼方案,包括VP9。VP9看起來很好,但是IT業內基本上只有Youtube在用。我們直播認為VP9沒有被業內廣泛支持的一個原因是到2017年為止,VP9的規範還沒有定稿(final),還是草案狀態(draft)。結合熊貓直播的情況,這裡不說VP9的優點,只說在直播行業內使用VP9會遇到的問題。在主播端,VP9編碼速度很慢,比HEVC還慢,因為幾乎沒有硬體廠商支持VP9硬編碼。在觀看端,Apple公司明確支持HEVC,不支持VP9。
LiveVideoStack:Google和他主導的AOM聯盟正在大力推進AV1,預計近期會完成定稿,一些硬體參與到標準制定中,AV1開源、免專利費。同時FVC也將在2020年左右完成定稿,熊貓是否在評估AV1和FVC?
黃歡:Google力推的VP8和VP9都沒有達到預期效果,Google這次拉來了Apple公司和硬體巨頭加入,AOMedia Video 1看起來靠譜很多。我們一直在關注AV1。FVC定稿時間太遙遠了,從定稿到業內上下遊進行支持還需要一段時間,目前我們不做評估。
LiveVideoStack:對比H.264方案,採用HEVC方案後,是否評估過兩者成本,或同樣成本下用戶觀看畫質清晰度、流暢度等主觀評分?
黃歡:CDN成本主要有兩個方面。第一個是帶寬成本,根據我們的盲測,相同解析度和畫質下,HEVC的碼率是H.264的70%左右,至少可以節約20%的帶寬。第二個是轉碼成本,因為要支持用戶可以選擇多個碼率和解析度,H.264方案和HEVC方案一樣,都需要轉碼。
LiveVideoStack:熊貓直播是否在考慮支持HDR?
黃歡:HEVC標準對High Dynamic Range (HDR)支持很好,但是觀賞HDR內容需要顯示設備支持,據我們了解現在只有少數幾款國外品牌旗艦手機支持顯示HDR內容,例如蘋果公司的設備裡面只有iphone X是完全的HDR顯示屏,iphone 8和iphone 8 plus只能顯示部分HDR增強效果。預計要等到國產旗艦手機支持顯示HDR內容時,我們才會考慮支持HDR。
LiveVideoStack:推出金山KSC265方案後,團隊主要的研發重點是什麼?2018年會哪些目標?
朱政:編碼團隊的研發重點會圍繞幾個方面。
慢速檔壓縮性能的提高。KSC265在快速檔具有速度和壓縮性能雙重優勢,而且壓縮性能優勢非常明顯。但是慢速檔要獲取壓縮性能的優勢難度比較大,因為標準的能力本身有限制。我們希望通過精耕細作可以在PSNR/SSIM計算的bdrate上比當前gain 10%以上
感知編碼。Netfilx基於VMAF的per-title encoding,阿里的窄帶高清,或者騰訊的主觀優化,我們都歸於perceptual encoding範疇。之前因為完全自研底層編碼器,我們更關注通用的性能和複雜度指標。接下去我們在感知編碼的各個方面和環節都會發力。
針對特定場景的調優,包括重點客戶的典型場景。
Deep Learning + Encoding
LiveVideoStack:熊貓TV主要內容為遊戲直播,會不會對其進行(持續的)針對性的優化?
朱政:當然會。熊貓是重點客戶,遊戲直播也是典型場景。
LiveVideoStack:開源、免專利費,有Google帶領,蘋果加盟,AV1獲得了眾多巨頭普遍響應。金山是否在考察AV1,如何看待AV1的未來?
朱政:金山在考察AV1,但因為其目前速度太慢,還沒有辦法做深入分析和實驗。我們雖然在HEVC上耕作了很多年,但絕對擁抱新技術和新標準。
AV1目前的疑問是在公平條件下與HEVC相比較,由標準本身帶來的壓縮性能提升到底有多少。如果有20%以上,我們覺得其未來大有可為:
免專利費;
安卓+iOS+瀏覽器+硬體+YouTube/Netflix內容的生態,而瀏覽器這一環是HEVC缺失的; c. 比MPEG方面的下一代標準(FVC)早了好幾年。
從歷史經驗看,Google力推的標準流行程度不一定差於MPEG系列,比如WebP就流行了,然而JPEG2000就死掉了。當然視頻格式的推廣要比圖片格式更難。未來仍有不確定性,我們拭目以待。
LiveVideoStack 2018年春季招聘
LiveVideoStack是專注在音視頻、多媒體開發的技術社區,通過傳播最新技術探索與應用實踐,幫助技術人員成長,解決企業應用場景中的技術難題。如果你有意為音視頻、多媒體開發領域發展做出貢獻,歡迎成為LiveVideoStack的一員。我們正在招募商務助理,高級編輯,策劃編輯,課程經理。
通過job@livevideostack.com聯繫,或在LiveVideoStack公眾號回復『商務助理』,『高級編輯』,『策劃編輯』,『課程經理』了解詳情。