周三，即構泛娛樂行業活動第二期開講，即構售前架構師張靖雨分享了泛娛樂社交行業兩大新玩法：在線KTV、線上電影配音。下面我們準備了活動回放視頻、演講PPT資料和文字稿，錯過直播的小夥伴可以進行回看。
活動演講資料
活動回放視頻地址: https://v.qq.com/x/page/a0975qfa13g.html?pcsharecode=fZw7HXFh&sf=uri
活動文字稿
在上期活動中，我們了解到在2016年之前，泛娛樂直播主要是基於熟人的實時社交，包括實時視頻社交和1V1私密視頻社交。在2018年後，陌生人視頻社交漸漸逐漸湧現，以秀場連麥PK、語聊房、短視頻社交為主的陌生人視頻社交玩法廣受用戶喜愛。
今天我們要分享的也是基於陌生人社交的兩種泛娛樂新玩法：在線KTV和線上電影配音
在線KTV大家都不陌生，今年初，某K歌平臺推出了一系列全民抗「疫」的營銷策略，包含了加油歌單、短視頻、音頻電臺、在線K歌等形式，鼓勵大家發布抗擊疫情的正能量短視頻，呼籲用「同唱一首歌」等方式響應防疫號召，用歌聲給一線的醫務人員加油打氣。我們今天介紹的線上KTV，比目前的主流玩法更突出實時性和互動性。
另一個是線上影視配音，《聲臨其境》應該很多人都非常熟悉，這是芒果臺推出的一款熱門綜藝，選取經典的影視片段，邀請明星嘉賓進行同臺競技，通過明星嘉賓的臺詞功底、配音實力來進行配音競演。線上電影配音把《聲臨其境》搬到了線上，讓更多用戶也能進行配音PK。
下面我們先來看看在線KTV如何增加實時性和互動性，以及在技術實現上有哪些難點要攻克。
一、在線KTV
目前主流的KTV玩法，大部分是基於錄製點播實現的。單人K歌，是通過下載好的本地伴奏，再配上自己的演唱聲音，錄製後上傳到平臺的。合唱則是用戶下載已有的演唱片段，與自己的演唱聲音進行合唱錄製，最後再上傳平臺分享給其他用戶。無論是單人還是合唱，觀眾看到主播們分享的其實都是錄製上傳的，都不是實時的。
那麼在線的KTV是什麼樣的場景呢?
在線KTV以雙人合唱為主，主唱和副唱進行實時的線上合唱，觀眾可以實時的收聽到主唱和副唱的美妙歌聲，趣味性和互動性更強。下面這個是即構在線KTV的演示Demo，大家可以下載體驗：
在線KTV按角色來分，有主唱、副唱和觀眾，這個是在線KTV的業務架構圖，從圖上我們可以看下在線KTV的流程：
主唱先把伴奏下載到本地，然後通過媒體播放器播放伴奏，再通過麥克風採集自己的演唱聲音，同時要把歌詞注入到多媒體流中，用以後面的歌詞跟伴奏的同步。
副唱拉主唱的流，裡面包含了主播的清唱以及伴奏音樂，還有歌詞等媒體次要信息。副唱要把自己的音頻混入到主唱的聲音以及伴奏音樂裡面，推送給觀眾。
觀眾其實是拉的副唱推出的流，這裡面包含了主唱聲音、副唱聲音和伴奏，實現觀眾看到聽到的主唱聲音都是跟歌詞同步的。
這裡需要注意的是，為了讓主唱和副唱之間可以互動，主唱也需要拉副唱的清唱聲音，副唱要把清唱的聲音推送給主唱，實現主唱和副唱之間的互動，並且伴奏僅存在一次，那就是主唱這邊為主。
那麼，要實現這樣實時互動的在線KTV場景，有哪些技術重點呢?
合唱同步
我們看下面這張圖，伴奏的來源是從本地下載，然後通過媒體播放器播放的。人聲是歌唱者，從麥克風採集的，那就需要我們的產品能夠支持把伴奏的聲音和主唱的聲音混合再推流出去，並且要保證二者混合是實時的。
即構SDK支持把媒體播放器播放的伴奏進行混音，錄麥克風採集的聲音再推流出去，達到人聲和伴奏的實時同步。
歌詞同步
LRC文件是目前使用最廣的一種歌詞文件，這種歌詞的文件很小很容易解析。在這張圖片裡，大家可以看到每一行歌詞前都有一個時間。我們能將歌詞的進度控制到每一行，比如說在第2秒的時候，可能顯示的是歌曲名稱。
即構SDK支持將非媒體信息注入媒體流中，非媒體信息就包含上面我們說的歌詞時間。通過音視頻中的SEI幀技術生成媒體次要信息接口sideinfo，讓非媒體信息按照指定的時間節點插入到視頻幀數據中，在拉流解析時解析到這個視頻幀，就可以拉取對應的非媒體信息。
需要注意的是，前面提到的每一行歌詞前面有個時間戳，實際上如果要做到精確到每一個字，也是可以實現的，那就需要把每個字都打上時間戳，然後和伴奏進行對齊。
這個是歌詞同步的架構圖，大家可以看到客戶端A(主唱)，通過媒體播放器播放伴奏，從媒體播放器獲取當前播放的時間進度，然後再把時間進度塞到視頻幀裡推流出去，客戶端B(觀眾)去拉主唱的流，裡面就包含伴奏聲、人聲以及包含歌詞播放進度時間戳的媒體次要信息，客戶端B從拉的流裡接收到媒體次要信息，把時間戳提取出來，再根據這個時間戳顯示對應的歌詞。
原聲和伴奏切換
在線KTV的最後一個技術點是人聲和伴奏如何切換?大家知道之前的CD都是可以通過切換左聲道和右聲道來實現只播伴奏或播放伴奏加原聲。如果我們媒體播放器要實現通過切換左右聲道來進行原聲和伴奏的切換，那就需要對音頻文件進行處理，實現例如左聲道是伴奏，右聲道是人聲的效果。那麼當你只需要伴奏那就只播放左聲道，如果需要人聲加伴奏，就左聲道右聲道一起播放。
並且我們還可以進行一些聲調或者降調的操作，如果有些演唱者覺得自己的聲音跟音樂的音調，它可以對聲道進行升Key或降Key的操作，從而實現伴奏和人聲的最佳匹配。
二、線上電影配音
《聲臨其境》是近兩年比較火熱的綜藝，廣受大眾的喜愛。如果把《聲臨其境》搬到線上，要如何做呢?
下面是線上電影配音玩法的架構圖：
A配音者和B配音者是需要通過即構實時網絡來實現低延遲互動，即構的音視頻實時網絡可以做到互動延遲在200-400毫秒之內，實現配音者之間的無感切換。觀眾可以選擇從即構的實時音視頻網絡，去拉取 A配音者的聲音或者說B配音者的聲音，也可以通過混流服務，把A配音者的聲音跟B配音者的聲音混到一起推給CDN，觀眾再從CDN進行拉流。
無論是線上電影配音還是線上KTV，對音頻質量的要求都比較高。即構的音頻處理，支持從16KHz-48KHz全頻採集，同時我們對音質會進行降噪、回聲消除等前處理。即構支持多個音視頻碼率，針對不同場景不同網絡情況，選擇恰當的碼率，讓音畫質與延時、帶寬、硬體功耗等實現平衡。
對此，即構語聊房SDK支持娛樂房和開黑房兩種模式。娛樂房比較適合高音質場景，最大限度的保留原生的音頻品質。開黑房對網絡要求比較高，我們降低了碼率減少對帶寬的佔用，保證直播的穩定。
娛樂房
娛樂房分為高音質和超高音質
高音質模式：音頻碼率在64kbps左右，具有低延時、高並發的特點，適合語聊社交、線上相親、狼人殺等互動性強的場景;
超高音質模式：音頻碼率在128kbpa左右，具有低延時、超高音質的特點，適合在線KTV、pia戲、雙聲道直播、主播電臺、線上配音等場景，能夠支撐高清音樂的播放。
開黑房
開黑房分為標準音質模式和高清音質模式
標準音質：音頻碼率在16kbps左右，具有CPU佔用低、網速佔用低的特點，適合行動網路下多人開黑，超低碼率就能保障清晰聊天;
高清音質：音頻碼率在32kbps左右，具有CPU佔用低，高清音質等特點，適合WIFI網絡下的多人開黑，保障優質聊天音質的前提下，不影響遊戲體驗。
三、泛娛樂玩法未來的演變
上面我們介紹了線上KTV和線上電影配音兩個新場景，那麼在可遇見的未來，泛娛樂行業還可能有哪些新玩法呢?
雲手遊+語音社交
隨著5G的發展，遊戲加社交很可能是未來的一大風口。5G下，視頻帶寬以及碼率等都有一個質的飛躍。通過5G網絡架構，我們可以實現雲手遊加語音社交的玩法，雲手遊的用戶不用再去下載安裝一個幾G的遊戲應用，而是可以直接通過瀏覽器打開一個手遊應用，進行雲端開黑，加上社交語音功能，實現實時語音互動開黑等。
VR遊戲
VR技術也是5G下被廣泛看好的應用場景之一，之前由於設備以及帶寬限制，VR視頻、直播的碼率都非常大。5G普及後，VR遊戲可能會有更廣闊的應用。我們可以藉助VR，沉浸於虛擬世界裡面，再加上語音聊天，增加更豐富真實的社交玩法，就可以實現VR版的模擬人生遊戲。身在家中，卻能與世界各地的玩家仿佛置身同一個遊戲場景互動。
以上就是第二期泛娛樂行業新玩法的主要分享內容，音視頻技術的發展讓泛娛樂社交不斷衍生出新玩法，極大的豐富了我們的日常生活。隨著5G、AR/VR技術的普及應用，未來泛娛樂社交行業還將出現哪些新生態，我們拭目以待。
轉載請註明出處。