音視頻技術開發周刊|音視頻技術|webrtc|https

2020-12-14 騰訊網

每周一期，縱覽音視頻技術領域的乾貨和新聞投稿：contribute@livevideostack.com。

架構

WebRTC M84 版本發布

M83 反而更令人興奮。

https://groups.google.com/forum/?utm_medium=email&utm_source=footer#!msg/discuss-webrtc/MRAV4jgHYV0/5019yB-HAwAJ

傳輸網絡

變革世界中的實時流媒體

本篇是來自Streaming Media的圓桌討論，主題是："變革世界中的實時流媒體"，主持人是來自nformation Today公司視頻發布總監，以及流媒體製作人編輯SteveNathans-Kelly。

https://mp.weixin.qq.com/s/fYf3CJ2MIm678LqTqtF-lw

如何優化實時流媒體的工作流程

本文是來自Streaming Media East Conect 2020的演講，演講者是來自videoRx的CTO，Robert Reinhardt。演講的主要內容是如何優化實時流媒體的工作流程（How to optimize your live streaming workflow）。Robert在這次演講中詳細分享了進行一次直播所需要的相關知識和所需準備。

https://mp.weixin.qq.com/s/oJLNmLMWqc5beEmRQtvr3w

詳說TCP粘包和半包

TCP服務端和客戶端建立連接後會長時間維持這個連接，用於互相傳遞數據，TCP是以流的方式傳輸數據的，就像一個水管裡的水一樣，從一頭不斷的流向另一頭。理想情況下，發送的數據包都是獨立的。

https://juejin.im/post/5eeac734f265da02f45380cd

iOS 分享一個邊播邊緩存的庫(支持VOD和HLS)

SJMediaCacheServer 是一個 iOS 端的 HTTP 媒體數據緩存框架. 播放器向本地 HTTP 代理伺服器發送播放請求後, 會查詢本地緩存, 如不存在緩存, 則進行下載並返回給播放器。

https://juejin.im/post/5ee31be851882557525a8b18

編解碼

FFmepg 4.3發布

大約每6個月，FFmpeg項目就會發布一個新的主要版本。在主要發布之間，發布會添加重要的bug修復，但沒有新特性。注意，這些版本是為分銷商和系統集成商準備的。強烈建議希望自己從原始碼編譯的用戶考慮使用開發分支，這是FFmpeg開發人員工作的唯一版本。發布分支只從開發分支中挑選選中的更改，因此開發分支會得到更多更快的bug修復，比如附加特性和安全補丁。

http://ffmpeg.org/download.html#release_4.3

如何利用客觀質量指標微調編碼

本篇文章來自Streaming Media East Connect 2020的一篇演講，演講者是來自Streaming Learning Center和Streaming Media的JanOzer。

https://mp.weixin.qq.com/s/7ogQE-4xouCfiq8dmT88KA

愛奇藝編碼團隊：我們讓AV1編碼速度提升5倍

如果說VVC是編碼標準中的白富美，那麼AV1就代表了廣大的網際網路玩家——承受不起高昂的專利版稅。為了實現免專利費的目標，AV1不得不「捨近求遠」的方式躲開已有的專利，這導致其計算複雜度非常高。愛奇藝科學家王志航透露，在同等的畫質下，編碼速度是開源SVT-AV1的5倍。LiveVideoStack團隊也在極力邀請王志航加入LiveVideoStackCon2020北京，期待屆時帶來對該編碼器的更詳細的解讀。

https://mp.weixin.qq.com/s/4G0Il_ZwjA1Kj6jeIO-E2Q

視頻技術

Square Off 機器人對戰西洋棋遊戲增加了用於遠程視頻通話功能

我想知道他們是否在這裡使用了 WebRTC。

https://techcrunch.com/2020/06/05/the-square-off-robotic-chess-board-gets-a-video-calling-component-for-remote-games/

Lifesize 視頻會議系統增加端到端加密功能

Lifesize 使用端到端加密量翻倍了，為此使用 WebRTC 並解釋其缺失的部分。

https://www.lifesize.com/en/video-conferencing-blog/e2ee

互動直播中的前端技術 -- 即時通訊

本文介紹了互動直播中的即時通訊技術的在前端中應用，並分享了自己在工作開發中的一些經驗，希望對您有所幫助，歡迎探討。

https://juejin.im/post/5edd963ff265da76ee1f5b18

人物專訪

魔鏡魔鏡告訴我，畫質評測哪家強？｜LiveVideoStackCon2020講師專訪

蔡媛，15年加入金山雲, 現任金山雲高級技術總監，負責視頻雲AI 產品線、媒體處理產品線、視頻質量評測體系建設的產品及研發工作。核心項目包括媒體雲轉碼、集智高清、畫質增強、KSC265、KQoE等。

https://mp.weixin.qq.com/s/-QkUd0NkKjwAS2QS7fuNlg

畢業五年的音視頻開發工程師過得怎麼樣了？

5年的時光對於網際網路從業者而言，足夠去了解網際網路產品的璀璨生命力了，有些產品和公司在這五年間從默默無聞走向家喻戶曉，這也振奮了我們這群從業者的激情和信念。

https://mp.weixin.qq.com/s/vLbUdnzB17V-SMgLXLg9iALVS

AI智能

拯救渣畫質，馬賽克圖秒變高清，杜克大學提出AI新算法

將「馬賽克」像素級別的大頭照轉換成高清照片，是一種怎樣的體驗？杜克大學提出的 AI 算法，不僅可以「去掉馬賽克」，還能精細到每一道皺紋、每一根頭髮。你要試試嗎？

https://mp.weixin.qq.com/s/ArbIPiyHtBWbr-ToKzT9UA

圖像

比OCR更強大的PPT圖片一鍵轉文檔重建技術

目前越來越多的資源信息是以圖像形式存儲，然而很多用戶在獲取圖像後需要對圖片進行編輯或者電子文檔形式進行存儲。最主流的做法是直接進行 OCR 提取，但這種方法無法滿足用戶對排版的需求。

https://mp.weixin.qq.com/s/nD-TcFVk63b8LGCAbiMUNA

資源推薦

輕量級圖片選擇庫ImageSelect

android 輕量級選擇圖片框架，支持拍照，獲取相冊圖片,獲取本地視頻，可以多選，單選。

https://github.com/JackLiaoJH/ImageSelect

盤點 | 22 款神經網絡設計和可視化工具

深度學習領域，最常見的就是各種網絡模型，那麼在寫論文或者文章，介紹網絡模型的時候，最好的辦法當然就是展示代碼畫圖，今天介紹的 Github 項目，就是整理了 22 個設計和可視化網絡結構的工具，其地址如下：

https://github.com/ashishpatel26/Tools-to-Design-or-Visualize-Architecture-of-Neural-Network

點擊「閱讀原文」了解更多關於線上峰會信息。

相關焦點

  • 音視頻技術開發周刊 | 165
    ijkplayer音視頻開發中使用ffmpeg的地方非常多, 播放場景/音視頻編輯場景, 其中都會使用到ffmpeg核心模塊, 本文的介紹就是告訴大家, 我們可以將不同的功能模塊封在同一個ffmpeg庫中, 幫我們節省空間。
  • 音視頻技術開發周刊
    https://groups.google.com/g/discuss-webrtc/c/pKCOpi9Llyc/m/QhZjyE02BgAJ Safari 14 中 WebRTC 支持情況 蘋果在macOS Big Sur發布之前悄悄地發布了desktop
  • 音視頻技術開發周刊 | 171
    每周一期，縱覽音視頻技術領域的乾貨。新聞投稿：contribute@livevideostack.com。近年來，網際網路高速發展，電視等傳統媒體加速向媒體融合方向邁進，在三網融合等政策推動以及視頻雲技術、互動技術、大數據分析等新技術加速應用的背景下，無視頻，不網絡，短視頻成為最重要的信息載體之一。
  • 音視頻技術開發周刊 | 163
    https://groups.google.com/g/discuss-webrtc/c/pKCOpi9Llyc/m/QhZjyE02BgAJ音視頻技術從 0-1 寫一個如何開發一款音視頻編輯的 SDK 系列文章。
  • 音視頻技術開發周刊 | 161
    內容推薦WebRTC視頻數據流程分析本文來自《WebRTC Native開發實戰》書籍作者許建林在LiveVideoStack線上分享中的內容，詳細分析總結 WebRTC 的視頻數據流程，並對大型項目如何快速上手：分析方法，如何在工作中按需進行定製開發或調試分析問題等內容進行了深入解讀
  • 音視頻技術開發周刊 | 136
    https://bloggeek.me/test-your-webrtc-service/5 分鐘完成 Nginx 直播服務部署（直播 + 分流 + 畫面水印）需求：將直播流分流到兩個雲廠商的直播雲，一個有水印，一個無水印。
  • 音視頻技術開發周刊 | 162
    內容推薦互動協作白板與音視頻實時同步技術實踐本文整理自即構科技互動白板技術負責人陳曉聰在LiveVideoStack的線上分享，內容主要圍繞白板與音視頻的同步和白板的多端實時互動兩個角度，深度解析即構在互動白板方面的技術探索實踐。
  • 音視頻技術開發周刊 | 164
    這些貌似無關的領域其實一直以來都面臨著一個共同的技術挑戰，就是視頻的流暢性和實時性。音視頻技術音視頻小程序開發筆記首先你需要了解如何但那不是真的沉浸式的視頻。那什麼才是呢？就是可以在視頻裡改變觀看視點的。
  • 音視頻技術開發周刊 | 168
    https://webrtchacks.com/how-does-azure-communication-services-implement-webrtc-gustavo-garcia/傳輸網絡https://mp.weixin.qq.com/s/4gy5RDYrzcs1KjukqdWP_AFacebook如何將QUIC應用於數十億流量傳輸隨著IETF很快完成QUIC標準定稿，越來越多的企業和開發者投入到QUIC開發實現與部署中。
  • 音視頻技術開發周刊 | 170
    音視頻技術阿里雲智能視頻雲 高級技術專家 鄒娟在LiveVideoStackCon 2020 北京站的演講中就智能媒體生產製作的技術演進之路，從三個部分為大家帶來詳細的講解。Q音直播抽離成pod庫分別引入到QQ音樂和Fan直播兩個獨立app中，而對於直播業務來講，直播SDK通過pod本地引入集成到Demo中進行日常直播業務的開發，通過Demo來精簡工程規模，提高研發效率。
  • 音視頻技術開發周刊|169
    https://www.red5pro.com/blog/how-google-meet-implements-audio-using-mix-minus-with-webrtc/ 傳輸網絡 5G時代 | 淘寶直播高畫質低延時技術探索
  • 音視頻技術開發周刊 | 169
    https://www.red5pro.com/blog/how-google-meet-implements-audio-using-mix-minus-with-webrtc/在5G時代，視頻得益於網絡帶寬的提升，未來將成為主流的傳播媒介。越來越多的業務和應用將視頻化，直播化。大量互動的內容將通過5G以低延時的方式以視頻的形式傳輸。
  • 音視頻技術開發周刊 | 166
    每周一期，縱覽音視頻技術領域的乾貨。新聞投稿：contribute@livevideostack.com。音視頻技術本文講述了使用三維重建技術、傳感器計算技術和增強現實(AR)技術所開發的滴滴AR實景導航產品，並對開發過程中遇到的難點、挑戰和解決思路展開介紹。
  • 音視頻技術開發周刊|172
    音視頻技術 關於主動降噪耳機，你想知道的一切 本文主要介紹反饋降噪(FB ANC) 的原理。 OTT/短視頻/線上教育/遠程協作/雲遊戲... 雲剪輯/線上視頻製作/AI視頻製作...... 當新的標準被應用到新領域、新的應用配備了新的標準、新的領域衍生了新的應用......音視頻技術人會帶來怎樣的技術革新，多媒體行業的後疫情時代又會催生出怎樣的新創?
  • 音視頻技術開發周刊 | 174
    每周一期，縱覽音視頻技術領域的乾貨。新聞投稿：contribute@livevideostack.com。在5G時代，視頻得益於網絡帶寬的提升，未來將成為主流的傳播媒介。越來越多的業務和應用將視頻化，直播化。大量互動的內容將通過5G以低延時的方式以視頻的形式傳輸。
  • 圖鴨音視頻技術 Tucodec 宣布開源,打破格局
    12月23日上午，開源中國源創會在北京萬豪酒店召開，會上眾多團隊分享了自家的技術。上午10點，圖鴨科技創始人武俊敏宣布開源圖鴨VoIP技術的伺服器原始碼及客戶端網絡模塊代碼。這套音視頻開源項目現已上傳碼雲和圖鴨官網（www.tucodec.com），音視頻企業和開發者可以前去下載體驗。
  • 騰訊技術分享:微信小程序音視頻與WebRTC互通的技術思路和實踐
    （常青的另一篇分享你可能也感興趣：《騰訊技術分享：微信小程序音視頻技術背後的故事》）3、相關文章微信團隊分享的音視頻技術文章：《騰訊技術分享：微信小程序音視頻技術背後的故事》《微信團隊分享：微信每日億次實時音視頻聊天背後的技術解密》《微信多媒體團隊訪談：音視頻開發的學習、微信的音視頻技術和挑戰等》《微信多媒體團隊梁俊斌訪談：聊一聊我所了解的音視頻技術》《專訪微信視頻技術負責人
  • WebRTC現狀及優缺點,音視頻通信必看的開源項目
    WebRTC標準是由W3C和IETF所聯合制定的，在2016年1月28日，W3C公布了最新的WebRTC標準，標準中定義了WebIDL中一系列的ECMA Script API來允許使用合適的RTP的瀏覽器或設備來接收/發送媒體，詳細內容可以訪問https://www.w3.org/TR/webrtc/。
  • 了不起的WebRTC:生態日趨完善,或將實時音視頻技術白菜化
    《WebRTC實時音視頻技術基礎：基本架構和協議棧》《[觀點] WebRTC應該選擇H.264視頻編碼的四大理由》《基於開源WebRTC開發實時音視頻靠譜嗎？第3方SDK有哪些？》《開源實時音視頻技術WebRTC中RTP/RTCP數據傳輸協議的應用》《實時通信RTC技術棧之：視頻編解碼》《開源實時音視頻技術WebRTC在Windows下的簡明編譯教程》《網頁端實時音視頻技術WebRTC：看起來很美，但離生產應用還有多少坑要填？》
  • 5G時代-WebRTC音視頻高級開發
    第二種是可變比特率 VBR( variable bitrate) 的碼率控制算法， VBR 的輸入當然也要包括視頻源， 此外還要設置量化參數 QP。輸出的比特率會在一定範圍內變化， 原因有很多， 比如實際視頻序列中的圖像內容複雜度的差異， 又比如運動的快慢不同等， 所以在傳輸信道有波動的條件下常常使用 VBR 算法。