音視頻技術開發周刊|169

2021-01-09 騰訊網

架構

WebRTC安全體系架構的8個組件

WebRTC不僅僅是為低延遲實時流媒體傳輸而設計的。為了滿足現代流媒體應用程式的需求，WebRTC還提供了流安全性。本文主要研究WebRTC的安全體系結構以及如何設置它。

Google Meet 如何使用 WebRTC 中 Mix-Minus 實現音頻

有人在這裡挖了很多寶貴的東西。

https://www.red5pro.com/blog/how-google-meet-implements-audio-using-mix-minus-with-webrtc/

傳輸網絡

5G時代 | 淘寶直播高畫質低延時技術探索

目前5G新基建正在邁入起航階段，5G相比目前廣泛使用的4G，它具有更高的速率，更大的容量，同時延遲更低，可靠性更高。在5G時代，視頻得益於網絡帶寬的提升，未來將成為主流的傳播媒介。越來越多的業務和應用將視頻化，直播化。大量互動的內容將通過5G以低延時的方式以視頻的形式傳輸。

https://juejin.im/post/6891582162798116871

Wave-Share -無伺服器，點對點，通過聲音共享本地文件

這是一個有關於使用聲音的WebRTC信號的概念驗證。適用於所有有麥克風+揚聲器的設備。在瀏覽器中運行。

在線視頻的基礎知識和實時流媒體入門

這篇演講來自於MUX，主要介紹了在線視頻的基礎知識介紹和實時流媒體入門，主持人為Phil，是MUX的多媒體流工程師。

HTTPS加密

如何讓網站和API都支持HTTPS？

隨著我們網站用戶的增多，我們會逐漸意識到HTTPS加密的重要性。在不修改現有代碼的情況下，要從HTTP升級到HTTPS，讓Nginx支持HTTPS是個很好的選擇。今天我們來講下如何從Nginx入手，從HTTP升級到HTTPS，同時支持靜態網站和SpringBoot應用，希望對大家有所幫助！

https://juejin.im/post/6888467506588024845

編解碼

MPEG進展

第132次MPEG會議是自新結構以來的第一次會議，新結構包括AG 2 MPEG技術協調（用於整體MPEG工作協調），WG 2 MPEG技術要求，WG 3 MPEG系統，WG 4 MPEG視頻編碼，WG 5 MPEG聯合視頻編碼 ITU-T SG 16、3D圖形WG 6 MPEG音頻編碼，WG 7 MPEG編碼，WG 8 MPEG基因組編碼，AG 3 MPEG聯絡和通信以及AG 5 MPEG視覺質量評估團隊。 300多名參與者有效地制定符合行業未來需求的標準。作為一個團隊，MPEG開始探索新的應用領域，這些領域也將受益於標準化的壓縮技術。

MPEG的未來：從媒體壓縮到數據壓縮和AI支持的數據編碼

本文來自前MPEG主席Leonardo Chiariglione的Linkin文章，從媒體壓縮談到了數據壓縮和AI支持的數據編碼。

ICIP2020：VVC算法和規範

本篇來自ICIP2020，演講者是來自RWTH Aachen University的Mathias Wien和來自Fraunhofer Gesellschaft的Benjamin Bross，演講主題是VVC的算法和規範。

MPEG XR最新進展及UHDTV+自由視角

本文來自IBC2020的網上論文分享會，分享者分別為：Emmanuel Thomas——TNO的Senior Scientist Innovator和Yuki Kawamura——NHK研究員。

音視頻技術

新冠檢測新方法：MIT用咳嗽聲診斷無症狀感染者，準確率達100%！

有數據顯示，世界50%新冠（COVID-19）病例由無症狀感染者傳染。

https://www.leiphone.com/news/202011/B4DTCMkLmlSdDKq0.html

使用 Web Audio API 獲得音頻可視化效果

學習掌握 Web Audio API 一個很好的指南。

https://dwayne.xyz/post/audio-visualizations-web-audio-api

AI智能

基於RNN自編碼器的離群點檢測

異常，通常稱為異常值，是指數據中不符合數據系列總體行為的數據點、數據序列或模式。因此，異常檢測就是檢測不符合更廣泛數據中的模式的數據點或序列的任務。

https://juejin.im/post/6891273262693613582

斯坦福研究：VR動作追蹤數據竟也能用來識別身份

就像是手機解鎖方式從密碼到面部識別的演化，未來如果人手一臺VR頭顯，那麼一種能確保私密性、安全性的帳號解鎖和認證方式則十分重要。目前，市面上常被討論的VR解鎖方式包括眼球、面部識別等生物識別方案。但考慮到生物識別依賴於較昂貴的傳感器，大部分VR頭顯並不配備眼球識別功能。

圖像

使用iPhone相機和OpenCV來完成3D重建（第三部分）

最後一部分關於立體重建的教程。

Android OpenCV：圖像卷積

在信號處理中卷積操作需要給出一個卷積函數與信號進行計算，圖像的卷積形式與其相同，需要給出一個卷積模板與原圖像進行卷積計算。整個過程可以看成是一個卷積模板在另外一個大的圖像上移動，對每個卷積模板覆蓋的區域進行點乘，得到的值作為中心像素點的輸出值。

卷積首先需要將卷積模板旋轉180°，之後從圖像的左上角開始移動旋轉後的卷積模板，從左到右，從上到下依次進行卷積計算，最終得到卷積後的圖像。卷積模板又被稱為卷積核或者內核，是一個固定大小的二維矩陣，矩陣中存放著預先設定的數值。

https://juejin.im/post/6891399721832120328

活動推薦

NVIDIA GTC (GPU 技術大會)

NVIDIA GTC是一系列全球盛會，廣納當今計算領域最熱門話題的相關培訓和見解，並為您創造與頂級專家交流的機會。

今年，GTC 中國大會將首次以線上大會的形式與您相見，只需免費註冊，即可暢享更精華的內容和嶄新參會體驗

https://www.nvidia.cn/gtc/

LiveVideoStackCon 2020 美國站

灣區最原汁原味的技術，全球最前沿的應用實踐。

無需漂洋過海，我們在線上等您！

https://sfo2020.livevideostack.com/

北京時間：2020年12月11日-12月12日

相關焦點

  • 音視頻技術開發周刊
    每周一期，縱覽音視頻技術領域的乾貨和新聞投稿：contribute@livevideostack.com。 https://mp.weixin.qq.com/s/ODOIv72pZxDEWDGOEZBWYA 音視頻前沿：新一代 AV1 視頻標準究竟是怎樣一種存在？
  • 音視頻技術開發周刊|172
    音視頻技術 關於主動降噪耳機，你想知道的一切 本文主要介紹反饋降噪(FB ANC) 的原理。 OTT/短視頻/線上教育/遠程協作/雲遊戲... 雲剪輯/線上視頻製作/AI視頻製作...... 當新的標準被應用到新領域、新的應用配備了新的標準、新的領域衍生了新的應用......音視頻技術人會帶來怎樣的技術革新，多媒體行業的後疫情時代又會催生出怎樣的新創?
  • iOS開發-音視頻開發
    當然,隨著5G技術的誕生,用在智能終端分享3D電影,遊戲或者超高畫質節目的時代已經毫無懸念的向我們走來. 想必大家也逐步了解,國內外的網際網路公司也已經布局音視頻,3D技術方面的開發者招聘和相關產品研發.目前落地推廣最普遍的就是直播類項目和小視頻類的項目.當然未來的方向肯定不止如此.
  • 零基礎入門:實時音視頻技術基礎知識全面盤點
    1、引言隨著行動網路速度越來越快、質量越來越來，實時音視頻技術已經在各種應用場景下全面開花，語音通話、視頻通話、視頻會議、遠程白板、遠程監控等等。實時音視頻技術的開發也越來越受到重視，但是由於音視頻開發涉及知識面比較廣，入門門檻相對較高，讓許許多多開發者望而生畏。
  • 中國音視頻產業技術與應用趨勢論壇圓滿落幕
    【IT168資訊】第十三屆中國音視頻產業技術與應用趨勢論壇(AVF)在北京召開。本屆論壇圍繞以「人工智慧風口下的突破與創新」為主題，涵蓋國內外音視頻產業核心技術、產品、應用與新興市場領域。最大的亮點則是人工智慧、虛擬實境、增強現實等視聽體驗加速走進人們的日常生活，產業鏈上下遊企業緊抓智能終端入口契機，全面提升用戶的產品交互體驗和與真實/虛擬世界的連接體驗。
  • 聲網Agora趙德奎:以實時音視頻技術 賦能教育行業
    趙德奎：聲網Agora成立於2013年，是為全球實時互動音視頻提供雲服務。我們在2020年6月26日成功登陸納斯達克，成為全球實時互動雲服務的第一股。我們為廣大開發者提供互動實時音視頻的直播，實時消息、實時錄製，全球碼流加速等多種API產品，方便開發者通過簡單的調用，能夠在自己的應用裡構建多種實時互動的音視頻場景。
  • 2020第十六屆中國音視頻產業大會在北京召開
    特別是今年以來，全球遭遇新冠肺炎疫情的嚴重衝擊，極大激發了包括音視頻產業在內的非接觸式經濟發展。隨著5G時代來臨，音視頻產業將在更廣範圍、更深程度、更高水平上實現融合，加快實體經濟數位化、網絡化、智能化升級。
  • 音視頻開發之旅(15) OpenGL ES粒子系統 - 噴泉
    OpenGL提供了累加混合技術 GL_BLEND_，公式如下把點修改為紋理圖片下面我們就通過紋理圖片來把每個點繪製為一個點精靈關於紋理的使用如果不熟悉，請先閱讀[音視頻開發之旅（12） OpenGL ES之紋理]首先 修改片元著色器，添加2D紋理
  • 45小時音視頻直播,上海廣播「進寶FM」全景呈現進博會
    平臺通過45小時音視頻直播進播會盛況，收穫不錯效果，也彰顯出上海廣播全媒體平臺的傳播力量。　　「音視圖文」等融合產品多輪式、立體化傳遞開幕式風採。第三屆進博會開幕當天，上海廣播全媒體平臺第一時間音視頻同步轉播開幕式實況和習近平主席視頻發表主旨演講。會後，新媒體平臺接力推送習近平主席主旨演講金句，通過長圖海報、短視頻拆條等形式傳遞習近平主席主旨演講核心內容、重要精神。
  • 訊飛聽見智慧系列產品全面亮相上海音視頻行業年會
    1月9日下午，第八屆上海音視頻行業年會在上海市召開，活動以「創新、融合、提升」為主題，作為一年一度音視頻+智能化行業交流活動，旨在共同學習了解行業特色，推廣優秀的產品和公司，促進音視頻產業的健康發展。此次活動分為外場展區和內場嘉賓區，華為，MAXHUB，海康，創維等眾多老牌大屏廠家紛紛亮相。
  • 音視頻圖像處理技術高光聚焦:深維科技隨賽靈思亮相深圳LiveVideo...
    2019年12月13日，專業的音視頻技術大會LiveVideoStackCon 2019第二場如期在深圳舉行，賽靈思聯合眾多視頻處理領域的合作夥伴共同為業界帶來了精彩的演講和實例演示。
  • 建設音視頻行業健康內容生態,比心陪練呼籲各方聯手共建共治
    建設音視頻行業健康內容生態，比心陪練呼籲各方聯手共建共治 2020年12月2日，「2020音視頻直播行業綠色內容生態共建峰會」在北京舉辦，峰會聚焦「音視頻行業內容健康安全、保護未成年人」的話題，來自政府主管部門
  • 東阿縣訴非聯調中心音視頻調解室上線啦!
    東阿縣訴非聯調中心音視頻調解室上線啦！訴非聯調中心音視頻調解室裡傳來調解員張雲紅的聲音，音視頻調解設備上線第一天，張雲紅便利用它調解成功一起身體權糾紛案件。
  • 佳能開發出高準確度人群計數視頻分析技術
    集微網消息（文/Yuna），據Impress Watch網站報導，12月19日，佳能宣布開發了一種視頻分析技術，利用深度學習技術通過網絡攝像機對數千人的人群進行了實時人數統計。此前利用圖像解析技術統計人群數量時，由於人員密集混雜，鏡頭中人和人之間的重合以及面部朝向不同，很難正確計算出畫面中的人數。佳能新開發的圖像分析技術能夠檢測人的頭部，在人群擁擠的情況下依然能準確計算出人數，從而統計某一區域內人員數量及流動情況。
  • 購買VIP仍無法屏蔽廣告,音視頻「會員套路」知多少?
    酷我音樂被罰事件持續發酵，在微博上引發網友熱議，2020年4月11家音視頻網站被約談，音視頻網站隨著時代的發展受到歡迎，會員標榜權益良多，付費過後發現竟還要付費。音視頻平臺會員被當韭菜割的年代，到底過去了嗎？
  • 票房169元怎麼做到的?
    （原標題：票房169元怎麼做到的？）是一部叫做《故鄉面·參花情》的電影，僅在雲南上映過一場，全年票房169元，觀眾不足10人。票房不過千電影有三部　　根據實時提供精準票房分析服務的貓眼專業版數據，根據2017年票房沒有超過1000元人民幣的電影有三部，是今年票房排行倒數三名。
  • SCP169,活了千萬年的上帝怪獸利維坦
    傳說 上帝在創世的第六天創造了一雌一雄的兩頭怪獸雌性就是盤踞大海的利維坦而雄性則是威震陸地的貝希摩斯在基督教中 利維坦是惡魔的代名詞並被冠以七大罪之一的「嫉妒」而SCP-169就是水手之間代代口頭相傳的「利維坦」大家好 我是王好奇關於在那片神秘海域裡存在著利維坦
  • 一套完整的直播系統開發的流程是怎麼樣的？
    直播熱潮尚未褪去，而直播系統開發究竟是如何實現的？那麼，一套完整的直播系統開發的流程是怎麼樣的？1、音視頻採集採集是播放環節中的第一環，iOS 系統因為軟硬體種類不多，硬體適配性較好，所以比較簡單。Android 則不同，市面上硬體機型非常多，難以做到一個庫適配所有硬體。2、音視頻處理美顏系統是現在直播系統中所必需的一項。
  • SPC-169-J-那個大傢伙
    >SPC-169項目等級： 巨齒鯊1鯊魚毆打策略：因其體型巨大，直接毆打SPC-169被證實無法實行。因此，已建立亞哈計劃來實現對SPC-169的徹底毆打化。亞哈計劃需要五個不同來源的無畏級毆打在南大西洋同時展開：1.  亞哈-1 「尼普頓之拳」：50顆衛星當前位於SPC-169軀體關鍵點上方的靜止軌道上。
  • SCP-169-利維坦
    ：由於它的尺寸，SCP-169不能且可能永遠無法被收容-地球上沒有建築物有如此巨大的尺寸和強度足以收容SCP-169。SCP-169的精確位置未知，但圖像衛星和對地球軌道偏心率的分析顯示SCP-169可能在南大西洋，南美洲的尖端一帶遊蕩（見附錄0-20）。任何顯示了SCP-169的地標(見下文)移動的衛星圖片將被潛伏特工██████ ███████ [IA-0041]分解和銷毀。