2018年多媒體技術圈年終事件大回顧

2021-02-23 灰度五十

個人見解,大佬輕拍~相關連結請見文末

先從一月開始1.新年伊始,直播答題還火熱的很,各廠商密集宣傳自家的直播答題技術,好不熱鬧。一年過去了,還有人在玩直播答題嗎?

2.2017年google發布了RAISR算法,超解析度這一話題在多媒體技術圈裡迅速火了起來,以往還只能在學術圈聽到的名詞,開始在各種行業論壇上頻繁出現。一月初,騰訊音視頻實驗室和微信團隊分別介紹了他們的視頻超解析度技術,讓我們看到了國內巨頭對這項技術的實際應用。

3.在視頻編碼領域,一月份也有幾件大事發生首先是Apple加入了AOM聯盟,助力AV1的發展。然後MSU發布最新研究結果表明,僅考慮編碼質量時,AV1的性能已勝過HEVC和VP9,就是編碼速度「慢」了點。一月的最後一天,北京大學數字視頻編解碼技術國家工程實驗室開源了AVS2高清實時編碼器(https://github.com/pkuvcl/xavs2)。

開源編碼器們玩的熱火朝天,MPEG也沒閒著,召開了The 121st MPEG meeting,會議的內容不甚新奇,有趣的是會議剛開完,MPEG的創始人兼主席Leonardo Chiariglione老先生就發了篇博客(http://blog.chiariglione.org/a-crisis-the-causes-and-a-solution/),直言AOM給MPEG帶來的衝擊。老哥,穩!

然後我們愉快的進入二月,海內外華人華僑喜迎春節,多媒體技術圈也不如往日熱鬧1.這個月最值得關注的可能是vlc 3.0.0 "Vetinari"版本的發布,作為三年來第一次大版本更新,這次vlc帶來的更新內容有

默認啟用硬體解碼支持 10bits 和 HDR支持 360° 視頻和 3D 音頻支持高清音頻編解碼器的音頻直通 (audio passthrough)可以流式傳輸視頻到 Chromecast 設備可播放 Blu-Ray Java menus: BD-J現已支持瀏覽本地網絡驅動器和 NAS針對 iPhone X 的優化

總結起來,這次更新後的vlc更適合在移動平臺上使用

2.Netflix發文介紹了AVA(見文末注1),這是一套可以智能選擇視頻封面的算法和工具集。又搶了運營同學的飯碗。

3.我最喜愛的開源播放器Exoplayer本月更新到了2.7.0,添加了Google Cast支持。

三月屬於Netflix,瘋狂輸出三篇雄文第一篇文章介紹Dynamic optimizer — a perceptual video encoding optimization framework(見文末注2),又一次向我們展示了海外巨頭技術體系的完整性。早在2015年,netflix當時推出了per titile encoding方案,隨後的幾年中,netflix又在per titile encoding方案的基礎上研究了Per-Chunk Encoding和Shot-Based encoding方案,讓編碼優化的粒度更加精細。鼎鼎大名的VMAF視頻質量評價方法也誕生於這段時間。到了2018年,將以往這些成果綜合到一起,就誕生了所謂的Dynamic Optimizer。

第二篇文章Optimized Shot Based Encodes Now Streaming(見文末注3)介紹了Dynamic Optimizer在實際部署中遇到的問題和最終達到的效果,如下

第三篇文章Using Machine Learning to Improve Streaming Quality at Netflix(見文末注4)更進一步,向我們介紹如何利用機器學習技術提升流媒體傳輸質量,文章偏綜述性質,但也給我們很多啟發。

在Netflix的三篇雄文之外,AV1也很有存在感,三月28日,AOM終於「announced the first version of AV1」

四月開始1.首先是NAB2018大會,NAB本是廣電圈技術人士的盛會,今年也首次開設「Streaming Summit」欄目,象徵著廣電圈與流媒體圈的「大團結,大融合」~今年的NAB上,我最喜愛的廣電設備品牌BlackMagic發布了新款Pocket Cinema Camera,小小的機身依然蘊含著大大的能量,支持4K/60fps視頻的拍攝。

2.剛剛1.0定稿的AV1自然也在NAB上大放異彩,吸引了很多人的關注。不僅如此,在NAB會議之後,四月17日愛奇藝宣布加入AOM。四月底,Facebook開始實際應用AV1。

3.四月20日,FFmpeg 4.0.0正式發布,代號 「Wu」 ,重點更新如下,其中也包括對AV1的支持:

Bitstream filters for editing metadata in H.264, HEVC and MPEG-2 streamsIntel QSV-accelerated MJPEG encodingNVIDIA NVDEC-accelerated H.264, HEVC, MJPEG, MPEG-1/2/4, VC1, VP8/9 hwaccel decodingIntel QSV-accelerated overlay filterOpenCL overlay filtersupport LibreSSL (via libtls)Removed the ffserver programAdd android_camera indevAV1 Support through libaomHaivision SRT protocol via libsrt

4.同日,The 122nd MPEG meeting結束,為新一代視頻編碼標準定名為Versatile Video Coding,主要目標是改進現有HEVC,提供更高的壓縮性能,同時會針對新興應用(360°全景視頻和HDR)進行優化。VVC預計在2020年之前完成標準化,目前提出的方案相對於HEVC提高已經達到40%以上。

熱鬧了一個月之後,五月的多媒體技術圈又消停了一點首先是我最喜愛的開源播放器Exoplayer更新到了2.8.0,添加了諸多downloading相關功能。

然後Netflix公布 research.netflix.com, 終於有了專門秀肌肉的地方。

最後是Vimeo加入AOM。

沒了。

五月的消停是暴風雨前的寧靜,因為CVPR2018在六月登場。學術大佬們想必早已讀過了精彩的文章,甚至親臨會場念了ppt。想走馬觀花地知道學術圈又搞了什麼大新聞的朋友可以看這篇文章CVPR 2018:十大最酷論文(https://zhuanlan.zhihu.com/p/39049009)

小弟不才,只抽時間認真讀了兩篇文章,分別是和視頻質量增強以及超解析度有關的內容,簡介連結見文末注5和注6。

在CVPR上,nVidia介紹了他們開發的基於深度學習的視頻高幀率轉換系統,效果非常震撼,推薦觀看(https://news.developer.nvidia.com/transforming-standard-video-into-slow-motion-with-ai/)。

CVPR之外,六月還有一件大事:六月7日,繼AVS2視頻部分2016年底頒布為國家標準後,我國第二代數字音頻編碼標準《信息技術 高效多媒體編碼 第3部分:音頻》(簡稱AVS2音頻標準)由國家市場監督管理總局和國家標準化管理委員會頒布為國家標準。

七月到了,nVidia和MIT、阿爾託大學聯合開發的全新AI照片系統Noise2Noise突然火了,它可以將噪點滿滿的照片恢復到臻於完美的水平。一般用深度學習方法進行圖像去噪的時候,都需要大量的訓練圖像樣本對,即帶有噪聲的圖片和去噪後的圖片,可是在Noise2Noise中卻提出了一種不需要無噪聲圖片作為標籤的去噪方法。方法非常有意思,效果也很驚人,如下

除此之外,七月還有幾件事1.金山雲加入AOM2.The 123rd MPEG meeting召開3.ICME 2018學術會議舉辦,雖然不如CVPR,但也有值得一讀的文章

八月的主題是BIRTV2018北京國際廣播電影電視展覽會,國內廣電人的盛會。索尼 8K 攝像機中國首秀,解決了 8K 片源的問題

顯示端,索尼還展示了巨型 8K Crystal LED「黑彩晶」顯示屏。4K還沒普及,8K已經來了。

轉眼到了九月1.九月初,MSU(莫斯科國立大學)公布了2018年視頻編碼壓縮大賽(http://www.compression.ru/video/codec_comparison/hevc_2018/#download_main_report_form)的結果,華為、騰訊、Intel和金山排名居前。

2.全球最具影響力的媒體、娛樂和技術展會(其實就是歐洲廣電展)IBC2018召開,AV1自然也沒有錯過這一次的展示機會。同時Youtube開始測試AV1,並且阿里雲也加入了AOM。

3.Bitmovin發布2018 Video Developer Report,可以看到

在2018年,H.264/AVC仍在video codec領域佔據絕對優勢,使用率為92%。而H.265/HEVC相比2017年有了進一步的增長,使用率為42%。同時,AV1也在快速成長,預計下一年的使用率會達到29%。Apple HLS和MPEG-DASH仍是Streaming formats領域的主力,過半的受訪者都在使用這兩種協議。HTML5目前在OTT平臺上使用較為廣泛。數字版權保護DRM正逐漸被廣大開發者所接受和採用。

4.做OTT平臺的朋友可能知道Netflix認證,也就是說想要在你的設備裡安裝Netflix,先要通過Netflix制定的一系列測試才行。現在強勢的Netflix把觸角伸向了視頻生產源端,成立了Netflix Post Technology Alliance,對攝像機、剪輯工具、調色工具、編碼工具都搞起了認證,通過了認證的設備才能擁有下面的標誌,表示使用這些設備製作的視頻能滿足Netflix的技術指標。Adobe Systems, Arri, Avid, Blackmagic Design, Canon等公司的產品都已經通過了認證。

最後是我最喜愛的開源播放器Exoplayer更新到了2.9.0,添加了VR支持。

十月頗為熱鬧1.國慶當天,以「 be small, be as fast as possible, be very cross-platform, correctly threaded, libre and (actually) Open Source」為目標,VideoLan發布了開源AV1解碼器Dav1d(https://code.videolan.org/videolan/dav1d)。

2.接下來召開了學術會議ICIP2018,上海交大的一篇圖像鑑黃的論文受到了很多報導,但我覺得最實用的還是這篇《ENHANCING PRODUCT IMAGES FOR CLICK-THROUGH RATE IMPROVEMENT》,一個日本團隊做的,很有意思的一個項目。簡而言之,就是優化圖片來提升商品的用戶點擊率,多麼適合用在淘寶上啊,效果如下

3.The 124th MPEG meeting召開,VVC working draft 3 and test model 3 has been issued

4.Demuxed會議召開,會議亮點參見文末注7,會議內容基本還是那點東西:Per-Title編碼,行動裝置的主觀視頻質量評估,VideoLAN介紹了Dav1d,Akamai介紹了CMAF

5.月底,Netflix又輸出了一篇雄文VMAF: The Journey Continues(見文末注8),介紹了VMAF的業界應用現狀,改進的內容和Best Practice

十一月是收禮的一個月

剛剛十一月2日,NASA就給我們帶來了一份大禮:從太空拍攝的8K影像(https://www.油管.com/watch?v=7k2uKb9vCOI)。雖然一般人的網速根本看不了8K,但這仍然是十一月最浪漫的事情啊~

隨後,FFmpeg 4.1 「al-Khwarizmi」版本發布,亮點包括支持MP4容器中的AV1編解碼器,用於解析AV1編碼流的AV1解析器,基於傳輸層安全性(TLS)的mbedTLS支持,SER解復用器以及作為基於DNN的過濾器(如srcnn)的libtensorflow後端。也算是一份「大禮」吧~

緊接著,Microsoft 發布 AV1 Video codec for Windows 10,給Windows用戶送上了一份小禮物。

最後,OpenCV 4.0發布,距離OpenCV 3.0 發布已經過了三年半的時間,加強了對深度神經網絡的支持,並且更徹底的支持c++11。這是已經走過了近 18 個年頭的OpenCV送的一份「大禮」~

年底了,海內外都在歡度聖誕,沒什麼大新聞這個月最酷炫的當屬nVidia,月初發布的這個通過AI技術並結合遊戲引擎實時生成虛擬視頻的方案(https://news.developer.nvidia.com/nvidia-invents-ai-interactive-graphics/)實在是帥到沒朋友,帥到連微博上的營銷號都在轉發了。

十二月9-12日,VCIP2018會議召開。

年底的最後一個新聞是28日,vlc發布3.0.5版本更新,添加了AV1解碼器。

回望2018年的多媒體技術圈大事件,基本都圍繞著AV1和AI展開,給我們清楚地展示了未來的方向。儘管都說今年是困難的一年,但我們依然看到了技術的蓬勃發展。多媒體技術已走過千山萬水,但仍需跋山涉水,在這個千帆競發、百舸爭流的時代,每一個技術人都絕不能有半點驕傲自滿、固步自封,也絕不能有絲毫猶豫不決、徘徊彷徨,必須勇立潮頭、奮勇搏擊。如此,相信2019年會更美好~

參考連結:

AVA:https://medium.com/netflix-techblog/ava-the-art-and-science-of-image-discovery-at-netflix-a442f163af6

Dynamic optimizer — a perceptual video encoding optimization framework:https://medium.com/netflix-techblog/dynamic-optimizer-a-perceptual-video-encoding-optimization-framework-e19f1e3a277f

Optimized Shot Based Encodes Now Streaming:https://medium.com/netflix-techblog/optimized-shot-based-encodes-now-streaming-4b9464204830

Using Machine Learning to Improve Streaming Quality at Netflix:https://medium.com/netflix-techblog/using-machine-learning-to-improve-streaming-quality-at-netflix-9651263ef09f

視頻質量增強論文簡介:https://zhuanlan.zhihu.com/p/34465746

超解析度論文簡介:http://www.cvmart.net/community/article/detail/200

Demuxed會議亮點:http://www.streamingmedia.com/Articles/Editorial/Featured-Articles/Demuxed-18-Highlights-The-Future-of-Codecs-and-Compression-128609.aspx

VMAF: The Journey Continues:https://medium.com/netflix-techblog/vmaf-the-journey-continues-44b51ee9ed12

相關焦點

  • 「回顧」2018留學考試圈發生了這8大事件,2019別鬧!
    還有5天將迎來2019年的鐘聲,回顧2018這一年,國際留學考試圈都發生了哪些令人唏噓的大事!讓我們穿越一下,捋一捋這一年發生的巨大變化。此時,2018倒帶中...雅思考試費用調整為2020元自2018年1月2日起,凡報名2018年4月1日之後舉行的雅思考試,其報名費調整為人民幣2020元。
  • 2019年僅剩7天,這一年哪些刷屏事件值得關注 | 年終盤點
    然而當我們回顧這一年的點點滴滴就會發現2019並不只有「喪」與「失落」還有驕傲、溫情和希望並存。我們把2019濃縮成了這篇小小的年終盤點希望屏幕前的你不光想起2019的煩惱和不快還有2019的愛與美好。
  • 2018年9大自媒體事件丨年終盤點
    2018年即將結束。 在這一年裡,自媒體行業發生了很多大事。 其中有些事件,甚至左右了自媒體行業的發展。 今天,通過這篇「年終盤點」,可以一窺今年自媒體行業的發展路徑。
  • 回顧2018熱搜詞背後重大事件:楊冪離婚只是冰山一角,震驚了
    回顧2018熱搜詞背後重大事件:楊冪離婚只是冰山一角,震驚了,哈嘍大家好,臨近年終,今天小編說的是2018的熱搜詞背後重大事件,隨便盤點了一下,簡直是多的讓人驚訝,希望大家搬好小板凳,西西聽小編細說,雖然有點長,但是絕對每一個都是大瓜,希望各位看官,整理好心態,看小編詳細分解,先說好了,心臟不好的,最好不要看下去,沒耐心的最好也直接退出
  • Update 年終回顧 & FAQ
    Alan 在 2019 年年底產生的一個想法,在與不少朋友以及同事溝通過後,這一 Newsletter 計劃得以正式起步,已經是 2020 上半年的事情了。在這一過程中,另一個更加具有代表性意義的事件,可能是在少數派更新的有關 Android 11 更新專欄「Android 11 具透」,這一從 2 月底一直持續到了 9 月上旬的事件,除了 Alan 本身也會與少數派兩位編輯一道參與到內容製作外,其實也從那時起,開始在 Telegram Channel「Newlearnerの自留地」開始更新,並確定下來了如今 Update 的推送格式。
  • 年終回顧 | 2020,承認自己是一個差生
    去年的年終總結說20年想要找機會深入了解OH Card這一工具,想要成為手拿OH card的諮詢師.端午參加了線下三天的OH Card諮詢師的培訓,之後分別帶了線上線下各一期的OH Card團體,是一年中為數不多Flag實現的高光時刻.
  • 年終回顧:2020圈內十大爆款信用卡
    2020年已經接近尾聲,這一年信用卡圈發生了很多大事件,過去一年中都有哪些信用卡是大家曾經最關注的呢?小卡翻閱了一整年的歷史數據,帶你一起回顧這屬於卡圈人不平凡的一年。各大航司紛紛針對醫護人員出臺了優惠政策,各家銀行也相繼推出了「白衣天使」主題信用卡,其中,廣發銀行聯合國家衛生健康委員會主管的國家4A級公募型基金會—「中國初級衛生保健基金會」發行了守護天使公益信用卡。
  • 2018網絡安全事件回顧 & 2019年網絡安全趨勢預測
    根據2018年電子郵件安全趨勢報告,93%的漏洞包括網絡釣魚(或魚叉式網絡釣魚)元素。降低風險需要將網絡安全的技術方面,包括採用人工智慧驅動的工具以更好地檢測威脅與實際操作相結合。然而,後者是組織經常落後的地方。為了能夠自衛,他們需要為員工配備相關技術來發現可疑電子郵件,並將其與更先進的網絡安全培訓方法相結合。
  • 2018年1月技術移民消息大匯總!
    飛出國FLYabroad十年加美澳新專業移民團隊2018年才過去不到半個月,移民消息就已接連不斷,接下來,就讓小編來帶大家回顧下這十天內的移民消息吧!2018年1月10日薩省EE開放400配額繼1月1日烏龍事件後,薩省EE類別2018年1月10日明確開放400配額,這是2018年薩省技術移民1月3日發布緊缺職業無僱主offer類別配額後第一次開放
  • 年終回顧 | 2017,一名新華社記者的自述
    (原標題:年終回顧 | 2017,一名新華社記者的自述) ;;
  • 為什麼網際網路巨頭熱衷「年終盤點」?
    編輯導語:每到年底,各大APP就開始了年終盤點,無論是支付寶的年終帳單,還是網易雲的年終歌單,都可以讓我們通過數字快速的回顧這一年。隨著做年終盤點的產品越來越多,做出花樣,做出創新也越來越難。既然如此,為什麼網際網路巨頭仍然熱衷於年終盤點呢?
  • 年終盤點:2018年,最好的女表有哪些?
    轉眼又到了年末,在將近一年的時間裡,各大品牌都相繼推出了自己的得意之作,讓整個2018的鐘表界顯得精彩紛呈。到現在為止,今年的新款都差不多已經完成亮相,我們也是時候來個年終總結盤點,看看這一年以來,有哪些腕錶的表現最為搶眼。
  • 信息技術《多媒體技術的發展》答辯
    1.多媒體技術中所說的媒體是指什麼?【參考答案】在多媒體技術中所說的媒體是指信息的表現形式。媒體在計算機行業裡,媒體有兩種含義:其一是指傳播信息的載體,如語言、文字、圖像、視頻、音頻等等;其二是指存貯信息的載體,如ROM、RAM、磁帶、磁碟、光碟等,主要的載體有CD-ROM、VCD、網頁等。
  • 回顧篇 | 2017年8大翡翠事件,你造嗎?
    2017 剛剛過去 ,翡翠臺珠寶與您一起回顧年度 『 8大翡翠事件 』 01 遊客在雲南打碎30萬元手鐲當場嚇暈 後經第三方估價店方索賠17萬事件引起了全民的高度關注。各路網友就玉鐲的價值、雙方賠償問題以及翡翠市場黑幕等進行了議論,轟動一番。
  • 2018最後一天感言說說 怎麼發朋友圈告別2018年
    2018最後一天感言說說 怎麼發朋友圈告別2018年  2018年要結束了,怎麼發朋友圈告別2018年,我們一起來看看吧~【再見2018你好2019語錄說說】【致2019年的自己說說】  新年快樂  2018年就剩一天了,手頭上沒完成的事兒眼看著是完不成了,既然這樣,那乾脆不幹了,反正都是完不成,明年再說。  過了今天,2018就將結束。
  • 2018半年度 多媒體音箱市場調研報告出爐
    012018上半年 多媒體音箱市場概述    不知不覺中,2018年已經過去了一半,回顧上半年,整個多媒體音箱市場最重要的事情應該就是CES ASIA(亞洲國際消費電子展)了。每一年的CES ASIA都向外界傳達著最新的技術和創新產品,以及接下來的行業發展趨勢,今年當然也不例外。縱觀2018上半年,無線和智能成為了整個行業發展的主旋律。而對於音頻市場來說,耳機市場如此,多媒體音箱市場亦如此。    在多媒體音箱市場,主打語音交互和大數據算法的AI智能音箱迎來爆發,並逐漸成為智能家居的入口,打通與眾多智能硬體的聯動。
  • 年終盤點:2018年,最好的計時碼錶有哪些?
    轉眼又到了年末,在將近一年的時間裡,各大品牌都相繼推出了自己的得意之作,讓整個2018的鐘表界顯得精彩紛呈。到現在為止,今年的新款都差不多已經完成亮相,我們也是時候來個年終總結盤點,看看這一年以來,有哪些腕錶的表現最為搶眼。
  • 程式設計師的2018年終總結該怎麼寫?如何寫一份滿意的年終報告?
    2017 年,發生了很多事,不管怎樣,作為一個程式設計師,這是工作、生活,以及自己給的標籤。也許很快這個標籤會泛黃、蝶化、零落成泥碾作塵,不過不論怎樣,它是你青春的紀念,它仍將伴隨著你繼續前行。不知道各位程式設計師在寫年終總結時,會不會要絞盡腦汁、咬文嚼字半天才能做出一個圖表、寫出一句話來,而且寫的總結經常會因為一些原因被退回,要求修改,甚至是重寫~ 一個優秀的年終總結,既是對自己一年來工作的回顧,又是來年新的工作計劃的基礎,對個人職場成長至關重要。你還在抄網上的千篇一律的報告嗎?
  • 2018 年全球網際網路十大數據洩露事件盤點
    1.Aadhaar洩密指數:★★★★★洩密數量:10億條事件時間:2018年1月3日事件回顧:今年1月份,印度10億公民身份資料庫Aadhaar被曝遭網絡攻擊,該資料庫除了名字、電話號碼、郵箱地址等之外還有指紋、虹膜紀錄等極度敏感的信息。
  • 2020年終回顧:娛樂圈十二大流行梗,羅志祥獨佔兩席!
    2020臨近年終,感慨頗多。從重啟2020到告別2020,我們經歷過悲觀,也見證過離合。尤其是對於娛樂圈,各類事件層出不窮,有人歡喜有人愁。各類娛樂事件發酵背後,衍生出不少流行詞彙,成為網友茶餘飯後的調侃之言。