個人見解,大佬輕拍~相關連結請見文末
先從一月開始1.新年伊始,直播答題還火熱的很,各廠商密集宣傳自家的直播答題技術,好不熱鬧。一年過去了,還有人在玩直播答題嗎?
2.2017年google發布了RAISR算法,超解析度這一話題在多媒體技術圈裡迅速火了起來,以往還只能在學術圈聽到的名詞,開始在各種行業論壇上頻繁出現。一月初,騰訊音視頻實驗室和微信團隊分別介紹了他們的視頻超解析度技術,讓我們看到了國內巨頭對這項技術的實際應用。
3.在視頻編碼領域,一月份也有幾件大事發生首先是Apple加入了AOM聯盟,助力AV1的發展。然後MSU發布最新研究結果表明,僅考慮編碼質量時,AV1的性能已勝過HEVC和VP9,就是編碼速度「慢」了點。一月的最後一天,北京大學數字視頻編解碼技術國家工程實驗室開源了AVS2高清實時編碼器(https://github.com/pkuvcl/xavs2)。
開源編碼器們玩的熱火朝天,MPEG也沒閒著,召開了The 121st MPEG meeting,會議的內容不甚新奇,有趣的是會議剛開完,MPEG的創始人兼主席Leonardo Chiariglione老先生就發了篇博客(http://blog.chiariglione.org/a-crisis-the-causes-and-a-solution/),直言AOM給MPEG帶來的衝擊。老哥,穩!
然後我們愉快的進入二月,海內外華人華僑喜迎春節,多媒體技術圈也不如往日熱鬧1.這個月最值得關注的可能是vlc 3.0.0 "Vetinari"版本的發布,作為三年來第一次大版本更新,這次vlc帶來的更新內容有
默認啟用硬體解碼支持 10bits 和 HDR支持 360° 視頻和 3D 音頻支持高清音頻編解碼器的音頻直通 (audio passthrough)可以流式傳輸視頻到 Chromecast 設備可播放 Blu-Ray Java menus: BD-J現已支持瀏覽本地網絡驅動器和 NAS針對 iPhone X 的優化
總結起來,這次更新後的vlc更適合在移動平臺上使用
2.Netflix發文介紹了AVA(見文末注1),這是一套可以智能選擇視頻封面的算法和工具集。又搶了運營同學的飯碗。
3.我最喜愛的開源播放器Exoplayer本月更新到了2.7.0,添加了Google Cast支持。
三月屬於Netflix,瘋狂輸出三篇雄文第一篇文章介紹Dynamic optimizer — a perceptual video encoding optimization framework(見文末注2),又一次向我們展示了海外巨頭技術體系的完整性。早在2015年,netflix當時推出了per titile encoding方案,隨後的幾年中,netflix又在per titile encoding方案的基礎上研究了Per-Chunk Encoding和Shot-Based encoding方案,讓編碼優化的粒度更加精細。鼎鼎大名的VMAF視頻質量評價方法也誕生於這段時間。到了2018年,將以往這些成果綜合到一起,就誕生了所謂的Dynamic Optimizer。
第二篇文章Optimized Shot Based Encodes Now Streaming(見文末注3)介紹了Dynamic Optimizer在實際部署中遇到的問題和最終達到的效果,如下
第三篇文章Using Machine Learning to Improve Streaming Quality at Netflix(見文末注4)更進一步,向我們介紹如何利用機器學習技術提升流媒體傳輸質量,文章偏綜述性質,但也給我們很多啟發。
在Netflix的三篇雄文之外,AV1也很有存在感,三月28日,AOM終於「announced the first version of AV1」
四月開始1.首先是NAB2018大會,NAB本是廣電圈技術人士的盛會,今年也首次開設「Streaming Summit」欄目,象徵著廣電圈與流媒體圈的「大團結,大融合」~今年的NAB上,我最喜愛的廣電設備品牌BlackMagic發布了新款Pocket Cinema Camera,小小的機身依然蘊含著大大的能量,支持4K/60fps視頻的拍攝。
2.剛剛1.0定稿的AV1自然也在NAB上大放異彩,吸引了很多人的關注。不僅如此,在NAB會議之後,四月17日愛奇藝宣布加入AOM。四月底,Facebook開始實際應用AV1。
3.四月20日,FFmpeg 4.0.0正式發布,代號 「Wu」 ,重點更新如下,其中也包括對AV1的支持:
Bitstream filters for editing metadata in H.264, HEVC and MPEG-2 streamsIntel QSV-accelerated MJPEG encodingNVIDIA NVDEC-accelerated H.264, HEVC, MJPEG, MPEG-1/2/4, VC1, VP8/9 hwaccel decodingIntel QSV-accelerated overlay filterOpenCL overlay filtersupport LibreSSL (via libtls)Removed the ffserver programAdd android_camera indevAV1 Support through libaomHaivision SRT protocol via libsrt
4.同日,The 122nd MPEG meeting結束,為新一代視頻編碼標準定名為Versatile Video Coding,主要目標是改進現有HEVC,提供更高的壓縮性能,同時會針對新興應用(360°全景視頻和HDR)進行優化。VVC預計在2020年之前完成標準化,目前提出的方案相對於HEVC提高已經達到40%以上。
熱鬧了一個月之後,五月的多媒體技術圈又消停了一點首先是我最喜愛的開源播放器Exoplayer更新到了2.8.0,添加了諸多downloading相關功能。
然後Netflix公布 research.netflix.com, 終於有了專門秀肌肉的地方。
最後是Vimeo加入AOM。
沒了。
五月的消停是暴風雨前的寧靜,因為CVPR2018在六月登場。學術大佬們想必早已讀過了精彩的文章,甚至親臨會場念了ppt。想走馬觀花地知道學術圈又搞了什麼大新聞的朋友可以看這篇文章CVPR 2018:十大最酷論文(https://zhuanlan.zhihu.com/p/39049009)
小弟不才,只抽時間認真讀了兩篇文章,分別是和視頻質量增強以及超解析度有關的內容,簡介連結見文末注5和注6。
在CVPR上,nVidia介紹了他們開發的基於深度學習的視頻高幀率轉換系統,效果非常震撼,推薦觀看(https://news.developer.nvidia.com/transforming-standard-video-into-slow-motion-with-ai/)。
CVPR之外,六月還有一件大事:六月7日,繼AVS2視頻部分2016年底頒布為國家標準後,我國第二代數字音頻編碼標準《信息技術 高效多媒體編碼 第3部分:音頻》(簡稱AVS2音頻標準)由國家市場監督管理總局和國家標準化管理委員會頒布為國家標準。
七月到了,nVidia和MIT、阿爾託大學聯合開發的全新AI照片系統Noise2Noise突然火了,它可以將噪點滿滿的照片恢復到臻於完美的水平。一般用深度學習方法進行圖像去噪的時候,都需要大量的訓練圖像樣本對,即帶有噪聲的圖片和去噪後的圖片,可是在Noise2Noise中卻提出了一種不需要無噪聲圖片作為標籤的去噪方法。方法非常有意思,效果也很驚人,如下
除此之外,七月還有幾件事1.金山雲加入AOM2.The 123rd MPEG meeting召開3.ICME 2018學術會議舉辦,雖然不如CVPR,但也有值得一讀的文章
八月的主題是BIRTV2018北京國際廣播電影電視展覽會,國內廣電人的盛會。索尼 8K 攝像機中國首秀,解決了 8K 片源的問題
顯示端,索尼還展示了巨型 8K Crystal LED「黑彩晶」顯示屏。4K還沒普及,8K已經來了。
轉眼到了九月1.九月初,MSU(莫斯科國立大學)公布了2018年視頻編碼壓縮大賽(http://www.compression.ru/video/codec_comparison/hevc_2018/#download_main_report_form)的結果,華為、騰訊、Intel和金山排名居前。
2.全球最具影響力的媒體、娛樂和技術展會(其實就是歐洲廣電展)IBC2018召開,AV1自然也沒有錯過這一次的展示機會。同時Youtube開始測試AV1,並且阿里雲也加入了AOM。
3.Bitmovin發布2018 Video Developer Report,可以看到
在2018年,H.264/AVC仍在video codec領域佔據絕對優勢,使用率為92%。而H.265/HEVC相比2017年有了進一步的增長,使用率為42%。同時,AV1也在快速成長,預計下一年的使用率會達到29%。Apple HLS和MPEG-DASH仍是Streaming formats領域的主力,過半的受訪者都在使用這兩種協議。HTML5目前在OTT平臺上使用較為廣泛。數字版權保護DRM正逐漸被廣大開發者所接受和採用。
4.做OTT平臺的朋友可能知道Netflix認證,也就是說想要在你的設備裡安裝Netflix,先要通過Netflix制定的一系列測試才行。現在強勢的Netflix把觸角伸向了視頻生產源端,成立了Netflix Post Technology Alliance,對攝像機、剪輯工具、調色工具、編碼工具都搞起了認證,通過了認證的設備才能擁有下面的標誌,表示使用這些設備製作的視頻能滿足Netflix的技術指標。Adobe Systems, Arri, Avid, Blackmagic Design, Canon等公司的產品都已經通過了認證。
最後是我最喜愛的開源播放器Exoplayer更新到了2.9.0,添加了VR支持。
十月頗為熱鬧1.國慶當天,以「 be small, be as fast as possible, be very cross-platform, correctly threaded, libre and (actually) Open Source」為目標,VideoLan發布了開源AV1解碼器Dav1d(https://code.videolan.org/videolan/dav1d)。
2.接下來召開了學術會議ICIP2018,上海交大的一篇圖像鑑黃的論文受到了很多報導,但我覺得最實用的還是這篇《ENHANCING PRODUCT IMAGES FOR CLICK-THROUGH RATE IMPROVEMENT》,一個日本團隊做的,很有意思的一個項目。簡而言之,就是優化圖片來提升商品的用戶點擊率,多麼適合用在淘寶上啊,效果如下
3.The 124th MPEG meeting召開,VVC working draft 3 and test model 3 has been issued
4.Demuxed會議召開,會議亮點參見文末注7,會議內容基本還是那點東西:Per-Title編碼,行動裝置的主觀視頻質量評估,VideoLAN介紹了Dav1d,Akamai介紹了CMAF
5.月底,Netflix又輸出了一篇雄文VMAF: The Journey Continues(見文末注8),介紹了VMAF的業界應用現狀,改進的內容和Best Practice
十一月是收禮的一個月
剛剛十一月2日,NASA就給我們帶來了一份大禮:從太空拍攝的8K影像(https://www.油管.com/watch?v=7k2uKb9vCOI)。雖然一般人的網速根本看不了8K,但這仍然是十一月最浪漫的事情啊~
隨後,FFmpeg 4.1 「al-Khwarizmi」版本發布,亮點包括支持MP4容器中的AV1編解碼器,用於解析AV1編碼流的AV1解析器,基於傳輸層安全性(TLS)的mbedTLS支持,SER解復用器以及作為基於DNN的過濾器(如srcnn)的libtensorflow後端。也算是一份「大禮」吧~
緊接著,Microsoft 發布 AV1 Video codec for Windows 10,給Windows用戶送上了一份小禮物。
最後,OpenCV 4.0發布,距離OpenCV 3.0 發布已經過了三年半的時間,加強了對深度神經網絡的支持,並且更徹底的支持c++11。這是已經走過了近 18 個年頭的OpenCV送的一份「大禮」~
年底了,海內外都在歡度聖誕,沒什麼大新聞這個月最酷炫的當屬nVidia,月初發布的這個通過AI技術並結合遊戲引擎實時生成虛擬視頻的方案(https://news.developer.nvidia.com/nvidia-invents-ai-interactive-graphics/)實在是帥到沒朋友,帥到連微博上的營銷號都在轉發了。
十二月9-12日,VCIP2018會議召開。
年底的最後一個新聞是28日,vlc發布3.0.5版本更新,添加了AV1解碼器。
回望2018年的多媒體技術圈大事件,基本都圍繞著AV1和AI展開,給我們清楚地展示了未來的方向。儘管都說今年是困難的一年,但我們依然看到了技術的蓬勃發展。多媒體技術已走過千山萬水,但仍需跋山涉水,在這個千帆競發、百舸爭流的時代,每一個技術人都絕不能有半點驕傲自滿、固步自封,也絕不能有絲毫猶豫不決、徘徊彷徨,必須勇立潮頭、奮勇搏擊。如此,相信2019年會更美好~
參考連結:
AVA:https://medium.com/netflix-techblog/ava-the-art-and-science-of-image-discovery-at-netflix-a442f163af6
Dynamic optimizer — a perceptual video encoding optimization framework:https://medium.com/netflix-techblog/dynamic-optimizer-a-perceptual-video-encoding-optimization-framework-e19f1e3a277f
Optimized Shot Based Encodes Now Streaming:https://medium.com/netflix-techblog/optimized-shot-based-encodes-now-streaming-4b9464204830
Using Machine Learning to Improve Streaming Quality at Netflix:https://medium.com/netflix-techblog/using-machine-learning-to-improve-streaming-quality-at-netflix-9651263ef09f
視頻質量增強論文簡介:https://zhuanlan.zhihu.com/p/34465746
超解析度論文簡介:http://www.cvmart.net/community/article/detail/200
Demuxed會議亮點:http://www.streamingmedia.com/Articles/Editorial/Featured-Articles/Demuxed-18-Highlights-The-Future-of-Codecs-and-Compression-128609.aspx
VMAF: The Journey Continues:https://medium.com/netflix-techblog/vmaf-the-journey-continues-44b51ee9ed12