曉查 發自 凹非寺量子位 報導 | 公眾號 QbitAI
連手機都開始用上120幀的顯示屏，但是網上大部分的視頻居然還是30幀。
視頻的幀率已經遠遠趕不上人民群眾的需求了，所以有不少人都在研究如何把普通視頻變成高幀率視頻。
去年，英偉達開源了Super SloMo，從普通的視頻「腦補」出高幀率的畫面，從30fps插幀到240fps，即使放慢8倍也不會感到卡頓。
最近，來自上海交大的一個新的插幀算法DAIN開源。它比英偉達的算法效果更清晰、幀率更高，可以把30fps的進一步插幀到480fps，這已經超過了很多手機的慢動作錄像幀率。
更重要的是，英偉達的Super SloMo只用在了真實拍攝的視頻上，而這項研究卻可以擴展到常見的任何類型視頻：電影、定格動畫、動漫卡通等等。
△ 連埼玉老師的披風都變得絲滑流暢了
如果你覺得上面效果還不夠明顯，可以再看一張。
羽毛的擺動是不是變得更流暢自然了？
可以想像，如果未來把DAIN用於動漫的製作，只要用低幀的動畫就可以生成絲滑的效果，或許能大大減少插畫師的工作。
DAIN的代碼已經開源，甚至研究人員還打包了一份Windows安裝程序，即使沒有任何AI基礎的用戶也可以直接拿來用。
安裝
Windows系統的用戶有現成的exe文件安裝（地址見文末），不過現在仍處於Alpha階段，軟體可能存在一定的不穩定性。
其他平臺的用戶安裝起來也不複雜。
首先確保你的PyTorch版本不低於1.0.0，將項目克隆到本地：
gitclonehttps://github.com/baowenbo/DAIN.git
安裝PyTorch的各個擴展包：
cdDAINcdmy_package./build.sh
還要安裝英偉達預測光流網絡PWCNet的軟體包：
cd../PWCNet/correlation_package_pytorch1_0./build.sh
由於作者已經提供了預訓練模型，我們不必再花費大量精力去訓練。創建目錄model_weights，並且將預訓練模型的權重下載到相應的文件夾中：
cdmodel_weightswgethttp://vllab1.ucmerced.edu/~wenbobao/DAIN/best.pth
運行命令以下命令，就可以開始給視頻插幀啦！
CUDA_VISIBLE_DEVICES=0pythondemo_MiddleBury_slowmotion.py—netNameDAIN_slowmotion—time_step0.25
—time_step之後的參數就是視頻的放慢倍數，0.25代表視頻幀率擴展為原來的4倍。如果要生成8x和10x慢動作，參數就改成0.125和0.1，依此類推。
深度加光流，圖像更清晰
之前已經有很多給視頻插幀的算法，DAIN和它們有什麼不同呢？
DAIN的全稱是Depth-Aware Video Frame Interpolation，即深度感知視頻幀插值。
視頻幀插值的目的是在原始幀之間合成不存在的幀。但是由於大的物體運動或遮擋，插幀的質量通常會比較低。
在這篇研究中，研究人員提出了一種通過探索深度信息來檢測遮擋的方法。
具體來說，作者開發了一個深度感知光流投影層來合成中間流，中間流對較遠的對象進行採樣。此外，學習分層功能以從相鄰像素收集上下文信息。
上圖是DAIN的體系架構：給定兩個時刻的輸入幀，先估計光流和深度圖，然後使用建議的深度感知流投影層生成中間流。
然後，模型基於光流和局部插值內核對輸入幀、深度圖和上下文特徵進行扭曲，合成輸出幀。
這種模型緊湊、高效且完全可微分。定量和定性的結果表明，DAIN在各種數據集上均優於最新的幀插值方法。
作者
這篇文章的第一作者Bao Wenbo，是上海交通大學電子信息與電氣工程學院的博士生。
他目前的研究領域集中在圖像/視頻處理，計算機視覺和機器學習。另外在硬體設計、嵌入式系統和並行編程方面也很有經驗。
傳送門
論文地址：https://sites.google.com/view/wenbobao/dain
項目地址：https://github.com/baowenbo/DAIN
Windows版軟體下載：https://drive.google.com/file/d/1uuDkF4j4H1AI1ot88XdqzwMdvAPhxKN8/view
— 完 —