使用PaddleGAN修復老電影

2021-02-14 人工智慧研習社


GAN對抗生成網絡，被「卷積網絡之父」Yann LeCun（楊立昆）譽為「過去十年計算機科學領域最有趣的想法之一」，近年來火遍全網。研究人員們使用GAN構建出許多有趣應用，例如圖片變化、超解析度、動作遷移等。

本文帶大家使用基於百度PaddlePaddle框架的GAN套件PaddleGAN，實現老電影修復。

首先我們先看看修復效果吧。

怎麼樣？效果還不錯吧。下面我將帶領大家一步一步實現老電影修復。


源碼可以直接從github上下載。

git clone https://github.com/PaddlePaddle/PaddleGAN.git

也可以通過本文末尾的地址打包下載。

然後確定一下本機的python版本以及CUDA版本，這裡注意需要使用顯卡運行PaddleGAN套件，否則速度會非常慢。

進入以下頁面，搜索2.0.0-rc0版本，然後根據系統環境實際情況選取合適版本的paddlepaddle框架下載。

下載對應版本的paddlepaddle框架後，使用以下命令安裝。

pip install https://paddle-wheel.bj.bcebos.com/2.0.0-rc0-gpu-cuda10.1-cudnn7-mkl_gcc8.2%2Fpaddlepaddle_gpu-2.0.0rc0.post101-cp37-cp37m-linux_x86_64.whl

然後安裝PaddleGAN套件。

cd PaddleGAN/
pip install -v -e .

安裝依賴包

pip install -r requirments.txt -i https://pypi.douban.com/simple



首先需要自己準備一段幾分鐘的黑白視頻片段，如果沒有也可以通過本文末尾的地址下載本程序中的例子。
進入applications目錄執行腳本。

cd applications
python tools/video-enhance.py --input xiaobing1.mp4 --process_order  DeOldify  --output /home/aistudio/output_dir

--input 指定輸入的視頻文件的路徑。

--output 指定輸出修復視頻保存的路徑。

--process_order 指定算法，算法會按順序執行。

目前修復工具支持以下算法：

DAIN:插幀算法，會對原始視頻進行2倍幀率的插幀。

DeepRemaster:視頻修復，一般當原始視頻存在模糊的情況下使用

DeOldify:上色修復，對黑白視頻進行上色，例如本文開頭的效果圖

RealSR:超解析度，可以增大視頻的解析度，同時保證清晰度，適合解析度比較低的視頻

EDVR:超解析度，可以增大視頻的解析度，同時保證清晰度，適合解析度比較低的視頻

以上算法可根據實際情況適當組合。例子中的原始視頻的解析度足夠高，所以沒有使用超解析度算法。

執行代碼後，控制臺輸出以下內容：

You are using Paddle compiled with TensorRT, but TensorRT dynamic library is not found. Ignore this if TensorRT is not needed.Model DeOldify proccess start..
W0108 18:59:55.299445  5019 device_context.cc:338] Please NOTE: device: 0, CUDA Capability: 70, Driver API Version: 11.0, Runtime API Version: 10.1
W0108 18:59:55.304046  5019 device_context.cc:346] device: 0, cuDNN Version: 7.6.
[01/08 18:59:59] ppgan INFO: Found /home/aistudio/.cache/ppgan/DeOldify_stable.pdparams
  1%|▍                                                                                  | 10/1806 [00:09<29:50,  1.00it/s]

程序運行的時間可能會比較長。程序的運行時間受輸入視頻的長度、解析度以及採用的算法組合影響。運行結束後會在--output指定的路徑生成修復好的視頻。

源碼及樣例視頻下載地址:

連結: 

https://pan.baidu.com/s/1x3GTF5iLSwvw7NBhO2XP3w

密碼: ww2g

相關焦點

  • 1956年的老電影《祝福》是這樣被修復的
    它在電影史上的地位也早被公認，美國當代電影理論家大衛·波德維爾所著《世界電影史》形容它：「展現了華麗流暢的製作風格，包括精心製作的室內布景和色彩豐富的攝影技術。」我在上周三（12月23日）晚組織了一場最新4K修復版的《祝福》。經典之光通過4K技術再次綻放，同行的影迷們都被修復的畫質徵服。今晚我就分享一篇專業文章，告訴大家老電影是怎樣被修復的。
  • 與時間賽跑的電影修復師，如何讓老電影「重生」？
    12月10日至30日，全國藝術電影放映聯盟在北京、上海、重慶等11個城市舉辦「珍藏：中國經典影片展映」，由中國電影資料館珍藏和修復的《枯木逢春》《五朵金花》《李雙雙》《錦上添花》《上甘嶺》《英雄兒女》《祝福》《龍鬚溝》《烏鴉與麻雀》《早春二月》10部國產影片重返銀幕。「第一次在大銀幕看修復版的老電影，經典永不過時！」有人評價道。老電影是怎樣修復的？電影修復的標準是什麼？
  • AI助力《開國大典》修復重映,老電影修復工程全面展開!
    為了最大程度地還原這部電影，修復團隊制定了十分詳細周密的方案，將最大化地利用DRS修復系統的功能，把自動化修復與人工修復結合。根據三維六度首席技術官周蘇嶽介紹，通過AI算法，老膠片存在的收縮、捲曲等問題都可以得到解決，但是膠片的撕裂、劃痕等都需要專業的修復師一幀一幀地進行修補。「修復過程中，我們70%的時間都在完成資料片鏡頭的修復工作。」周蘇嶽說道。
  • 揭密4K修復:給老電影換臉還是美容?
    在很多人的印象中，老電影意味著畫面模糊不清，事實上，膠片電影是物理成像，本身解析度能達到6.5K，解析度超過現在的普通2K數字電影，有些用70mm膠片拍攝的片子甚至能達到8K解析度。大多數人對老電影的印象來源於上世紀八九十年代轉制的錄像帶，當時技術所限，轉制後畫面僅僅能達到準標清(低於解析度1280×720)的效果，在電視機上放映效果就會差一點。
  • 【有益思】4K修復讓老電影光彩重生
    上海大學上海電影學院副院長丁友東表示，電影修復的用意一方面是「修舊如舊」，藉助數字修復技術，讓老膠片上損耗的影像儘可能恢復到影片最原始的樣貌。另一方面是讓老影片能夠滿足如今大熒幕放映的要求。　　事實上，據中國電影資料館修復主管王崢解釋，4K修復電影並非是「用4K技術修復的電影」，更貼近事實的含義是用電影修復技術把老電影修復到4K的解析度。
  • 揭秘4K修復:老電影模糊不清 換臉還是美容?
    膠片老電影是如何保存到現在，又是如何通過4K修復技術展露新顏的呢？近日，揚子晚報/紫牛新聞記者聯繫到了位於如皋的江蘇華夏電影膠片修復技術有限公司總經理陳新新，深度解析膠片物理修復的「老手藝」和數字修復的高科技。
  • 電影是如何被修復的
    過去儲存電影的介質主要是膠片，而早期膠片都採用硝酸片基，這是一種比紙更易燃的物質，（雖然在1960年之後基本被醋酸片基、滌綸片基取代），但不管是哪種片基，都很難在常溫下保存很久。褪色、撕裂、髒點、黴變、劃痕、酸變、收縮、扭曲，一旦這樣，珍貴的影像就容易離人遠去。一般來說，電影修復分為物理修復、數字修復、藝術修復三大步驟。
  • 那些被積家協助修復的老電影現在怎樣了?
    積家致力於經典電影拷貝的修復工程，這並非第一次。早在2011年，積家剛剛與上海電影節達成官方合作夥伴關係的時候，就宣布將修復多部中國經典老電影，並在修復完成之後在電影節上進行展映。 以及1937年講述動亂年代裡年輕人於人生十字路口艱難抉擇的老電影，《十字街頭》。
  • 1927年電影《盤絲洞》回歸中國 揭秘老電影修復
    專門的經典老片放映單元是許多著名國際電影節的常設節目，現場伴奏的默片放映則是此類節目中的上品。比如2004年的坎城電影節，法國MK2電影公司邀請了日本著名作曲家久石讓，為美國默片時代喜劇大師巴斯特·基頓的《將軍號》重新譜曲，並現場指揮坎城管弦樂團，為影片放映伴奏。在2013年嘗試性展映修復影片之後，2014年的北京電影節有了自己的「修復單元」。
  • 老電影修復意義很大,但成本收益通常難成正比
    對大多數人來說，電影修復工作依舊是一個神秘地帶，是什麼樣的技術讓老電影煥發全新的生命力，修復要經過多少工序？哪些人在從事這門工作？觀眾又如何看待修復電影？新京報記者獨家專訪業內從事電影修復的專家和學者，抽樣調查觀眾對修復電影的看法，總結分析修復電影在影市的市場現象，揭開這個行業的神秘面紗。
  • 電影頻道巨資修復高清經典電影 老故事全新看點
    電影頻道巨資修復高清經典電影 老故事全新看點 　　電影頻道馬年春節賀歲總動員老電影新故事主題海報    天馬行空，中國有夢。電影頻道馬年賀歲總動員陪父母看電影之老電影新看點。
  • 電影修復的秘密
    上影節、北影節於2014年開設「修復經典」單元，每年展映的經過高清修復的老電影都吸引了眾多影迷的目光，電影修復這個行業也逐漸進入了人們的視野。對於深度影迷來說，CC（美國標準收藏公司）修復版肯定不陌生，經過修復並由CC製作藍光碟發行的電影，似乎煥發了第二次生命。但對大多數人來說，電影修復工作依舊是一個神秘地帶。電影到底是如何被修復的？
  • 揭秘| 老電影修復意義很大,但成本收益通常難成正比
    對大多數人來說，電影修復工作依舊是一個神秘地帶，是什麼樣的技術讓老電影煥發全新的生命力，修復要經過多少工序？哪些人在從事這門工作？觀眾又如何看待修復電影？記者獨家專訪業內從事電影修復的專家和學者，抽樣調查觀眾對修復電影的看法，總結分析修復電影在影市的市場現象，揭開這個行業的神秘面紗。
  • 電影到底是如何被修復的?
    上影節、北影節於2014年開設「修復經典」單元，每年展映的經過高清修復的老電影都吸引了眾多影迷的目光，電影修復這個行業也逐漸進入了人們的視野。對於深度影迷來說，CC（美國標準收藏公司）修復版肯定不陌生，經過修復並由CC製作藍光碟發行的電影，似乎煥發了第二次生命。但對大多數人來說，電影修復工作依舊是一個神秘地帶。電影到底是如何被修復的？
  • 老電影修復記:如何把1920年代的爛片變成國寶
    專門的經典老片放映單元是許多著名國際電影節的常設節目，現場伴奏的默片放映則是此類節目中的上品。比如2004年的坎城電影節，法國MK2電影公司邀請了日本著名作曲家久石讓，為美國默片時代喜劇大師巴斯特·基頓的《將軍號》重新譜曲，並現場指揮坎城管弦樂團，為影片放映伴奏。　　在2013年嘗試性展映修復影片之後，2014年的北京電影節有了自己的「修復單元」。
  • 解密電影修復十三年
    很多人可能不知道，在西安臨潼（中國電影資料館西安電影資料庫所在地），有一支從建館以來就傳承下來的物理修復團隊，修復老電影的這門手藝，在他們之間代代流傳。 而在位於北京的中國電影資料館的數字修復中心，有一群熱愛電影的年輕修復師們，對老電影進行數字修復。
  • 哈利波特魔法覺醒修復咒語怎麼使用 修復咒語使用方法
    哈利波特魔法覺醒修復咒語怎麼使用，哈利波特的魔法世界中有很多的咒語，咒語有輔助類型的有攻擊類型的也有防禦類型的咒語，其中還有很強大的黑魔法咒語以及四大不可饒恕咒語。 哈利波特魔法覺醒修復咒語怎麼使用，哈利波特的魔法世界中有很多的咒語，咒語有輔助類型的有攻擊類型的也有防禦類型的咒語
  • 臺灣老電影膠片修復、那不為人知的一些事兒!向國之匠人致敬!
    在許多人眼裡，修復老電影膠片是一個很神秘的工作。一個月修復十分鐘？這群工作者突然讓我覺得以後看那些被修復的老電影應該更尊重更有儀式感一些。謝謝他們。有人在故宮修文物，也有一群人埋頭於工作室內修電影。聚焦影迷們很感興趣的膠片修復話題，紀錄片《數電影的人》Archiving Time 中字預告。「你眼前的這堆膠片，它們都快死了。我們怎麼能在它們死掉之前，把裡面的資訊保留下來？」現在的年輕人幾多願意做這一行的？寥寥無幾，因為做這一行不賺錢！在臺灣有這樣一群人，正參與在這場時間競賽中。
  • 老電影修復上映成潮流,新瓶裝舊酒為的是商業還是情懷?
    電影修復：一場和時間賽跑的「搶救」對多數修復師來說，電影修復是一門和時間賽跑的「搶救性工作」，2006年，中國電影資料館牽頭啟動了「電影檔案影片數位化修護工程」項目，在中國內地率先開始了發現、收集、拯救、保存中國膠片電影的工作。修復的緊迫感在於，很多檔案資料必須搶救，不抓緊修復就毀了。
  • 修復一部4K老片,從「精修」15萬張圖開始
    事實上，老電影會不會永遠消失，得看修復的速度，能不能趕得上膠片腐爛的速度。膠片的特殊性使得電影修復變得尤為重要，若不做修復，不但老電影不能重煥生機，更有可能是那些老電影將不復存在。，此次修復4K版《畫魂》、《芙蓉鎮》兩部電影，也是上海電影技術廠首次進行自主4K修復工作。