阿波羅登月51周年,程式設計師用DAIN技術還原阿波羅登月高清影像,效果...

2020-11-22 36kr

編者按：本文來自微信公眾號「新智元」（ID:AI_era），編輯：雅新，36氪經授權發布。

來源：science alert

7月20日是阿波羅登月51周年。一位YouTube名為DutchSteamMachine的程式設計師使用AI技術修復了阿波羅登月的原始影像，將登月鏡頭的像素從每秒12幀提升到每秒60幀，效果令人震撼。

7月20日是阿波羅登月51周年。1969年7月20日，尼爾阿姆斯特朗成為登月第一人，他在月球上邁出的一步是令人難以置信的一步。

想當年，阿姆斯特朗的聲音通過電視傳到了世界的各個角落，並寫入歷史：「對一個人來說，這是一小步，但對人類來說，這是一次飛躍。」

觀看阿波羅登月的所有歷史性鏡頭令人興奮又激動，但有時觀影質量體驗並不是那麼好。儘管NASA致力於恢復和增強一些最流行的阿波羅影像，但其中一些鏡頭仍然模糊不清。

近日，一位YouTube名為DutchSteamMachine的照片和電影恢復專家，使用 AI 技術來增強阿波羅原始影像的效果，從而製作出清晰，生動的視頻剪輯和圖像。

他告訴《今日世界》雜誌，「我想提供一個前所未有的復現舊影像的體驗。」

登月鏡頭像素提升至60 FPS，如同觀賞1080p的影片

一起來感受下Charlie Duke 和 John Young一起進行的阿波羅16號月球車穿越過程中的增強鏡頭，通過AI修復，最初以每秒12幀（FPS）拍攝的鏡頭已提升到每秒60幀。

看看這凹凸不平的月球，如此清晰的畫面簡直令人驚嘆，第一視角讓人身臨其境。

在增強的阿波羅15號 Hadley Rille 著陸點景象中，月球表面的清晰景象讓人震撼，每一個坑窪都清清楚楚，即便沒有VR眼鏡，也完全讓你感受到自己登上了月球。

再看尼爾阿姆斯特朗在Apollo 11 進行登月的「第一步」視頻的增強版中由月球模塊內部的16mm攝像機拍攝的清晰度如何？

‍

登月第一人的腳重重地踏在月球表面，右腳後揚起了土的畫面都那麼清晰。

不僅如此，這些錄像還同步了特定任務的原始音頻，如果仔細聽，可以聽到太空人說話的聲音。

通過AI高清還原的阿波羅號的鏡頭，帶我們去月球遊玩了一圈。

視頻是怎麼修復的？用了AI開源工具DAIN 

DutchSteamMachine使用的AI稱為深度感知視頻幀INterpolation，簡稱DAIN。這是一個免費開源的的項目，並且不斷得到開發和完善。

DAIN：深度感知視頻幀插值（DAIN）模型，通過探索深度信息來顯式地檢測遮擋。該項目開發了一個深度感知流動投影層，優選取樣更近的物體，以合成中間流插補視頻幀。

開源地址：https://grisk.itch.io/dain-app

運動插值或運動補償幀插值是視頻處理的一種形式，其中在現有幀之間生成中間動畫幀，以使視頻更加流暢，補償模糊等。

DutchSteamMachine表示，「人們已經使用相同的AI項目將1900年代的舊電影錄音帶入了高清和彩色的生活。這項技術似乎適用於許多新的鏡頭，這是一件了不起的事情。」

此前，90後程式設計師大谷用AI修復了100年前老北京影像，並還原影視原聲也曾是火出了圈，其中也用到了DAIN技術。

這位作者在這裡面一共用了3個在GitHub上開源的AI程序，第一個是負責做補幀的DAIN，第二個是做解析度擴增的ESRGAN，第三個是上色的DeOldify，綜合到一起才做成了這個視頻。

使用AI進行修復需要一個功能強大的高端GPU才能完成。DutchSteamMachine解釋道，「短短5分鐘的視頻可能需要6到20個小時才能完成，但結果不言而喻。」

他闡述了他是如何進行這項工作的：

1.尋找質量最高的源視頻，恰恰作者找到的這些源視頻是高比特率的720p視頻文件，因為在儘可能高的源視頻進行編輯是更加有助於還原視頻高清晰度。

2.找到拍攝鏡頭的幀率，通常可以在NASA文檔中找到。由於有時幀率似乎不正常或波動，並非總是按預期運行。因此，找到幀率的最佳方法是聽太空人正在談論的地標，並將鏡頭與之匹配。

3.將源文件分成單獨的PNG幀，將它們與輸入幀率（1、6、12或24）以及按插值率（2x，4x，8x）所需的輸出幀率一起輸入到AI。AI開始使用GPU，並查看兩個連續的真實幀。

4.應用顏色校正，因為源文件通常帶有藍色或橙色。再將素材與音頻同步。

DutchSteamMachine會在業餘時間完成這項工作，並將其發布到他的YouTube主頁。他還有一個Flickr頁面，其中包含更多增強的圖像，每張圖像重現了過去的景象，令人著迷。

Flickr：https://www.flickr.com/people/steamarchive/

DutchSteamMachine希望「為將來保留過去」，期待他下一個AI修復視頻～

參考連結：

https://www.sciencealert.com/watch-this-old-apollo-footage-get-upgraded-into-a-60-fps-masterpiece

相關焦點

  • 阿波羅登月51周年!程式設計師還原阿波羅登月高清影像,效果震撼
    【新智元導讀】7月20日是阿波羅登月51周年。一位YouTube名為DutchSteamMachine的程式設計師使用AI技術修復了阿波羅登月的原始影像，將登月鏡頭的像素從每秒12幀提升到每秒60幀，效果令人震撼。7月20日是阿波羅登月51周年。
  • 阿波羅登月 50 年,我在 iPhone 上發射火箭
    而在阿波羅登月 50 周年之際，數字營銷公司 Digitas 開發的一款 AR 應用 《JFK Moonshot》也正式上架了 iOS 和 Android 平臺。這款應用可以視為是一次對阿波羅登月事件的全面回顧，但它不僅有視頻、圖片和音源資料，還嘗試用 AR 增強現實技術來還原各種經典景象，展示上無疑會更為直觀、有趣。
  • 美國阿波羅登月計劃是造假?看看這些當年的高清登月照片就明白了
    在人類進軍宇宙的歷史中，上世紀六十年代的美國「阿波羅登月計劃」是始終無法繞不開的。1961年4月12日，蘇聯太空人成為人類進入太空第一人。當美國政府得知這一消息之後，極其震驚，因為這表明蘇聯在航天技術已經領先美國一步。當時美國總統甚至憤怒地表示，「這是繼蘇聯第一顆人造地球衛星上天之後，對美國民族的又一次奇恥大辱！」
  • 阿波羅11號登月49周年
    日20時17分40秒(UTC)，阿波羅11號登陸月球，7月21日2時56分(UTC)，阿姆斯特朗踏上月球，這是他個人的一小步，卻是人類的一大步。為紀念阿波羅11號登月49周年，NASA TV將同步（49周年後）播放一段全新的視頻，請做好準備，直播地址：https://www.nasa.gov/multimedia/nasatv/#publicAstroReality 製作了重溫月球之旅的頁面，回顧了人類月球任務的歷史，最後定格於阿波羅11號著陸點，網址：https://  www.astroreality.com
  • NASA再次公布大批阿波羅號登月點高清照片、視頻
    為了真實再現當年的阿波羅登月壯舉、澄清某些流言蜚語，美國航空航天局(NASA)曾在2009年7月底公布一組照片，首次近距離展示了阿波羅11/14/15/16/17號登月點附近的情況。今天，NASA再次奉上大禮，又公布了阿波羅12/14/17號(13號未成功)登月點的多張清晰度空前的高清照片，以及一部高清視頻。
  • 阿波羅11號登月50周年,阿波羅計劃電影盤點
    93分鐘的紀錄片採用了首次發現的65毫米大畫幅膠捲拍攝的影像資料和超過11,000小時的原始音頻資料，為人類歷史上最具標誌性和歷史性的時刻展現全新的視角。《登月第一人》《登月第一人》（2018），改編傳記作品《第一人：尼爾·阿姆斯特朗的人生》，聚焦傳奇太空人尼爾·阿姆斯特朗的生平，重點講述他在1961-1969年間成為人類歷史上第一個登月者的過程，同時也展現出人類在這次史上最危險的宇宙探索徵途中所付出的難以想像的國家與個體犧牲
  • 阿波羅登月騙局!(二)
    2002年《每日電訊報》發表了一個故事說，歐洲天文學家將使用望遠鏡觀察「阿波羅」登月著陸器的殘骸。根據這個故事，理察·威斯特博士說，他的團隊可以拍攝「阿波羅」登月現場的高清圖片。「馬庫斯·艾倫相信登月行動是一場騙局，他在故事中指出，沒有哪張月球上的金屬製品的圖片能說服他相信載人登月真實發生(艾倫相信機器人任務中將物體放置在了那裡)。
  • 分析:「阿波羅登月」是騙局嗎?
    戈爾多夫表示，他質疑30多年前美國太空人「拍攝」的登月照片和攝像記錄，並不是否定當年美國太空人登月的壯舉。他認為，美國太空人當時是接近了月球表面，但因技術原因未能踏上月球。由於當時美國急於向全世界表功，因而偽造了多幅登月照片和一部攝影記錄片，蒙蔽和欺騙了世人幾十年。他說，美國著名工程師拉爾夫·勒內、英國科學家戴維·佩裡和馬裡·貝爾特都對他的這一質疑表示贊同。
  • 阿波羅 11 號登月 50 周年,回顧阿波羅號探月計劃
    北京時間7月15日消息，據美國宇航局網站報導，阿波羅11號飛船登月50周年紀念日臨近，讓我們再次回顧一下阿波羅號計劃的探月歷史。弗蘭克·博爾曼、吉姆·洛弗爾和比爾·安德斯是第一批登上強大土星5號火箭的太空人，他們用了20個小時繞月飛行。1968年聖誕節前夜，太空人朗讀了令人難忘的《創世紀》，安德斯在地球軌道上拍攝到標誌性圖像「地出」。機組人員：指揮官弗蘭克·博爾曼、月球艙駕駛員比爾·安德斯、飛行艙指揮員吉姆·洛弗爾。發射時間：1968年12月21日。
  • 阿波羅登月計劃是一場騙局?
    作為第一個走出登月艙踏上月球表面的人,阿姆斯特朗說出了那句名垂青史的話:「這是我的一小步,卻是全人類的一大步。」 從某種意義上說,「阿波羅登月計劃」本該是人類歷史上最不應受到質疑的大工程,用奧爾德林的話說:「你可以相信金字塔是外星人幫忙建造的,可以相信馬可波羅從未去過中國,但你不應該質疑我們曾經登上過月球。」
  • 阿波羅11號登月50周年紀念,人類為什麼自此不再登月了?
    2019年7月20是人類登月50周年紀念日。50年前的7月16日，巨大的「土星5號」火箭載著 「阿波羅11號」宇宙飛船從美國的甘迺迪航天中心點火升空。開始了人類首次的登月徵程。美國太空人阿姆斯特朗、奧爾德林和柯林斯乘坐宇宙飛船飛越了38萬公裡徵程。最終於7月20日踏上了月球表面。
  • 登月50周年:這組圖帶你了解阿波羅
    周六（7月20日）正值阿波羅11號（Apollo 11）登月50周年，本文帶你了解人類首次登月背後的冷知識，以及全球各地民眾舉辦哪些紀念活動。圖為1969年7月20日，美國太空人乘坐阿波羅11號（Apollo 11）太空船登上月球，實現人類歷史上首次登月。
  • 阿波羅11號登月50周年 任務飛控中心復古裝修後重新對外開放
    還有不到3周時間就是阿波羅11號登月50周年的紀念日，6月28日，位於航天城休斯頓的原阿波羅任務飛行控制中心大廳被重新裝修成當年的樣子並剪彩，來紀念人類這一偉大的時刻。吉恩與NASA局長為控制中心剪彩如果你看過阿波羅登月任務的記錄片，那麼你對與休斯頓飛控中心和當年那個穿白馬甲的年輕人「吉恩」一定印象深刻，他嘴巴叼著菸斗，時不時用凝重的目光盯著顯示器，還會通過耳麥與工作人員進行交流。
  • 登月50周年,我們都是「阿波羅」計劃的受益者
    同樣是為了回應「燒錢」的質疑,美國政府前些年曾公布過一個數據,稱「阿波羅」計劃每一美元的投入,最終都能帶來4-5美元的收益,原因是迄今為止「阿波羅」計劃已經衍生出了接近4000種技術應用,深入我們生活的方方面面。都有哪些技術呢?比如你吃的方便食品中的脫水蔬菜包,最初就是NASA為了讓太空人在太空裡吃到蔬菜以補充維生素而發明的。
  • 阿波羅登月高清老照片:2015年才曝光,圖8一公布就引起軒然大波
    【登月艙開始降落】「阿波羅登月計劃」是指，上世紀60年代美國實行的人類成功登月並安全返回的巨大航天工程。資料顯示，阿波羅登月工程開始於1961年5月，至1972年12月第6次登月成功結束，歷時約11 年，耗資255億美元，巔峰期時有30萬參與。（這是一組反映阿波羅登月的高清老照片。）
  • 阿波羅登月是偽造的
    自1969年11月美國宣布，美國的阿波羅成功登月後，世界各地的人們就存在許多質疑，其中也肯定包括中國人的質疑！可是前幾年中國科學院有那麼幾個人還在電視上信勢旦旦的說，美國的阿波羅登月是真的。暫且先不管外國人是怎麼質疑的，外國人質疑的問題許多都是天文問題，太過高深，我也弄不明白，但我這些年來始終有一個問題未解開，那就是阿波羅登月後他是怎麼回到地球的？
  • 阿波羅登月為什麼停止了,陰謀論者是外星人的威脅
    其實，在1971年「阿波羅15號」執行任務時，就已經發現了這個物體，當時，太空人們認為那是一塊外形奇特的巖石。後來，經過研究發現，這個物體應該是智慧生命的傑作，而且其存在的時間已經長達15億年!後來，研究人員用計算機模擬重現了這個「宇宙飛船」的原貌：用不明材料製成的飛船呈長條形;控制方向的駕駛臺位於飛船的前部。只是不清楚到底是誰建造了這樣一個龐大的飛行器。
  • 阿波羅「陰謀」:人人都愛陰謀論,阿波羅登月真相大揭秘
    在人類的文明發展中，對這顆和地球有諸多聯繫的衛星產生過無數的遐想，但是古代沒有航天技術，自然是不能近距離的一睹月球的芳容，於是就編制了很多關於月球的神話，表達對月球的美好憧憬。在神話中，月球上住著美麗的嫦娥，可愛的玉兔，還有宏偉的月宮，可見在神話中，月球上是十分美好的。在現實中，直到1969年，人類才第一次登上這個嚮往了幾千年的地方。
  • 人類登月50周年,世界各地都在紀念這偉大的「一小步」
    歐米茄超霸系列「阿波羅11號」50周年紀念限量版腕錶Moonshine 18K金款巴茲·奧爾德林佩戴歐米茄超霸系列「阿波羅11號」50周年紀念限量版腕錶為致敬人類首次登月50周年，歐米茄於今年發布了兩款超霸系列「阿波羅11號」50周年紀念限量版腕錶。
  • 阿波羅登月計劃
    十天的任務中登月艙在地球軌道中正常運行，證明了其獨自飛行的能力並重新與指揮/服務艙對接。從這次任務開始，太空人們開始為太空飛行器命名；登月艙因其外形被稱作「蜘蛛」，而指令艙被運到航天中心時的塑料包裝使太空人們想到了「水果糖」（Gumdrop）。