【新智元導讀】對許多人來說，凝視一張城市的舊照片，可以喚起懷舊和好奇的感覺。你有沒有想過在20世紀40年代漫步曼哈頓是什麼感覺？伴隨一個人成長的街道改變了多少？雖然谷歌街景可以讓人們看到一個地區現在的樣子，但如果你想探索過去的地方是什麼樣子呢？
為了研究和娛樂目的創造一個有益的「時間旅行」體驗，谷歌AI研究院推出了一個基於瀏覽器的工具集名為「 r」 (發音為 re) 。
這是一個運行在Google Cloud和 Kubernetes 上的開源、可擴展的系統，可以根據歷史地圖和照片重建城市，這是谷歌今年早些時候推出的開源工具套件的一個實現。
「r」這個前綴的意思是「again or anew」，它代表了這項眾包研究工作背後的四個主題：
重建（reconstruction）
研究（research）
娛樂（recreation）
記憶（remembering）
「r」由三個部分組成:
1.一個眾包平臺，允許用戶上傳城市的歷史地圖和地理校正(例如，將它們與真實世界的坐標相匹配) ，並對其進行矢量化。
2.一個時態地圖伺服器，顯示城市地圖是如何隨時間變化的。
3.一個3D體驗平臺，通過深度學習，利用有限的歷史圖像和地圖數據重建三維建築，創建三維體驗。
谷歌的目標是使得 「r」可以讓歷史愛好者虛擬地體驗世界各地的歷史城市，幫助研究人員、政策制定者和教育工作者的某些工作，並為日常使用者提供一種新的懷舊方式。
重建過去城市的是一個真正的挑戰，歷史圖像數據比現代的圖像數據更難處理，因為可用的圖像要少得多，從圖像中捕獲的元數據也要少得多。
為了解決這個問題，「r」模塊提供一套開源工具，它們協同工作，創建一個帶有時間維度的地圖伺服器，允許用戶使用滑塊在時間段之間來回跳轉。
這些工具允許用戶上傳歷史印刷地圖的掃描版本，地理上校正它們以匹配真實世界的坐標，然後通過追蹤它們的地理特徵將它們轉換為矢量格式。這些向量化的地圖隨後被提供給一個伺服器，並呈現為滑動地圖，用戶可以放大和平移這些地圖。
上面的架構圖中，「r」地圖模塊的入口點是 「Warper」，這是一個網絡應用程式，用戶可以上傳地圖的歷史圖像，並通過在歷史地圖上找到控制點和基礎地圖上的相應點來對圖像進行地理校正。
下一個模塊是「Editor」，允許用戶加載地理糾正的歷史地圖作為背景，然後跟蹤他們的地理特徵(例如道路等)。這些跟蹤數據以開放式街道地圖(OSM)矢量格式存儲。
然後，它們被轉換成矢量塊，並從矢量塊伺服器 Server 應用程式中提供服務。
最後，我們的地圖渲染器「Kartta」可以可視化時空矢量，允許用戶在歷史地圖上按照空間和時間來導航。
這些工具建立在包括 OpenStreetMap 在內的眾多開源資源之上，所以谷歌希望它們的工具和數據也完全開源。
3D重構「由粗到細」，樓梯的位置也不放過
3D 模型模塊旨在利用相關的圖像和地圖數據重建歷史建築詳細的全部3D結構，將這些3D模型合理地組織在一個存儲庫中，並在歷史地圖上以時間維度呈現它們。
在許多情況下，建築物只有一個歷史圖像，這使得三維重建成為一個極具挑戰性的問題。為了應對這一挑戰，谷歌開發了一個由粗到精的識別重建算法。
從地圖上的「Footprint」和歷史圖像中的立面區域開始(兩者都由眾包注釋或自動算法檢測) ，一個輸入建築物的「Footprint」被向上擠壓以生成其粗糙的3D 結構。這個擠壓的高度被設置為從地圖資料庫中相應的元數據的地上層數。
與此同時，3D 重建的pipeline不是直接將每個立面的詳細3D 結構推斷為一個實體，而是識別所有單獨的組成部分(例如，窗口、入口、樓梯等) ，並根據它們的類別分別重建它們的3D 結構。
然後將這些細節化的三維結構與粗糙結構合併，得到最終的三維網格，並將結果存儲在一個三維資料庫中，可以進行三維渲染。
而支持這一特性的關鍵技術是一系列最先進的深度學習模型:
1.更快的RCNN，使用每個目標語義類(例如窗口、樓梯等)的外觀組件注釋進行訓練，這些注釋用於在歷史圖像中定位 bounding-box level 的實例。
2.提出了一種語義分割模型，訓練該模型為每個語義類提供像素級標籤。
3.訓練一個專門設計的神經網絡來在同一語義類中執行某些高級規則。這確保了立面上生成的窗戶間距相等且形狀相互一致。這也促進了不同語義類之間的一致性，比如樓梯，以確保它們被放置在合理的位置，並且相對於相關的輸入方式具有一致的維度。
圖：3D重建的曼哈頓街景
通過 「r」平臺，谷歌開發了便於眾包的工具來解決重建虛擬城市的時候歷史數據不足的主要問題。
這種3D街景的體驗仍在進一步完善中，未來會持續更新。谷歌希望「r」作為一個活躍的愛好者和普通用戶社區的紐帶，不僅利用歷史數據集和開原始碼，而且積極地為這兩者做出貢獻。
參考連結：
https://ai.googleblog.com/2020/10/recreating-historical-streetscapes.html