點擊上方「計算機視覺life」，選擇「星標」
快速獲得最新乾貨
作者：Shwetank Panwar
一些新發布的數據集可以提供一個窗口，通過這些數據集可以了解試圖解決的問題的複雜程度。公共領域中新發布的數據集可以很好地代表理解計算機視覺的發展以及有待解決的問題的新途徑。
本文簡要總結了一些CVPR 2021 上發表的數據集論文，並通讀了論文以提取一些重要的細節。
1. The Multi-Temporal Urban Development SpaceNet Dataset
數據集論文：https://paperswithcode.com/paper/the-multi-temporal-urban-development-spacenet
下載地址：https://registry.opendata.aws/spacenet/
新的 SpaceNet 數據集包含每個月拍攝的建築區域的衛星圖像。目標是在空間時間序列的幫助下在全球範圍內跟蹤這種建築活動。
由於其解決非常困難的全局問題的方法，這是 CVPR 中最有趣的數據集論文。該數據集試圖使用衛星圖像分析解決量化一個地區城市化的問題，這對於沒有基礎設施和財政資源來建立有效的民事登記系統的國家來說是一個巨大的幫助。
該數據集主要是關於使用在 18 到 26 個月的時間跨度內捕獲的衛星圖像跟蹤世界各地大約 101 個地點的建築。隨著時間的推移，有超過 1100 萬條注釋帶有單個建築物和施工現場的獨特像素級標籤。
A.) 與 COCO 數據集對象相比，帶注釋的對象的大小非常小 B.) 在此數據集中，每張圖像的標籤數量太高。C.) 像雲這樣的遮擋（這裡）會使跟蹤探測變得困難。D.) Spacenet 數據集中單個圖像中的帶注釋對象。
所有這些可能使它聽起來像是一個更具挑戰性的對象分割和跟蹤問題。為了清楚起見，每幀大約有 30 多個對象。此外，與普通視頻數據不同，由於天氣、光照和地面季節性影響等原因，幀之間幾乎沒有一致性。這使得它比視頻分類數據集（如 MOT17 和斯坦福無人機數據集）更加困難。
雖然這可能是一個難題，但解決它對於全球福利來說是值得的。
2. Towards Semantic Segmentation of Urban-Scale 3D Point Clouds: A Dataset, Benchmarks and Challenges
數據集論文：https://arxiv.org/abs/2009.03137
下載地址：
https://github.com/QingyongHu/SensatUrban
Sensat Urban 數據集的整體圖，包括英國約克市的連續區域，擴展到 3 平方公裡。
今年的會議重點討論了 3D 圖像處理及其相應的方法。因此，這個名為 Sensat Urban 的數據集也不足為奇，只是這個攝影測量 3D 點雲數據集比迄今為止可用的任何開源數據集都要大。它覆蓋超過7.6公裡。涵蓋約克、劍橋和伯明罕的城市景觀廣場。每個點雲都被標記為 13 個語義類之一。
該數據集有可能推動許多有前途的領域的研究，如自動化區域測量、智慧城市和大型基礎設施規劃和管理。
Sensat Urban 數據集中的不同分割類別。
在論文中，他們還對點雲中的顏色信息進行了實驗，並證明了在色彩豐富的點雲上訓練的神經網絡能夠在測試集上更好地泛化。這實際上為該領域未來應用的發展提供了重要方向。
3.Spoken Moments: Learning Joint Audio-Visual Representations from Video Descriptions
數據集論文：https://arxiv.org/abs/2105.04489
來自 MIT 音頻字幕數據集的一些樣本 [左] 在數據集中結合視聽信息的提議架構 [右]
這是今年另一個最受歡迎的數據集，因為它對圖像字幕和視頻摘要問題採用了略有不同的方法。通常，對於此類任務，我們有像 COCO 這樣的數據集，其中包含圖像及其隨附的文本標題。雖然這種方法已被證明是有前途的，但我們經常忘記，在口語方面對我們的視覺體驗進行了很多豐富的總結。
該數據集構建了一個包含 50 萬個描述各種不同事件的短視頻音頻描述的語料庫。然而，他們並沒有止步於展示一個很棒的數據集，他們還提供了一個優雅的解決方案來使用自適應平均邊距（AMM）方法來解決視頻/字幕檢索問題。
4.Conceptual 12M : Pushing Web-Scale Image-Text Pre-training to recognise Long-Tail visual concepts
數據集論文：https://arxiv.org/abs/2102.08981
來自Conceptual 12M 數據集的一些圖像標題對。雖然 alt-text 本身的信息量並不大，但它對於學習視覺概念的更廣義的文本表示非常有幫助。
最近，由於預訓練transformer和 CNN 架構的性能提升，模型預訓練獲得了極大的歡迎。通常，我們希望在一個類似的數據集上訓練模型。然後使用遷移學習在下遊任務上利用模型。
到目前為止，唯一可用的用於預訓練的大規模數據集是用於視覺+語言任務的 CC-3M 數據集，有 300 萬個字幕。現在，谷歌研究團隊通過放寬數據抓取的限制，將該數據集擴展到 1200 萬個圖像字幕對--Conceptual 12M。
更有趣的是生成數據集的方法。在數據集管理期間使用 Google Cloud Natural Language API 和 Google Cloud Vision API 過濾任務對於任何未來的數據集管理任務來說都是一個很好的教訓。
使用 12M 數據集，圖像字幕模型能夠學習長尾概念，即數據集中非常具體且罕見的概念。訓練方法的結果令人印象深刻，並在下面進行了可視化。
在概念 12M 數據集上預訓練的神經圖像標題模型的預測示例很少。
5. Euro-PVI：密集城市中心的行人車輛交互
數據集論文：
https://openaccess.thecvf.com/content/CVPR2021/supplemental/Bhattacharyya_Euro-PVI_Pedestrian_Vehicle_CVPR_2021_supplemental.pdf
實時車輛-行人行為示例。預測行人將採取什麼樣的軌跡來響應接近的車輛對於構建全自動自動駕駛汽車至關重要。
雖然有很多關於完全自主的自動駕駛系統的討論，但事實仍然是，它是一個非常困難的問題，需要同時實時解決多個問題。關鍵部分之一是使這些自主系統了解行人對其存在的反應，在密集環境中預測行人軌跡是一項具有挑戰性的任務。
因此，Euro-PVI 數據集旨在通過在行人和騎自行車者軌跡的標記數據集上訓練模型來解決這個問題。早些時候，斯坦福無人機、nuScenes 和 Lyft L5 等數據集專注於附近車輛的軌跡，但這只是自主系統完整畫面的一部分。
Euro-PVI通過交互時的視覺場景、交互過程中的速度和加速度以及整個交互過程中的整體坐標軌跡等信息，提供了一個全面的交互圖。
Euro-PVI 數據集包含有關行人車輛交互的豐富信息，例如場景中所有參與者的視覺場景、速度和加速度。
所有這些信息都必須由經過訓練的模型映射到相關的潛在空間。為了解決潛在空間中軌跡和視覺信息的聯合表示問題，同一篇論文還提出了 Joint-B-VAE 的生成架構，這是一種經過訓練的變分自動編碼器，用於對參與者的軌跡進行編碼並將其解碼為未來的合成軌跡。
ground truth，Trajectron++ 預測的軌跡和聯合 B-VAE 的預測軌跡（在同一數據集論文中提出）
原文連結：
https://medium.com/@shwetank.ml/datasets-cvpr-2021-problems-that-shouldnt-be-missed-6128d07c59c3
獨家重磅課程！
1、VIO課程：VIO滅霸：ORB-SLAM3源碼詳解，震撼上線！
2、圖像三維重建課程（第2期）：視覺幾何三維重建教程（第2期）：稠密重建，曲面重建，點雲融合，紋理貼圖
3、重磅來襲！基於LiDAR的多傳感器融合SLAM 系列教程：LOAM、LeGO-LOAM、LIO-SAM
4、系統全面的相機標定課程：單目/魚眼/雙目/陣列 相機標定：原理與實戰
5、視覺SLAM必備基礎（第2期）：視覺SLAM必學基礎：ORB-SLAM2源碼詳解
6、深度學習三維重建課程：基於深度學習的三維重建學習路線
7、雷射定位+建圖課程：雷射SLAM怎麼學？手把手教你Cartographer從入門到精通！
全國最棒的SLAM、三維視覺學習社區↓
技術交流微信群歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動駕駛、計算攝影、檢測、分割、識別、醫學影像、GAN、算法競賽等微信群，請添加微信號 chichui502 或掃描下方加群，備註：」名字/暱稱+學校/公司+研究方向「。請按照格式備註，否則不予通過。添加成功後會根據研究方向邀請進入相關微信群。請勿在群內發送廣告，否則會請出群，謝謝理解~
投稿、合作也歡迎聯繫：simiter@126.com
掃描關注視頻號，看最新技術落地及開源方案視頻秀 ↓
— 版權聲明 —
本公眾號原創內容版權屬計算機視覺life所有；從公開渠道收集、整理及授權轉載的非原創文字、圖片和音視頻資料，版權屬原作者。如果侵權，請聯繫我們，會及時刪除。