谷歌提出新域適應方法 填補雷射雷達點雲語義分割域差距

2020-12-13 騰訊網

蓋世汽車訊 在開發自動駕駛汽車的激烈競爭中，雷射雷達已成為最關鍵的硬體組件之一。雷射雷達系統生成精確的點雲數據，作為周圍環境的3D地圖，以提高自動駕駛汽車的感知能力和安全性。然而，對於AI研究人員而言，雷射雷達點雲語義分割仍然是一大挑戰。

（圖片來源：syncedreview.com）

標註3D點雲的缺乏阻礙了語義分割任務中深度神經網絡性能的進一步提高。儘管一些自動駕駛公司發布了一些數據集，但雷射雷達傳感器的配置不同和其他域的差異導致了這一問題：在一個數據集上訓練的深度網絡在其他數據集上表現不佳。據外媒報導，為了彌補雷射雷達傳感器中3D點雲採樣差異造成的域差距，谷歌研究團隊提出了一種新的「補全和標註」域適應方法，即雷射雷達點雲語義分割域適應方法（A Domain Adaptation Approach to Semantic Segmentation of LiDAR Point Clouds）。

研究人員發現了關鍵的一點：雷射雷達樣本具備底層幾何結構，運用利用這些結構的3D模型，域適應可以更為有效。該團隊假設了一個由3D表面組成的物理世界，並將域適應挑戰作為3D表面補全任務。

研究人員表示，「如果我們可以從稀疏的雷射雷達點樣本中恢復完整的3D底層表面，並訓練在補全後的表面上運行的網絡，這樣就可以利用雷射雷達掃描儀的標註數據來處理其他數據。」該團隊設計了一個稀疏體素補全網絡（SVCN）來補全稀疏點雲的3D表面。該網絡結構包括兩個階段：表面補全和語義標註。與語義標註不同，獲取SVCN訓練配對不需要人工標註，因為表面補全可以從自我監督中學習。

該團隊在根據多個雷射雷達數據幀重建的完整表面的監督下，對補全網絡進行訓練。這些雷射雷達幀包含2400個可用於訓練的完整場景點雲，200個可用於測試的點雲。一旦3D表面被恢復，研究人員使用稀疏卷積U-Net來預測完整表面上每個體素的語義標籤。在3D計算機圖形學中，體素是定義3D空間中點的圖形信息單位。

該團隊通過使用不同的自動駕駛數據集進行實驗，評估域適應新方法的有效性。實驗結果顯示，與此前的域適應方法相比，該方法的性能提高了8.2- 36.6%。例如，利用該方法，在Waymo開放數據集上訓練的網絡在nuScenes數據集上執行語義分割任務的平均IoU（Intersection-Over-Union，交並比)） 提高了10.4%，IoU是語義分割中最常用的度量指標之一。

該域自適應方案旨在填補雷射雷達傳感器3D點雲的域差異，其提升語義分割性能的能力對於自動駕駛、語義映射和施工現場監控等應用具有巨大潛力。

相關焦點

  • 華人博士生提出大場景三維點雲語義分割新框架
    論文地址：https://arxiv.org/pdf/1911.11236.pdfTensorFlow代碼：https://github.com/QingyongHu/RandLA-Net本文提出了一種針對大規模三維點雲場景的輕量級、高效點雲語義分割新算法RandLA-Net。
  • Motional發布擴展自動駕駛數據集 含超14億個帶標註雷射雷達點
    自此，業內湧現出各種更多樣化的新數據集，如Waymo Open Dataset、福特自動駕駛汽車數據集，以及Lyft的自動駕駛汽車數據集。據外媒報導，日前，Motional（其執行長創立了NuTonomy）發布了擴展版本的NuScenes數據集。
  • 新一代半導體雷射光動力治療儀填補國內空白
    近日，由桂林市興達光電醫療器械有限公司研發的新一代半導體雷射光動力治療儀通過國家食品藥品監督管理總局審批，獲得三類醫療器械註冊證書，填補了國內在光動力療法領域高端醫療器械的空白，是國內醫療行業自主創新的重大突破。
  • BERT霸榜問答任務,谷歌新基準模型縮小AI與人類差距50%
    對於長答案和短答案任務，分別將AI系統與人類表現之間的差距縮小了30%和50%。 上周， 谷歌AI團隊發布了一個新的NLP基準數據集 ：自然問題數據集(Natural Questions)。
  • 深度學習基於攝像頭和雷射雷達融合的3-D目標檢測
    這裡引入了一種新檢測頭，不僅可以從融合層提供檢測結果，還可以從每個傳感器通道提供檢測結果。因此，可以用不同視圖標記的數據訓練目標檢測器，以避免特徵提取器的退化。本文提出的兩步神經網絡結構如圖所示。BEV圖和RGB圖像被饋入兩個卷積神經網絡獲得特徵。為了提高計算效率，僅使用RPN的鳥瞰視圖（BEV）特徵生成3D提議。
  • 深度解析自動駕駛雷射雷達技術原理、感知系統的發展趨勢
    然而，基於極坐標網格的方法往往需要將三維雷射雷達點投影到離散網格中，這會丟失雷射雷達測量的原始信息。 　　在球面坐標系(r，ψ，θ)中處理雷射雷達信號提供了一種更好的方法。對於作者所用的 Velo-dyne 超光球，每束雷射的垂直角是固定的，方位角由掃描時間和電機轉速決定。
  • MLOD:基於魯棒特徵雷射雷達和攝像頭數據融合的多視點三維目標檢測
    與其他多視圖方法不同，裁剪的圖像特徵不直接饋送到檢測頭，而是被深度信息掩蓋以過濾掉3D邊框外的部分。圖像和BEV特徵的融合具有挑戰性，因為它們來自不同的視角。這裡引入了一種新檢測頭，不僅可以從融合層提供檢測結果，還可以從每個傳感器通道提供檢測結果。
  • Facebook圖譜搜索:搜索口語化 填補谷歌空白
    相比起之前媒體猜測的「發布臉譜手機」之說，新搜索功能的推出似乎令外界的期望有些落空。在華爾街，臉譜股票遭遇賣盤，當天收跌2.7%，似乎市場並不看好新功能的短期經濟前景。但不可忽視的是，掌握著十億用戶的臉譜通過新搜索功能挖掘其儲備已久的信息「金礦」，不僅關係到臉譜的「錢途」，更將影響社交媒體時代的商業模式和人們的網上行為習慣。
  • 谷歌提出模仿學習新方法PWIL, 解決依賴對抗訓練難題
    模仿學習方法為強化學習這一情況提供了一種可能解決的方案，但是前沿的模仿學習方法存在依賴對抗訓練的問題。為了解決這一問題，谷歌的研究人員提出了一種稱為「Primal Wasserstein Imitation Learning」 (PWIL) 的模仿學習新方法，不用依賴於對抗訓練，實驗表明PWIL方法實現了非常好的訓練結果。
  • CVPR 2020|合成圖像更真實,上交大提出基於域驗證的圖像和諧化
    並且，我們提出了域驗證 (domain verification) 的概念，嘗試了基於域驗證的圖像和諧化算法。圍繞域 (domain) 相關的應用也吸引了越來越多研究者的興趣，比如域適應 (domain adaptation)、域泛化 (domain generalization)、域分類 (domain classification)、域翻譯 (domain translation) 等等。
  • CVPR2020 | 讓合成圖像更真實,上交大提出基於域驗證的圖像和諧化
    並且，我們提出了域驗證 (domain verification) 的概念，嘗試了基於域驗證的圖像和諧化算法。我們構建資料庫的方法仿照 [1] 中的策略，具體來說，給定一張真實圖，選擇一個前景進行調整使其和背景不和諧，得到一張人造的合成圖。這種構建資料庫的方式可以產生大規模成對的訓練數據用以訓練深度學習模型。
  • 學界 | 精細識別現實世界圖像:李飛飛團隊提出半監督適應性模型
    新研究主要著重於兩點：首先，提出了一種新的多任務適應方法，它可以從已知的跨類別關係中受益。斯坦福提出的模型包括一個多任務適應目標，同時在屬性和類別級別上學習和調整識別。研究人員證明了模型制定的目標有效地規範了源訓練，從而改進了源模型到目標域的泛化。對於半監督的適應性任務（即當類別標籤只適用於目標域的子集時），我們可以使用所有屬性通常都具有標籤的事實。
  • Sup35的朊蛋白結構域促進細胞適應環境變化
    2018年1月9日/生物谷BIOON/---利用細胞內的相變（如相分離和凝膠化）形成動態的無膜區室為細胞對環境變化作出反應提供了一種有效的方法。近期的研究已鑑定出一類特殊的富含極性胺基酸（如甘氨酸、穀氨醯胺，絲氨酸或酪氨酸）的內在無序結構域（intrinsically disordered domain）是細胞中的相分離的潛在促進物。
  • 清華大學物理系在腔光力學系統中提出新的基態冷卻方法
    清華大學物理系在腔光力學系統中提出新的基態冷卻方法清華新聞網10月21日電 近日，清華大學物理系劉永椿副教授、鄭盟錕副教授、尤力教授研究團隊提出將機械振子冷卻到量子基態的新方法，能夠用於實現宏觀大質量振動物體的基態冷卻，研究成果以《腔內壓縮光力冷卻》(Intracavity squeezed optomechanical
  • 對話智能新高度:百度發布超大規模開放域對話生成網絡PLATO-2
    實驗結果顯示，PLATO-2 中英文對話效果已超越谷歌 Meena、微軟小冰和 Facebook Blender 等先進模型。百度 NLP 於去年 10 月預公布了通用領域的對話生成預訓練模型 PLATO，近期在 ACL 2020 上展示。最近，百度又新發布了超大規模模型 PLATO-2。
  • 谷歌用β-LASSO武裝MLP,縮小與卷積網絡的差距
    谷歌高級研究科學家 Behnam Neyshabur 使用最小描述長度（MDL）作為指導原則，提出了 LASSO 算法的一個簡單變體 β-LASSO。將 β-LASSO 應用到多層感知機（MLP）後，MLP 在 CIFAR-10、CIFAR-100 和 SVHN 數據集上的 SOTA 結果得到顯著提升。
  • Selfish Ledger,令人擔憂的谷歌版「新黑鏡」
    谷歌最近並不太平。最近，谷歌兩年前製作的一個僅供內部傳發的視頻被曝光，視頻中提出了「Ledger」概念，Ledger收集用戶所有數據，然後根據用戶的行為、習慣等信息，引導用戶完成一個目標。視頻一曝光，引發輿論譁然的同時也讓許多人再次陷入對於信息安全的深深擔憂之中。
  • 端到端問答新突破:百度提出RocketQA,登頂MSMARCO榜首
    機器之心發布機器之心編輯部開放域問答（Open-domain QA）一直是自然語言處理領域的重要研究課題。百度從面向端到端問答的檢索模型出發，提出了RocketQA訓練方法，大幅提升了對偶式檢索模型的效果，為實現端到端問答邁出了重要的一步。
  • 雷射HUD新設計加速智能化發展
    儘管每輛車的型號不同，但提供信息的方式非常一致，幾乎每個乘員都能很快適應不熟悉的車型並從中獲取信息。另外，還可利用平視顯示（HUD）系統將這些數據和信息虛擬投影到車輛前方駕駛員的視線內。隨著顯示技術的不斷發展，HUD在豪華汽車內已非常普及。而隨著成本的降低和尺寸的減小以及性能的提升，這些HUD系統也開始不斷地被中端汽車所採用，並且很快會普及到經濟型汽車內。