突破AI和機器理解的界限,牛津CS博士143頁畢業論文學習重建和分割...

2021-01-10 澎湃新聞

選自arXiv

作者：Bo Yang

機器之心編譯

讓機器擁有像人類一樣感知 3D 物體和環境的能力，是人工智慧領域的一項重要課題。牛津大學計算機科學系博士生 Bo Yang 在其畢業論文中詳細解讀了如何重建和分割 3D 物體，進而賦予機器感知 3D 環境的能力，突破了人工智慧和機器理解的界限。

賦予機器像人類一樣感知三維真實世界的能力，這是人工智慧領域的一個根本且長期存在的主題。考慮到視覺輸入具有不同類型，如二維或三維傳感器獲取的圖像或點雲，該領域研究中一個重要的目標是理解三維環境的幾何結構和語義。

傳統方法通常利用手工構建的特徵來估計物體或場景的形狀和語義。但是，這些方法難以泛化至新物體和新場景，也很難克服視覺遮擋的關鍵問題。

今年九月畢業於牛津大學計算機科學系的博士生 Bo Yang 在其畢業論文《Learning to Reconstruct and Segment 3D Objects》中對這一主題展開了研究。與傳統方法不同，作者通過在大規模真實世界的三維數據上訓練的深度神經網絡來學習通用和魯棒表示，進而理解場景以及場景中的物體。

總體而言，本文開發了一系列新型數據驅動算法，以實現機器感知到真實世界三維環境的目的。作者表示：「本文可以說是突破了人工智慧和機器理解的界限。」

這篇博士論文有 143 頁，共六章。機器之心對該論文的核心內容進行了簡要介紹，感興趣的讀者可以閱讀論文原文。

論文地址：https://arxiv.org/pdf/2010.09582.pdf

論文概述

作者在第 2 章首先回顧了以往 3D 物體重建和分割方面的研究工作，包括單視圖和多視圖 3D 物體重建、3D 點雲分割、對抗生成網絡（GAN）、注意力機制以及集合上的深度學習。此外，本章最後還介紹了在單視圖 / 多視圖 3D 重建和 3D 點雲分割方面，該研究相較於 SOTA 方法的新穎之處。

基於單視圖的 3D 物體重建

在第 3 章，作者提出以一種基於 GAN 的深度神經架構來從單一的深度視圖學習物體的密集 3D 形狀。作者將這種簡單但有效的模型稱為 3D-RecGAN++，它將殘差連接（skip-connected）的 3D 編碼器 - 解碼器和對抗學習結合，以生成單一 2.5D 視圖條件下的完整細粒度 3D 結構。該模型網絡架構的訓練和測試流程如下圖所示：

接著，作者利用條件對抗訓練來細化編碼器 - 解碼器估計的 3D 形狀，其中用於 3D 形狀細化的判別器結構示意圖如下：

最後，作者將提出的 3D-RecGAN++ 與 SOTA 方法做了對比，並進行了控制變量研究。在合成和真實數據集上的大量實驗結果表明，該模型性能良好。

基於多視圖的 3D 物體重建

在第 4 章，作者提出以一種新的基於注意力機制的神經模塊來從多視圖中推理出更好的 3D 物體形狀。這種簡單但高效的注意力聚合模塊被稱為 AttSets，其結構如下圖所示。與現有方法相比，這種方法可以學習從不同圖像中聚合有用信息。

此外，研究者還引入了兩階段訓練算法，以確保在給出一定數量輸入圖像的情況下，預估的 3D 形狀具有魯棒性。研究者在多個數據集上進行了實驗，證明該方法能夠精確地恢復物體的 3D 形狀。

從點雲中學習分割 3D 物體

在第五章中，研究者提出了一個新的框架來識別大規模 3D 場景中的所有單個 3D 物體。與現有的研究相比，該研究的框架能夠直接並且同時進行檢測、分割和識別所有的目標實例，而無需任何繁瑣的前 / 後處理步驟。研究者在多個大型實際數據集上展現了該方法相對於基線的性能提升。

作者介紹

本文作者 Bo Yang 現為香港理工大學計算機系助理教授。他本科和碩士分別畢業於北京郵電大學和香港大學，然後進入牛津大學計算機科學系攻讀博士學位，其導師為 Niki Trigoni 和 Andrew Markham 教授。

Bo Yang 作為一作以及合著的論文曾被《計算機視覺國際期刊》（IJCV）以及 NeurIPS 和 CVPR 等學術會議接收，谷歌學術主頁上顯示他共著有 22 篇論文，被引用數超過 400。

論文目錄如下：

NeurIPS 2020線上分享：超越CNN的加法神經網絡

論文：《Kernel Based Progressive Distillation for Adder Neural Networks》。

本篇論文中，研究者通過一種基於核的漸進式蒸餾方法構建了性能更好的加法神經網絡。研究者表示，這項研究使得 ANN 性能超越了同結構的 CNN，從而在功耗更少的情況下實現更佳性能。這項研究還將有益於智慧型手機和物聯網等的應用。

11月25日，論文一作、諾亞方舟實驗室研究員許奕星將為大家詳細解讀此前沿研究。

識別二維碼，入群一起看直播。

© THE END

轉載請聯繫本公眾號獲得授權

投稿或尋求報導：content@jiqizhixin.com

喜歡此內容的人還喜歡

原標題：《突破AI和機器理解的界限，牛津CS博士143頁畢業論文學習重建和分割3D物體》

閱讀原文

相關焦點

  • 聚焦快速機器學習訓練算法,UC伯克利尤洋189頁博士論文公布
    機器之心報導編輯：蛋醬、小舟這份 189 頁的博士學位論文，凝結了尤洋在快速機器學習訓練算法領域的研究心血。過去十年，深度學習應用領域的數據量迅速增長，使得深度神經網絡（DNN）的訓練時間拉長。而這已經成為機器學習開發者和研究者面臨的瓶頸問題。
  • 【ICCV2017視覺盛宴概況】何愷明博士包攬最佳論文和最佳學生論文獎!Facebook成大贏家!
    本次會議涵蓋三維立體視覺、醫學圖像分析、人臉與姿態學習、底層視覺與圖像、運動與跟蹤、目標檢測與識別、優化方法、圖像的分割與邊緣提取、統計方法與學習、視頻事件檢測與行為識別等領域。該會自1987年創辦以來，每兩年召開一次，有著在世界各大洲輪換舉辦的慣例。各領域專家和工業界人士積極參與，推動了計算機視覺技術從萌芽到發展，從實驗室原型到實際應用的進程。
  • 攜Science封面，CMU大神Noam博士畢業，論文已公開
    近日，這兩個 AI 系統的開發者之一、CMU 大神宣布其完成博士論文，並即將從 CMU 畢業。當地時間 9 月 21 日，FAIR 研究科學家 Noam Brown 在推特宣布其順利完成了 CMU 博士論文答辯，並公開了長達 230 頁的超硬核博士論文《Equilibrium Finding for Large Adversarial Imperfect-Information Games》以及
  • 攜Science封面,CMU大神Noam博士畢業,論文已公開
    機器之心報導作者：杜偉還記得在雙人無限撲克和多人無限撲克中戰勝人類頂級玩家的遊戲 AI 系統冷撲大師（Libratus）和 Pluribus 嗎？近日，這兩個 AI 系統的開發者之一、CMU 大神宣布其完成博士論文，並即將從 CMU 畢業。
  • 華人學者再獲 SIGGRAPH 優秀博士論文獎:「每章都能作為博士論文」
    ACM SIGGRAPH 頒發的優秀博士論文獎後，今年華人學者再獲嘉譽，2019 優秀博士論文獎獲得者為畢業於加州大學伯克利分校的閆令琪博士。而他的主要研究方向是計算機圖形學、基於物理的真實感圖形渲染及其相關的數學和物理理論，包括真實感材質觀測和建模、離線和實時的光線追蹤、信號的採樣和重建、高效的光線傳播和散射等。他的博士論文在微觀結構高光反射模型，毛髮反射模型和快速蒙特卡洛繪製方法方面做出了突破性的貢獻。
  • 使用AI和TPU人類首次重建果蠅大腦神經元,論文登上《細胞》雜誌
    機器之心報導機器之心編輯部通過 AI 算法和 TPU 晶片，人類首次成功重建了果蠅大腦神經元的 3D 模型。這項成果意味著人類對於腦科學的研究更進了一步。新研究的論文已經發表在《細胞》雜誌上。論文：https://www.biorxiv.org/content/biorxiv/early/2019/04/11/605634.full.pdf近日，谷歌與霍華德·修斯醫學研究所（HHMI）珍妮莉亞研究園區（Janelia Research Campus）以及劍橋大學展開合作，共同在細胞雜誌上發表了論文《Automated Reconstruction of a Serial-Section
  • 2019 ACM博士論文獎公布，MIT學霸吳佳俊獲榮譽提名
    『運籌OR帷幄』轉載作者：機器之心一年一度的 ACM 博士論文獎今日發布，畢業於特拉維夫大學的今日，2019 ACM 最佳博士論文獎公布，畢業於特拉維夫大學的 Dor Minzer 獲得該獎項。此外，來自微軟的 Jakub Tarnawski 和出身清華姚班的吳佳俊獲得榮譽提名獎。
  • Facebook AI 正在升維突破:教AI像人類一樣理解三維世界
    Facebook AI近日在首爾國際計算機視覺大會（ICCV）上演示了他們在這個領域的最新研究成果，同時也在博客和 arxiv 上發布了技術簡介和論文，表現驚豔，研究成果之一還獲得了 ICCV 最佳論文提名。
  • 每章都能當做一篇博士論文:閆令琪獲SIGGRAPH 2019最佳博士論文獎
    昨天，頂級計算圖形學機構 ACM SIGGRAPH 頒發了 2019 年最佳博士論文獎。獲獎者閆令琪博士畢業於加州大學伯克利分校（UC Berkeley），目前已是加州大學聖巴巴拉分校（UCSB）的一名助理教授。他的博士論文頒獎詞是這麼說的：「他的論文每章都可以自成一篇博士論文。」從高考狀元到計算機科學「學神」，閆令琪博士的學術成就與貢獻還不止於此。
  • 漫畫翻譯、嵌字 AI,東京大學論文被 AAAI』21 收錄
    內容概要：一項關於漫畫文字自動翻譯的研究，引發了熱議，由兩位東京大學博士組成的 Mantra 團隊發布了一篇論文，目前已被 AAAI 2021 收錄，該 Mantra 項目旨在為日本漫畫提供自動化的機器翻譯工具。
  • 她是90後學霸,25歲牛津大學博士畢業,27歲成電子科技大學副院長
    2015年，劉明偵滿載一身榮譽從國外名校畢業回國時，就已經受到各類媒體廣泛關注，「90後學霸」、「女神老師」成為她的標籤。2017年，她成為電子科技大學最年輕副院長，再次被全社會聚焦。其實，見過這位90後「美女學霸」的人就會知道，光鮮的標籤後，是她用勤奮、拼搏和創新精神所書寫的科研人生。
  • 馬英九的論文能查 蔡博士論文怕被人看?
    據臺灣《中時電子報》報導，蔡英文論文真假問題愈吵愈烈，蔡也親自出面澄清，世新大學副校長遊梓翔卻直指，一句「真的假不了」，或「有博士學位必然有繳交論文」的說法，恐怕很難平息爭議。並指前臺灣地區領導人馬英九、前新北市長朱立倫和前臺中市長胡志強的博士論文都查得到，為何蔡英文博士論文卻怕被看？
  • 學者查閱蔡英文博士論文:缺頁、沒結論,"比較另類"
    原標題: 學者查閱蔡英文博士論文:缺頁、沒結論,"比較另類"　　蔡英文（圖源：臺媒）據臺灣「聯合新聞網」報導稱，近日，牛津大學經濟史博士徐永泰兩度赴倫敦政經學院查閱蔡英文博士論文，認為其論文多處「反常」。　　徐永泰發現蔡英文的論文存在缺頁，並有多處手寫改動。他向圖書館提出疑問為什麼缺頁，圖書管理員無法回答。　　「錯誤以手寫更改，比較另類。」 徐永泰稱，他認為蔡英文論文中用的很多字是美式拼法，也不符合常理。
  • CVPR 2020最佳學生論文分享回顧:通過二叉空間分割(BSP)生成緊湊3D...
    機器之心發布機器之心編輯部在近日舉行的 CVPR 2020 大會上，最佳論文、最佳學生論文等獎項悉數公布。在最新一期的機器之心 CVPR 2020 線上論文分享中，西蒙弗雷澤大學 (SFU) 博士一年級學生陳之欽以第一作者的身份向我們分享了這篇最佳學生論文。在這項研究中，西蒙弗雷澤大學和谷歌研究院的三位研究者提出了一種無監督方法，能夠通過 convex decomposition 生成緊湊的結構化多邊形網格。
  • DeepMind-深度學習:AI革命及其前沿進展(54頁ppt報告)
    會上，牛津大學教授Nando de Freitas和其他15位專家做了《深度學習：AI革命及其前沿進展》的報告。AI WORLD 2018世界人工智慧峰會開場視頻Nando de FreitasNando de Freitas是一名來自牛津大學的擁有高聲望和優良業界口碑的機器學習教授
  • CVPR2020最佳學生論文分享回顧:通過二叉空間分割生成緊湊3D網格
    機器之心發布機器之心編輯部在近日舉行的 CVPR 2020 大會上，最佳論文、最佳學生論文等獎項悉數公布。在最新一期的機器之心 CVPR 2020 線上論文分享中，西蒙弗雷澤大學 (SFU) 博士一年級學生陳之欽以第一作者的身份向我們分享了這篇最佳學生論文。在這項研究中，西蒙弗雷澤大學和谷歌研究院的三位研究者提出了一種無監督方法，能夠通過 convex decomposition 生成緊湊的結構化多邊形網格。
  • 博士抄襲畢業論文會怎樣?我以為只是撤銷學位和取消畢業證?
    博士抄襲畢業論文會怎樣？我以為只是撤銷學位和取消畢業證。當我們看到別人光線的學位，和淵博的知識，總是非常羨慕和尊敬。但是總有人為了這份虛榮，弄虛作假。而在考試中作弊或被發現有剽竊、抄襲等學術不端行為的，在校學生會被開除學籍，往屆學生則會被撤銷學位、吊銷畢業證書。據了解，此次處理的2006屆博士畢業生趙某，因為被發現其博士學位論文有嚴重抄襲行為，不僅丟了博士學位，而且其博士畢業證書也被吊銷。
  • 韓國科學技術院在讀博士潘飛:語義分割場景中域適應問題的研究 |...
    基於卷積神經網絡的監督學習方法近幾年在語義分割任務裡取得了顯著進展。但是，這種方法十分依賴於大量帶注釋的數據進行訓練。為了解決這種限制，通常將從圖形引擎生成自動注釋數據，並用來訓練語義分割網絡。但是，從圖形引擎裡生成的數據訓練的模型很難遷移到真實世界採集到的圖像數據。針對遷移學習的問題，目前主流的是使用域適應或遷移學習的方法來解決圖像分割任務中的遷移學習問題。
  • 蔡英文回應博士論文造假稱「真的假不了」,臺學者:為何怕被看?
    他質疑，臺灣地區前領導人馬英九、前新北市長朱立倫和前臺中市長胡志強的博士論文都查得到，為何蔡英文博士論文卻怕被看？遊梓翔臉書截圖據臺灣「中時電子報」報導，針對蔡英文博士論文被質疑造假，遊梓翔19日在臉書發文表示，蔡英文辦公室要解釋的是，蔡英文這份幾乎要拿「1.5個博士」的論文，為什麼不能公開讓大家「拜讀」？
  • 蔡英文論文門真相?為「登大位」2007年狂補300頁
    原標題：蔡英文論文門真相？為"登大位"，2007年狂補300頁彭文正（中時電子報）海外網1月6日電 臺灣地區領導人蔡英文的博士論文引發系列爭議，臺媒體人彭文正多次質疑蔡英文學位真實性。他5日更指出，「論文門」的真相就是蔡英文當年連申請博士入學都沒過，而她當時只寫了論文前3章；2007年起蔡英文發現自己可能要「登大位」了，就開始補論文剩下的300多頁。」