加速AR對象分類 Facebook開源計算機視覺算法Detectron

2020-11-23 VR日報

Facebook今天正式開源基於深度學習框架的計算機視覺對象檢測算法平臺Detectron。Facebook表示，開源項目是為了加速計算機視覺的研究。目前Facebook內部團隊正把Detectron平臺用於一系列的研究，比如增強現實。

 

 

在2017年9月30日的一篇文章中，映維網曾介紹過實時對象分類是AR面臨的一大挑戰：

令計算機視覺能夠理解「杯子」，而不僅僅只是看到一個形狀，這是一個非常重要的問題。所以這麼多年來，我們在AR演示作品中看到人們把基準標記附加到對象身上，以實現更細緻的追蹤和交互。

為什麼如此困難呢?第一個挑戰在於分類。杯子有數千種形狀，大小，顏色和紋理。部分杯子擁有特殊的屬性和特殊的用途(如燒杯)，這意味著不同的杯子被用於不同的場景和背景。

你可以想像編程這麼一個可以幫助計算機了解所有上述概念的算法的挑戰;你也可以想像編寫一個向計算機解釋杯子和碗之間區別的代碼的挑戰。

延伸閱讀：遠落後於VR，AR面臨三大挑戰：視場、分類、自適應設計

文章同時指出「深度學習」有可能是實時對象分類的其中一種解決方案。現在，Facebook已經正式開源了他們的對象檢測算法，而這可能會加速開發能夠進行實時對象分類的系統，從而賦予增強現實真正的功效。

如果沒有對特定環境進行預編程，與我們周圍世界進行交互的增強現實將需要粗略了解我們附近的情況。比方說，如果你正穿戴一款AR眼鏡，然後你希望將烤箱溫度投影到烤箱上方，同時在冰箱上方呈現出已經將近吃完的食物，這時AR眼鏡將需要了解烤箱和冰箱的形狀。考慮到烤箱和冰箱涵蓋一系列不同的形狀和樣式，而且其擺放位置的不盡相同，這將成為一項極具挑戰性的任務。

Facebook的人工智慧研究團隊與其他相關團隊一直在研究如何通過深度學習來幫助計算機解決對象檢測的問題，而這一基於Caffe2深度學習框架的對象檢測算法名為Detectron。在正式託管至GitHub後，現在任何人都可以自行實驗。Facebook希望開源Detectron後將能幫助世界各地的計算機視覺研究人員嘗試並不斷改進最新的技術。

他們在GitHub頁面上寫道：「Detectron的目標是為對象檢測研究提供高質量，高性能的代碼庫。Detectron十分靈活，能夠支持新研究的快速實現與評估。」

算法可以檢測視頻輸入，並能夠猜測構成場景的離散對象。「Detecting and Recognizing Human-Object Interactions (Gkioxari et al)」等研究項目已經在應用Detectron，將其作為了解人類在環境中的行為的基礎。

除了AI研究之外，諸如增強現實這樣的其他內部團隊同樣在使用Detectron。Facebook在開源Detectron的聲明中寫道：「各支團隊正在利用這個平臺來為各種應用訓練定製模型，包括增強現實…」

目前尚不清楚具體是哪支團隊正在把Detectron用於增強現實，但一個可能答案是Oculus。早在F8大會期間，Oculus的首席科學家麥可·亞伯拉什就曾探討過增強現實將如何和將於何時改變我們的生活。

手機掃描左側二維碼

或微信搜索公眾號VR一點通，每日獲取精彩的VR資訊

關注VR一點通  完整你的虛擬實境夢!

相關焦點

  • 加速AR對象分類,Facebook開源計算機視覺算法Detectron
    文章相關引用及參考：roadtovrFacebook今天正式開源基於深度學習框架的計算機視覺對象檢測算法平臺Detectron（映維網 2018年01月24日>）Facebook今天正式開源基於深度學習框架的計算機視覺對象檢測算法平臺Detectron。
  • 為提升AR對象分類,Facebook開源Detectron計算機視覺算法
    Facebook本周宣布開放Detectron，即該公司基於深度學習框架的計算機視覺對象檢測算法平臺。該公司表示，開放項目的動機在於加速計算機視覺研究，Facebook團隊正在使用該平臺開發各種應用，包括增強現實技術。
  • Facebook開源物體識別工具Detectron,加速計算機視覺研究
    大數據文摘作品作者：龍牧雪 馮曉麗1月22日，Facebook的人工智慧實驗室（FAIR）開源了計算機視覺研究平臺近日，Facebook的人工智慧實驗室（FAIR）開源了計算機視覺研究平臺Detectron。Detectron系統實現了最先進的物體檢測算法，包括Mask R-CNN。 它是用Python編寫的，支持Caffe2深度學習框架。
  • AR行業的大事兒!臉書開源Detectron計算機視覺算法
    【網易智能訊 1月26日消息】Facebook本周宣布Detectron開放原始碼正式向大眾公開，該項目也是Facebook基於深度學習框架進行設計的關於計算機視覺對象檢測算法平臺。該公司表示，開放該項目的動機是加速計算機視覺研究，並且Facebook公司內部團隊正在使用該代碼進行各種應用測試，其中就包括針對增強現實技術的研究。
  • Facebook 開源 CV 開發平臺 Detectron,打包支持各種物體識別算法
    雷鋒網 AI 科技評論消息，Facebook 人工智慧實驗室今日宣布開源自己的頂級物體檢測研究平臺 Detectron，為廣大研究人員們未來的新計算機視覺研究課題提供靈活、快速的模型實現和評估途徑。經過一年半的開發之後，代碼庫已經成熟了，而且其中集成了許多 Facebook 自己的研究項目，包括在 ICCV 2017 上獲得最佳論文獎（馬爾獎）的《Mask R-CNN》和獲得最佳學生論文獎的《檢測密集物體時的焦距損失》兩篇論文中的算法，以及更早更廣泛使用的 R-CNN 算法家族等。
  • 從論文到測試:Facebook Detectron開源項目初探
    從RCNN到更快RCNN，再到最近的FPN和獲得ICCV Best Paper的面具RCNN，深度學習在物體檢測中以絕對優勢從眾多機器學習算法中脫引而出。大家對Facebook的計算機視覺研究項目的開源期盼已久，經過1年多的漫長等待，今天Facebook終於開源了Detectron，Detectron開源項目使用caffe2和python接口。實現了10多篇計算機視覺最新的成果。下面我們簡單介紹一下Detectron所實現的論文。並且對Detectron進行初次測試，我們會在隨後的博客中更新我們自己測試得到的Detectron訓練模型和速度標準。
  • 整合全部頂尖目標檢測算法:FAIR開源Detectron
    昨天，Facebook AI 研究院（FAIR）開源了 Detectron，業內最佳水平的目標檢測平臺。Facebook 稱，該工具包已被應用與公司內部很多團隊應用於各類應用中，一旦訓練完成，這些計算機視覺模型可被部署在雲端或行動裝置上。
  • Facebook 發布 Detectron2:基於 PyTorch 的新一代目標檢測工具
    雷鋒網 AI 開發者按：Detectron 是 FAIR 在 2018 年初公開的目標檢測平臺，包含了大量業內最具代表性的目標檢測、圖像分割、關鍵點檢測算法，該框架主要基於 python 和 caffe2 實現，開源項目已獲得了超 2.2w 的星標數。
  • Facebook開源CV開發平臺Detectron 支持各種識別算法
    Facebook 人工智慧實驗室今日宣布開源自己的頂級物體檢測研究平臺 Detectron，為廣大研究人員們未來的新計算機視覺研究課題提供靈活、快速的模型實現和評估途徑。經過一年半的開發之後，代碼庫已經成熟了，而且其中集成了許多 Facebook 自己的研究項目，包括在 ICCV 2017 上獲得最佳論文獎（馬爾獎）的《Mask R-CNN》和獲得最佳學生論文獎的《檢測密集物體時的焦距損失》兩篇論文中的算法，以及更早更廣泛使用的 R-CNN 算法家族等。
  • Facebook最新開源工具——不費吹灰之力識別圖片中的對象
    2011年在加州理工大學獲得計算機視覺實驗室博士後學位，2007年於UCSD獲得博士學位。本文著重介紹計算機圖像分割技術及其應用，並對與本文密切相關的三篇論文的主要內容做簡要概括。計算機能否像人眼一樣不費吹灰之力地識別一張照片包含的許多對象嗎？面對一個圖像，人們能夠輕鬆識別其中的對象，甚至能夠識別圖像中對象像素高低。在FAIR過程中，我們正在將機器視覺領域的研究推向一個新的發展階段——我們的目標是使機器能夠像人一樣在像素層面理解圖像和物體。
  • Facebook AI的DETR,一種基於Transformer的目標檢測方法
    今天，Facebook開源了一個這樣的框架，DETR(DEtection TRansformer)在本文中，我們將快速了解目標檢測的概念，然後直接研究DETR及其帶來的好處。目標檢測在計算機視覺中，目標檢測是一項任務，我們希望我們的模型將對象與背景區分開，並預測圖像中存在的對象的位置和類別。
  • OpenCV 2.4.5 發布,開源計算機視覺庫
    OpenCV 2.4.5 發布了，該版本增加了完全功能的 Java 桌面綁定，兼容任意 JVM；此外關於 CUDA gpu 模塊的多項改進；基於OpenCL　的硬體加速模塊已成熟，修復了不少
  • Facebook AI 正在升維突破:教AI像人類一樣理解三維世界
    Facebook AI近日在首爾國際計算機視覺大會（ICCV）上演示了他們在這個領域的最新研究成果，同時也在博客和 arxiv 上發布了技術簡介和論文，表現驚豔，研究成果之一還獲得了 ICCV 最佳論文提名。
  • 速度、準確率與泛化性能媲美SOTA CNN,Facebook開源高效圖像...
    近期越來越多的研究開始把 Transformer 引入計算機視覺領域，例如 OpenAI 的 iGPT、Facebook 提出的 DETR 等。最近，Facebook 提出了一項新技術 Data-efficient image Transformers（DeiT），需要更少的數據和更少的計算資源就能生成高性能的圖像分類模型。
  • 視覺感知-從人類視覺到計算機視覺
    從生物視覺到計算機視覺 上世紀70年代，麻省理工學院的神經科學家David Marr借鑑了Hubel和Wiesel關於大腦視覺處理系統的實驗的想法，開始制定計算機視覺來模仿人類的視覺能力。他說，為了理解視覺信息，在視覺皮層中對其進行處理時需要分幾步進行處理。他提出了這樣的假設：存在少量形成原始視覺對象的幾何組成形狀。
  • 計算機視覺已橫跨感知與認知智能
    從1966年學科建立(MIT：The SummerVision Project)至今，儘管計算機視覺在感知與認知智能方向仍有大量難以解決、尚待探索的問題，但得益於深度學習算法的成熟應用(2012年，採用深度學習架構的AlexNet模型，以超越第二名10個百分點的成績在ImageNet競賽中奪冠)，側重於感知智能的圖像分類技術在工業界逐步實現商用價值，助力金融、安防、網際網路、手機、醫療、工業等領域智能升級
  • 計算機視覺(圖像)技術:視覺圖像搜索綜述
    比如從簡單的以圖搜圖、車牌識別，到人臉識別、植物或寵物的識別，人體或車輛的跟蹤，無人機、無人汽車的自動駕駛，智慧機器人等領域，都離不開計算機視覺搜索技術，這也是此次谷歌開源基於 TensorFlow 的物體檢測代碼的意義所在。
  • AR算法原理及深度學習在計算機視覺中的應用
    那麼，AR識別技術背後的算法原理是什麼，以及計算機視覺與深度學習在AR中的應用熱點趨勢有哪些？本次分享會從圖像特徵提取、特徵匹配與圖像變換、深度學習算法等方面給你進行深入淺出的技術展現，讓AR識別技術不再成為難以逾越的技術壁壘。
  • 計算機視覺系統怎樣剖析「看到」的一切?
    、多標籤分類……這些概念你一定不陌生，如今計算機視覺（CV）已成為人工智慧的一項重要應用。然後，通過對要分類的每個圖像重複相同的過程，然後使用任意分類算法，找出詞彙表中哪個圖像與測試圖像最相似，可以對新圖像進行分類。