AR行業的大事兒!臉書開源Detectron計算機視覺算法

2020-11-23 網易科技


本文系網易智能工作室（公眾號smartman 163）出品。聚焦AI，讀懂下一個大時代！

【網易智能訊 1月26日消息】Facebook本周宣布Detectron開放原始碼正式向大眾公開，該項目也是Facebook基於深度學習框架進行設計的關於計算機視覺對象檢測算法平臺。該公司表示，開放該項目的動機是加速計算機視覺研究，並且Facebook公司內部團隊正在使用該代碼進行各種應用測試，其中就包括針對增強現實技術的研究。

在我最近發表的一篇文章中，詳細介紹了當今增強現實技術即將面臨的三大挑戰，在這其中我注意到計算機進行實時對象分類是我們最大的技術難區之一：

不僅僅只觀察一個形狀，讓計算機利用視覺去理解「杯子」的物體含義是一個值得深究的問題。這就是為什麼多年以來，我們在看到的增強現實技術演示中發現人們將基準標記附加到觀察對象上，從而促進機器與觀察物體之間更細緻的跟蹤和交互。

為什麼難？我們要提到的第一個技術挑戰是如何進行視覺分類。我們了解到，杯子有數千種形狀，大小，顏色和紋理。有些杯子有特殊的屬性，它們是為了特殊目的而製造的（如燒杯），這意味著它們在不同的地方和環境中有多種多樣的用法。

讓我們來想像關於如何寫一個能幫助計算機理解所有我們在上面提到的這些概念的算法有多難，而且這只是為了能夠在多個杯子中辨認出其中一個目標的杯子。我們還可以想想，關於寫一個能夠幫助電腦區分杯子和碗的代碼是另一項需要完成的挑戰。


我還談到了為什麼「深度學習」技術是實時對象分類問題的一個潛在的解決方案，它能夠做到「培訓」一臺計算機來解釋它所看到的，而不是用人工編程不斷的一行行進行檢測。 Facebook本周已經開發出了他們自創的對象檢測算法，這可能會加速系統的開發，使系統能夠進行實時對象分類，從而使增強現實技術真正得到廣泛使用。

關於增強現實技術與我們周圍物體實際相互作用的方式，在粗略地了解附近特定的場景之前並不用針對特定環境進行預先編程。例如，如果您戴著AR眼鏡，並希望能夠將烤箱溫度投影到烤箱上方，然後還需要將冰箱中需要拿出來的食物的列表在AR眼鏡中顯示出來，則您的眼鏡需要分辨烤箱和冰箱的樣子。鑑於各種烤箱和冰箱以及它們生產地方的不同和放置位置的不同，這是一項極具挑戰性的任務。

Facebook的人工智慧研究團隊最近一直在研究計算機視覺對象檢測問題，並且它們正在嘗試通過深度學習使計算機能夠得出關於場景中存在什麼物體的結論。在Facebook宣布基於Caffe2深度學習框架的對象檢測算法開發的被稱為Detectron的平臺向大眾開放後，現在任何人都可以在GitHub上利用該算法進行試驗。 Facebook公司希望Detectron平臺將使世界各地的計算機視覺研究人員能夠嘗試並不斷改進最新的技術。

我們從項目的GitHub主頁信息了解到，「Detectron的目標是為物體檢測研究提供高質量，高性能的代碼庫。它的設計目的是通過靈活的方式來支持關於新穎技術的快速應用和評估的研究。」

該算法能通過檢查視頻輸入信息，從而猜測離散對象來構成對應場景。諸如檢測和識別人與物體相互作用（Gkioxari等）的研究項目已經使用了Detectron作為了解人類在環境中的行為的基礎平臺，該項目朝著幫助計算機充分理解我們正在做的事情的正確方向邁出了正確的步伐，從而使機器觀察以後能夠即時提供有價值的信息。

除了進行人工智慧技術研究之外，Detectron也被Facebook內部廣泛使用。該公司在Detectron宣布開放的消息中寫道：「我們團隊使用這個平臺來培訓各種應用的定製模型，其中包括增強現實技術和檢查數據信息完整性的相關應用。」

具體哪些團隊將使用Detectron應用增強現實技術並未公布，但是我們現在知道Oculus很可能會使用它，因為他的首席科學家Michael Abrash最近就增強現實技術將如何以及何時改變我們的生活發表了長篇演講。

（選自：roadtovr編譯：網易見外 參與：付曾）

關注網易智能公眾號（smartman163），獲取人工智慧行業最新報告。

本文來源：網易智能 責任編輯：丁廣勝_NT1941

相關焦點

  • Facebook開源物體識別工具Detectron,加速計算機視覺研究
    大數據文摘作品作者：龍牧雪 馮曉麗1月22日，Facebook的人工智慧實驗室（FAIR）開源了計算機視覺研究平臺近日，Facebook的人工智慧實驗室（FAIR）開源了計算機視覺研究平臺Detectron。Detectron系統實現了最先進的物體檢測算法，包括Mask R-CNN。 它是用Python編寫的，支持Caffe2深度學習框架。
  • 加速AR對象分類,Facebook開源計算機視覺算法Detectron
    文章相關引用及參考：roadtovrFacebook今天正式開源基於深度學習框架的計算機視覺對象檢測算法平臺Detectron（映維網 2018年01月24日>）Facebook今天正式開源基於深度學習框架的計算機視覺對象檢測算法平臺Detectron。
  • 加速AR對象分類 Facebook開源計算機視覺算法Detectron
    Facebook今天正式開源基於深度學習框架的計算機視覺對象檢測算法平臺Detectron。Facebook表示，開源項目是為了加速計算機視覺的研究。目前Facebook內部團隊正把Detectron平臺用於一系列的研究，比如增強現實。
  • 為提升AR對象分類,Facebook開源Detectron計算機視覺算法
    Facebook本周宣布開放Detectron，即該公司基於深度學習框架的計算機視覺對象檢測算法平臺。該公司表示，開放項目的動機在於加速計算機視覺研究，Facebook團隊正在使用該平臺開發各種應用，包括增強現實技術。
  • 整合全部頂尖目標檢測算法:FAIR開源Detectron
    昨天，Facebook AI 研究院（FAIR）開源了 Detectron，業內最佳水平的目標檢測平臺。Facebook 稱，該工具包已被應用與公司內部很多團隊應用於各類應用中，一旦訓練完成，這些計算機視覺模型可被部署在雲端或行動裝置上。
  • 從論文到測試:Facebook Detectron開源項目初探
    從RCNN到更快RCNN，再到最近的FPN和獲得ICCV Best Paper的面具RCNN，深度學習在物體檢測中以絕對優勢從眾多機器學習算法中脫引而出。大家對Facebook的計算機視覺研究項目的開源期盼已久，經過1年多的漫長等待，今天Facebook終於開源了Detectron，Detectron開源項目使用caffe2和python接口。實現了10多篇計算機視覺最新的成果。下面我們簡單介紹一下Detectron所實現的論文。並且對Detectron進行初次測試，我們會在隨後的博客中更新我們自己測試得到的Detectron訓練模型和速度標準。
  • Facebook開源CV開發平臺Detectron 支持各種識別算法
    Facebook 人工智慧實驗室今日宣布開源自己的頂級物體檢測研究平臺 Detectron，為廣大研究人員們未來的新計算機視覺研究課題提供靈活、快速的模型實現和評估途徑。經過一年半的開發之後，代碼庫已經成熟了，而且其中集成了許多 Facebook 自己的研究項目，包括在 ICCV 2017 上獲得最佳論文獎（馬爾獎）的《Mask R-CNN》和獲得最佳學生論文獎的《檢測密集物體時的焦距損失》兩篇論文中的算法，以及更早更廣泛使用的 R-CNN 算法家族等。
  • Facebook 開源 CV 開發平臺 Detectron,打包支持各種物體識別算法
    雷鋒網 AI 科技評論消息，Facebook 人工智慧實驗室今日宣布開源自己的頂級物體檢測研究平臺 Detectron，為廣大研究人員們未來的新計算機視覺研究課題提供靈活、快速的模型實現和評估途徑。經過一年半的開發之後，代碼庫已經成熟了，而且其中集成了許多 Facebook 自己的研究項目，包括在 ICCV 2017 上獲得最佳論文獎（馬爾獎）的《Mask R-CNN》和獲得最佳學生論文獎的《檢測密集物體時的焦距損失》兩篇論文中的算法，以及更早更廣泛使用的 R-CNN 算法家族等。
  • OpenCV 2.4.5 發布,開源計算機視覺庫
    OpenCV 2.4.5 發布了，該版本增加了完全功能的 Java 桌面綁定，兼容任意 JVM；此外關於 CUDA gpu 模塊的多項改進；基於OpenCL　的硬體加速模塊已成熟，修復了不少 bug， 實現了 CLAHE 算法
  • Facebook 發布 Detectron2:基於 PyTorch 的新一代目標檢測工具
    雷鋒網 AI 開發者按：Detectron 是 FAIR 在 2018 年初公開的目標檢測平臺，包含了大量業內最具代表性的目標檢測、圖像分割、關鍵點檢測算法，該框架主要基於 python 和 caffe2 實現，開源項目已獲得了超 2.2w 的星標數。
  • AR算法原理及深度學習在計算機視覺中的應用
    那麼，AR識別技術背後的算法原理是什麼，以及計算機視覺與深度學習在AR中的應用熱點趨勢有哪些？本次分享會從圖像特徵提取、特徵匹配與圖像變換、深度學習算法等方面給你進行深入淺出的技術展現，讓AR識別技術不再成為難以逾越的技術壁壘。
  • 谷歌開源量子算法框架Criq,有望找到量子計算機真正用途
    雷鋒網獲悉，為了讓量子計算機真正發揮效用，谷歌在近日推出了用於量子計算機的開源框架Cirq，以便公眾可以為量子計算機開發有用的算法。 Google AI Quantum團隊在博文中寫道，「Cirq專注於眼前問題，幫助研究人員了解NISQ量子計算機是否能夠解決具有實際重要性的計算問題。」
  • 計算機視覺已橫跨感知與認知智能
    開源環境僅降低計算機視覺領域的入門技術門檻 　　工業界和學術界先後推出了用於深度學習模型訓練的開源工具和框架，包括Caffe、Theano、Torch、MXNet、TensorFlow、PaddlePaddle、CNTK等等，極大降低了人工智慧技術在工業實踐中的入門門檻。
  • 專欄 | Detectron精讀系列之一:學習率的調節和踩坑
    大家期盼已久的 Detectron 終於開源啦，state-of-the-art 的模型就在一個命令行之間。
  • 計算機視覺及智能影像行業深度研究報告
    而這種能力洽洽是安防、自動駕駛、金 融、醫療等領域存在強烈需求，計算機視覺技術隨著不斷成熟將廣泛應用於各個行業。 1.2 計算機視覺領跑 AI 產業，安防領域應用最深  計算機視覺是中國 AI 行業的最大組成部分，市場規模飛速增長。
  • 臉書人工智慧科學家賈揚清:科技巨頭為何願將核心框架開源?
    臉書人工智慧科學家賈揚清：科技巨頭為何願將核心框架開源？賈揚清是浙江紹興人，本科和碩士就讀於清華大學，隨後在美國加州大學伯克利分校獲得計算機科學博士學位。2013年畢業後，他加入谷歌，是谷歌大腦TensorFlow的作者之一。2016年2月從谷歌離職，賈揚清加入Facebook，致力於前沿AI研究和平臺開發。
  • 港中文開源視頻動作分析庫MMAction,目標檢測庫算法大更新
    OpenMMLab 計劃是香港中文大學多媒體實驗室（MMLab）2018 年啟動的計劃，由香港中文大學教授、商湯科技聯合創始人林達華老師負責，初衷是「為計算機視覺的一些重要方向建立統一而開放的代碼庫，並不斷把新的算法沉澱其中。」
  • Github累積1.6萬顆星,這家AI公司的開源項目有望讓程式設計師少加班
    OpenMMLab 是商湯科技開源的一個計算機視覺領域的 AI 算法框架。自 2018 年 10 月逐步開源以來，OpenMMLab 在軟體原始碼託管服務平臺 Github 上共累積了 1.6 萬個星。開發 OpenMMLab 對於商湯來說意味著什麼？商湯對於未來 OpenMMLab 又會有怎樣的發展計劃？
  • 視覺感知-從人類視覺到計算機視覺
    但是，使計算機感知視覺世界有多困難？截至2019年，我們才取得了一定進展，但依舊還有很長的路要走。計算機視覺是計算機科學的一個相對較新的領域，大約有60年的歷史。人們開始思考人類視覺已經解決的問題，例如人臉識別，物體識別和分割。 1966年，麻省理工學院夏季視覺項目（MIT Summer Vision Project）在麻省理工學院開始了首次正式的計算機視覺工作，旨在在1966年夏季解決計算機視覺問題。
  • 從製造到零售,聯想計算機視覺技術持續推動行業智能廣泛落地
    依託集團戰略中清晰的落地場景,為自有產品和解決方案提供自研的算法,是聯想研究院人工智慧實驗室的特色之一。這不僅能讓聯想更快捷地在特定場景下不斷改善算法,更能保持集團的核心競爭力。而聯想的計算機視覺算法研發能力也處在行業第一梯隊。