FB嵌入式人工智慧平臺發布,單目3D姿態估計新方法

2021-01-17 大數據文摘

大數據文摘專欄作品

作者:Christopher Dossman

編譯:笪潔瓊、conrad、雲舟

嗚啦啦啦啦啦啦啦大家好,本周的AI Scholar Weekly欄目又和大家見面啦!

AI Scholar Weekly是AI領域的學術專欄,致力於為你帶來最新潮、最全面、最深度的AI學術概覽,一網打盡每周AI學術的前沿資訊,文末還會不定期更新AI黑鏡系列小故事。

周一更新,做AI科研,每周從這一篇開始就夠啦!

本周關鍵詞: 嵌入式人工智慧、語義數據集、3D姿態估計、大型機器人網絡

本周熱門學術研究

嵌入式人工智慧研究平臺Habitat

來自Facebook人工智慧研究中心、喬治亞理工學院、Facebook現實實驗室、西蒙弗雷澤大學、英特爾實驗室和加州大學伯克利分校的研究人員展示了最有趣的機器人研究進展之一——Habitat。

Habitat是一個新的嵌入式人工智慧研究平臺。可以把它想像成一個機器人的世界,在這個世界裡,機器人的訓練採用高效、逼真的3D模擬形式,之後它們就可以被轉移到現實世界中去。

Habitat包括:

1. 一個高性能的3D模擬器,具有可配置的代理、傳感器和通用的3D處理功能,內置了對Matterport3D、SUNCG和Gibson數據集的支持。

2. Habitat API——一個集成的高級庫,允許用戶在不同的3D場景數據集中使用不同的方法訓練和基準測試人形智能代理。

3. Habitat挑戰——以視覺導航為基準並以推進目標為導向的努力。

潛在應用及影響

Habitat是一個範例的轉變。它為人形智能代理提供了一個在現實環境中行動和學習的環境,將加速對人形人工智慧的研究。

這並不是說數據表已經完全轉變了,但儘管數據集在計算機視覺和自然語言處理過程中起到了重要的推動作用,但功能豐富的模擬器可能很快就會開始發揮作用。當然,這還有很長的路要走,只有人工智慧研究社區的全面參與與投入才能取得成功。

Habitat平臺是開源的,詳細信息:

https://aihabitat.org/

原文:

https://arxiv.org/abs/1904.01201

語義KITTI數據集

最近,一組研究人員開發了一個新的大規模語義KITTI數據集,該數據集在點雲序列的點向注釋方面具有特殊的規模。

該數據集是基於KITTI基準的裡程測量數據集,包含城市內部交通、居民區、公路場景和鄉村道路,但不影響原始的裡程測量基準。

新數據集也是同類數據中最大的,包括23201個用於訓練、20351個用於測試的完整3D掃描。為了開發數據集,研究人員避免使用邊界框或KITTI數據集可用的注釋來確保標籤的準確性和一致性。

該數據集已在PointNet、PointNet++、切線卷積、SPLATNet、超點圖和SqueezeSeg等六種點雲語義分割體系結構上進行了評估和測試。測試結果表明,現有的點雲語義分割模型無法匹配數據集的大小和複雜度。

潛在用途及影響

語義KITTI數據集提供了一系列不同的基線實驗,用於使用單個掃描、多個掃描以及語義場景完成任務的語義分割。它還致力於推動計算機視覺和自動駕駛機器人應用的發展。

原文:

https://arxiv.org/pdf/1904.01416.pdf

利用卷積變分自編碼器進行單目3D姿態估計

最近的研究試圖通過一個深層條件變分自動編碼器來解決2D到3D提升的固有困難。研究人員提出了一種基於深度學習的生成模型,以估計的2D姿態為條件,合成不同的3D姿態樣本。通過這樣做,他們解決了從2d到3d提升過程中遇到的模糊性。

這是首次將深度條件變分自編碼器(CVAE)應用於3D人體姿態估計。研究人員使用兩種技術來預測最終的3D姿勢,包括有序排列和甲骨文。從RGB圖像中得到關節序數關係,並展示了它們對使用oracle報告的3D姿態樣本進行排序的用法。

該方法允許三維姿態建模,並提供了繪製不同的三維樣本的靈活性,從而在Human3.6M和Human-Eva基準數據集上產生了有競爭力的結果。

潛在用途及影響

研究人員是否終於解決了單目三維姿態估計的長期難題?這項研究讓我的思緒回到了2014年GANs發現的時代。這是CVAE首次應用於單眼3D姿態估計。

新框架在兩個基準數據集上獲得了具有競爭力的結果。此外,該模型可以在沒有配對3D監督的情況下進行訓練,仍然可以產生有競爭力的結果。我認為這個新模型是人工智慧研究社區願意深入研究的東西,能夠幫助推動3D姿態估計的進步。

請注意訓練和評估代碼:

https://github.com/ssfootball04/generative_pose

原文:

https://arxiv.org/abs/1904.01324

模仿學習的生成式前代模型

借鑑已有的生成模型,研究人員提出了新的模仿學習生成前代模型(GPRIL),該模型對多步生成前代分布進行建模,實現狀態-動作分布匹配。

新方法基於一個概念:即,使用專家演示和環境動態增強訓練數據集,這些數據集預先提供給人形人工智慧,並且只能通過交互進行觀察。狀態-動作對使得人形人工智慧能夠有效地模仿專家,並通過糾正行為和減少錯誤進行訓練。

通過這種方式,該方法使得人形人工智慧可以僅使用少數專家演示和與周圍環境的自監督交互來學習魯棒性的策略。GPRIL在兩個模擬機器人操作任務上達到或優於現有的仿真模型,並在真實機器人上顯示了相當高的樣本效率。

潛在用途及影響

GPRIL可以幫助我們解決真實世界中訓練人形人工智慧的樣本效率低下或計算可行性方面的挑戰。此外,它還有潛力使自主技術訓練過程更安全、快速。

原文:

https://arxiv.org/abs/1904.01139

高效的大型機器人網絡規劃與協調

來自中國的研究人員進行研究時,發現大型機器人網絡仍然存在著一些經常發生的問題。在由大量機器人組成的網絡中,如果它們缺乏密度分布平衡,就會導致交通擁擠、衝撞和停頓。

作為這些問題的解決方案,研究人員提出了一種用於倉儲和物流應用的分區任務規劃和行動協調方法。在任務規劃方面,對倉庫環境進行了劃分,並使用一個交通熱力圖實現了機器人的密度分布。

然後,他們應用近鄰任務分配技術,將特定的任務分配給最近的自由機器人,並在拓撲圖中進行高級路徑規劃。所有行動都能保證交通流動的平衡,並使實時狀態呈現優異表現。

另一方面,該方法還通過在每個分區中的本地協作算法和用於協調成對相鄰分區的通道預留方法來實現行動協調。在此基礎上,提出了一種在線循環規劃機制,提高了模型對機器人運動延遲和通信故障的容忍度。最後,每個機器人對其規劃的道路路徑實施控制追蹤機制,以避免可能發生的碰撞。

潛在用途及影響

我非常喜歡這個研究成果。這個方法具有很大的潛力,可以消除擁有1000個機器人以上的倉庫中大型機器人網絡的主要通信和運動不確定性問題。我們正在尋找更有效、更高效、更穩定的未來倉庫型機器人應用。

原文:

https://arxiv.org/abs/1904.01303

其他爆款研究

用於探索和追蹤無人機|(uav)的學習模擬器。

https://arxiv.org/abs/1904.00378

你想知道如何為sim2real強化學習策略的遷移選擇領域隨機化參數嗎?

https://arxiv.org/abs/1903.11774

從2015年到2018年在速記加密和速記分析方面的深度學習總結。

https://arxiv.org/abs/1904.01444

無需選擇模型和超參數調優就可以獲得具有競爭力的性能的一種簡單遷移學習方法。

https://arxiv.org/abs/1904.01376

最先進的單目3D人類姿勢估計。

https://arxiv.org/abs/1904.01324

AI新聞

麻省理工學院使用較少的訓練數據來學習對象之間關係的人工智慧模型。

https://venturebeat.com/2019/04/02/mit-csails-ai-model-learns-relationships-among-objects-with-minimal-training-data/

人工智慧的傳輸速度將比新晶片快1000倍。

https://www.technologyreview.com/the-download/613258/intel-buys-into-an-ai-chip-that-can-transfer-data-1000-times-faster/

在過去的幾年裡,全球的人工智慧研究和發展有了很大的變化。預計的發展增長就像人工智慧領域海洋中的一滴水。

相關焦點

  • 好文精讀 | 單階段的多人絕對三維姿態估計方法
    本期論文——SMAP: Single-Shot Multi-Person Absolute 3D Pose Estimation單階段的多人絕對三維姿態估計方法作者:Jianan Zhen, Qi Fang, Jiaming Sun, Wentao Liu, Wei Jiang, Hujun Bao, Xiaowei Zhou收錄於
  • 無需人臉檢測,即可實時,6自由度3維人臉姿態估計方法 | 代碼剛開源
    在AFLW2000-3D和BIWI上的測試表明,我們的方法運行在實時和性能優於狀態(SotA)人臉姿態估計器。值得注意的是,我們的方法在更寬的人臉檢測基準上也超過了類似的SotA模型,儘管沒有在包圍框標籤上進行優化。
  • 邊緣計算推動人工智慧走向嵌入式系統
    隨著邊緣計算時代的到來,人工智慧逐漸從雲端向嵌入端遷移,嵌入式計算與智能視覺越來越被業界重視,得到了快速的發展。  人工智慧與嵌入式人工智慧  如今,全球正邁向數位化新時代。以雲計算、大數據、人工智慧(AI)與物聯網為代表的數位技術,其能量在持續釋放。仿佛一夜之間人人都在談論人工智慧。
  • 如何在MIPS平臺上使用Yocto設備定製的嵌入式系統Linux
    在這些設備上運行的軟體很有可能是高度定製的針對嵌入式系統的Linux。若要使用OS用作特定的任務,或優化工作流,那麼,最理想的便是運行定製版Linux。 本文將簡要闡述設計師如何使用Yocto開源基礎設備,在MIPS平臺上定製嵌入式Linux發行版——使設計師能聚焦於產品本身,而不是創建定製發行版帶來的複雜性。
  • Cortex-A53嵌入式處理器平臺上實現雷射雷達SLAM的方法
    Cortex-A53嵌入式處理器平臺上實現雷射雷達SLAM的方法 李倩 發表於 2018-03-13 09:15:32 自主移動機器人]是近幾年的研究熱點,要實現機器人的自主移動,關鍵是要實現SLAM[4-7
  • 從人臉到人體姿態,芯翌探索生物識別新模式
    放到今天來看,其實我們可以通過一種AI技術,來研究本山大叔是如何一步一步變瘸,姿態是如何從正常演變成不正常,如何從正常人變成瘸子。這就是人體姿態估計技術,可以實現人體動作、手指運動等姿態的估計,對於描述人體姿態、預測人體行為至關重要。近日,芯翌研發團隊的論文《UDP-人體姿態估計無偏的數據處理方法》被人工智慧和計算機視覺領域頂級會議CVPR-2020接收。
  • ORB-SLAM3 單目地圖初始化(終結篇)
    歡迎大家一起交流成長~一、前言請閱讀本文之前最好把ORB-SLAM3的單目初始化過程再過一遍(ORB-SLAM3 細讀單目初始化過程(上)、超詳細解讀ORB-SLAM3單目初始化(下篇)),以提高學習效率。單目初始化過程中最重要的是兩個函數實現,分別是構建幀(Frame)和初始化(Track)。
  • 報告:中國以更加開放姿態推動人工智慧發展
    中新網上海10月22日電 (鄭瑩瑩)《中國新一代人工智慧發展報告2020》(中英文版)22日在2020浦江創新論壇上發布。報告顯示,中國在2019年以更加開放的姿態推動人工智慧發展,積極推進與全球各國的人工智慧國際合作。中國人工智慧國際合作論文數量持續增長,中美兩國處於全球人工智慧科研合作網絡和產業投資網絡的中心,在全球人工智慧合作網絡中發揮了積極作用。
  • 發布 | 中國新一代人工智慧發展報告:積極推動AI國際合作
    作為重要智庫成果發布平臺,10月22日上午,2020浦江創新論壇聯合中國科學技術發展戰略研究院、科技部新一代人工智慧發展研究中心、中國科學技術信息研究所、上海市科學學研究所、施普林格·自然集團、同濟大學、上汽集團等多家機構發布了《中國新一代人工智慧發展報告2020》、《全球前沿技術發展趨勢報告》、《2020「理想之城」——面向2035年的全球科技創新城市調查報告
  • 嵌入式Linux啟動時間優化的秘密之四-啟動腳本
    嵌入式Linux啟動時間優化的秘密之四-啟動腳本 逸珺 發表於 2020-04-21 09:22:52   本文主要講述嵌入式Linux啟動時間優化的秘密,我們繼續上篇沒有講完的嵌入式
  • 異構化、平臺化、IP化 人工智慧時代FPGA展現新趨勢
    隨著雲計算、人工智慧時代的到來,善長數據並行計算、更加靈活和低延遲的FPGA將受到更多關注,FPGA廠商也推出不同類型的解決方案加以應對——異構計算平臺化、IP化,FPGA正展現出更多新的發展趨勢。根據Semico Research預測數據,僅在人工智慧應用中,FPGA的市場規模將在未來4年內增長3倍,達到52億美元。平臺化+異構整合,FPGA展現新趨勢 面對拓展越來越大的應用趨勢,各FPGA廠商也在推出不同的解決方案。這些解決方案反應了不同廠商面對新市場需求形成不同的發展策略,也對FPGA的技術趨勢形成了不同影響。
  • 5G 新基建創造新生態 2020中國(長三角南京)國際嵌入式大會在紫金...
    本屆大會移師古城南京,由中國工程院院士劉韻潔擔任大會輪值主席,由紫金山實驗室、國家可信嵌入式軟體工程技術研究中心 、東南大學、上海科學院、上海產業技術研究院、長三角嵌入式系統與軟體產業聯盟聯合主辦,以「5G,新基建創造新生態」為主題,圍繞行業應用、技術發展等角度,探討5G新基建下的嵌入式、大數據、數字經濟的發展機遇。
  • 一個超乾貨的3D視覺學習社區
    我想請問一下在單目三維重建過程中,對投影儀的標定,一般用什麼來評價所用方法對投影儀標定精度的有效性? ……姿態估計篇目前做物體6D姿態估計的網絡中,有沒有應用深度補全來提升精度以及提升遮擋下的識別效果的呢?如何自己製作6D位姿估計的深度學習的數據集?
  • 2019年「國家新一代人工智慧開放創新平臺」建設情況 人工智慧...
    會議宣布百度、阿里、騰訊和科大訊飛成為首批國家新一代人工智慧開放創新平臺,更多的開發者可依託這些平臺快速搭建自身的產品。  2018年9月,科技部正式宣布,依託商湯集團建設智能視覺國家新一代人工智慧開放創新平臺。商湯集團成為繼百度公司、阿里雲公司、騰訊公司、科大訊飛公司之後的第五大國家人工智慧開放創新平臺。
  • 構建AI生態「朋友圈」之江實驗室發布「天樞」人工智慧開源開放平臺
    「天樞」人工智慧開源開放平臺2日在浙江杭州正式發布。該平臺具備高性能核心計算框架,提供一站式全功能AI開發套件,將提升人工智慧技術的研發效率、擴大算法模型的應用範圍,進一步構建人工智慧生態「朋友圈」。據介紹,該平臺由之江實驗室牽頭,聯合浙江大學、阿里巴巴等多單位共同研發打造。
  • 技術專欄|剖析-單目相機在旋翼機上的速度測量原理
    旋翼機上的速度信息一般是由飛控內部慣性測量單元(包含加速度計和陀螺儀)來獲取,假設飛機上無其他測量速度的傳感器,單憑飛控內部唯一速度來源來獲取速度數據並作為依據來指導飛機的飛行,如果單一的數據來源出現偏差,則會影響飛機的穩定飛行。 基本思路: 假設單目相機也能為飛機提供一個速度數據來源
  • 新型 3D列印設備增強二氧化碳排放捕獲能力
    吸收,捕獲CO2的最常用和最經濟的方法之一,將來自煙囪的煙氣流與溶劑接觸,例如稱為MEA的單乙醇胺或可與氣體反應的其他胺溶液。3d列印強化裝置安裝在包裝元件之間的柱的上半部分。在包裝元件的瓦楞紙板內添加了嵌入式冷卻液通道,以允許熱交換能力。最終原型測量 直徑20. 3 釐米,14.6 釐米高,總流體體積容量為 0.6 升。鋁被選為強化裝置的初始材料,因為它具有優異的印刷適性、高導熱性和結構強度。
  • 國際嵌入式大會在紫金山實驗室舉行
    大會以「5G,新基建創造新生態」為主題,圍繞行業應用、技術發展等角度,探討5G新基建下的嵌入式、大數據、數字經濟的發展機遇。中國國際嵌入式大會(Embedded China)在國家科技部、國家工信部和上海市科委等部門的指導下,自2008年創辦以來,已連續舉辦了12屆。
  • Sci Adv |基於人工智慧度量學習的單細胞類型鑑定新方法
    for single cell assignment 的論文【3】,發布了基於人工智慧度量學習的單細胞類型鑑定新方法基於以上考量,作者提出了一種基於人工智慧度量學習的細胞類型鑑定框架scLearn,該框架將可以適用於單標籤以及多標籤的細胞類型鑑定。