最強機械手:無需提前了解物體,100%識別,適用多種非結構化場景

2020-11-29 新智元

新智元編譯

來源：MIT

編譯：克雷格

【新智元導讀】最近，由MIT和普林斯頓大學研究人員開發一款名為「拾放（pick-and-place）」的系統。「拾放」系統由一個標準的工業機器人手臂組成，研究人員配備了一個定製的抓手和吸盤。 他們使用算法讓機械手能夠評估一堆隨機物體，並確定在雜物中抓取或吸附物品的最佳方式，而不必在拾取物體之前了解物體。

拆包雜貨是一項簡單且單調的任務：你伸手去拿一個包，摸一下物品，然後把裡面的東西拿出來，掃了一眼之後再決定把它存儲在哪裡。

現在，這個重複性的工作要被機械手代替了。

最近，麻省理工學院和普林斯頓大學的工程師們開發出了一種機器人系統，能夠協助完成挑選和分揀任務，在從倉庫產品組織到清理災難區域的碎片等各項任務中都將有用武之地。

下面就是這個機械手的介紹

該團隊開發的名為「拾放（pick-and-place）」的系統由一個標準工業機器人手臂組成，研究人員配備了一個定製抓手和吸盤。他們開發了一種「物體不可知（object-agnostic）」的抓取算法，使機器人能夠評估一堆隨機物體，並確定在雜物中抓取或吸附物品的最佳方式，而不必在拾取物體之前了解物體。

一旦它成功抓住了一件物品，機器人將其從箱子中取出。然後一組攝像機從不同角度拍攝物體圖像，並藉助新的圖像匹配算法，機器人可以將抓取物體的圖像與其圖像庫進行比較以找到最接近的匹配。通過這種方式，機器人識別物體，然後將其收藏在另一個單獨的箱中。

一般來說，機器人遵循「先抓後抓」的工作流程，與其他拾放技術相比，這是一個有效的順序。

「這可以應用於倉庫分揀，也可以來從你的廚櫃裡撿東西或清除事故發生後的雜物。這個拾放系統能應對很多種情況。」MIT Walter Henry Gale職業發展教授Alberto Rodriguez說。

Rodriguez及其在麻省理工學院和普林斯頓大學的同事將於5月份的IEEE上發表一篇詳細介紹其系統的論文。

建立包含成功和失敗案例的資料庫，並整合進深度神經網絡

現有的系統通常只能在嚴格控制的環境中工作，但「拾放」技術擺脫了這種束縛，因而可能有很多用途。

今天，大多數工業機械手都是為了一個特定的重複性任務而設計的，比如將汽車零件從裝配線上抓下來，始終採用相同的、精心校準的方向。然而，Rodriguez正在努力將機器人設計成更靈活、適應性更強和更智能的採集器，它將適用於零售倉庫等非結構化的設置場景。在這種情況下，機械手可能會一直遇到並且必須排列數百甚至數千個混亂的新物體。

該團隊的設計基於兩項一般性操作：1、挑選—成功抓取對象的行為。2、感知—識別和分類對象的能力。

研究人員訓練機機械手從雜亂的垃圾箱中挑選新物體，使用以下四種主要抓取行為中的任意一種：垂直或從側面吸附到物體上；像在街機遊戲中的抓爪一樣垂直抓住物體；或者對與牆壁平行的物體垂直夾持，然後使用鏟子在物體和牆壁之間滑動。

Rodriguez和他的團隊展示了機器人收集的圖像，這些圖像現實的物體雜亂無章，然後他們向機器人展示了哪些物體可以抓取，哪些是四種主要的抓取行為，並將每個抓取動作標記為成功或失敗，最後，研究人員建立了一個挑選成功和失敗的案例資料庫，並將這個庫合併到一個「深度神經網絡」中，使機器人能夠根據其成功和失敗的庫，將其當下面臨的問題與過去的成功結果進行匹配。

「我們開發了一個系統，通過查看充滿物品的手提箱，機器人知道如何預測哪些是可抓取或可抽吸的，以及這些抓取行為利用哪種配置可能成功。」Rodriguez說。 「一旦它進入抓手，物體就更容易被識別，沒有任何混亂。」

從像素到標籤：以100％的精度識別新物體

研究人員以類似的方式開發了一種感知系統，使機器人能夠在成功抓住物體後識別和分類物體。

他們首先開發一個從在線資源（如零售商網站）獲取的產品圖像庫，隨後用正確的標識標記每個圖像，然後開發另一種學習算法，將給定圖像中的像素與給定對象的正確標籤相關聯。

「我們正在教機械手比較東西，對於人類來說，可能很容易識別，但實際上，作為像素，機器人看起來可能顯著不同。」Rodriguez說，「我們確保這個算法適合這些訓練樣例。希望我們已經給了它足夠的訓練樣例，這樣當我們給它一個新的對象時，它就會預測正確的標籤。」

去年7月，該團隊將這臺重達2噸的機械手運往日本，一個月後，他們在那裡參加了亞馬遜機器人挑戰賽。最後，團隊研發的這個機械手在使用吸力吸取物體時的成功率為54％，使用抓取時的成功率為75％，並且能夠以100％的精度識別新物體。機器人還在規定的時間內存放了所有20個物體。

Rodriguez最近還獲得了亞馬遜研究獎，並將與亞馬遜合作進一步改進「拾放」系統的技術，特別是其速度和反應性。

「在非結構化環境中進行抓取是不可靠的，除非增加一定程度的反應性。」Rodriguez說，當人類抓取時，我們會對物品進行小幅調整。弄清楚如何做出這樣的調整，我認為是關鍵技術之一。

目前，該團隊已經採取了一些步驟實現這一目標。他們為機器人的抓手添加觸覺傳感器，並通過新的培訓體系運行系統。

「機械手現在具有觸覺傳感器，並且我們已經啟用了一個系統，機器人一整天都在不斷地從一個地方到另一個地方撿東西。」Rodriguez說。

連結：

http://news.mit.edu/2018/robo-picker-grasps-and-packs-0220

相關焦點

  • 德國FZI讓機械手像人手一樣自適應抓取各種物體
    人類利用大腦控制迴路的組合共同作用讓手抓取物體。根據傳感器的反饋，如果物體移動或變形，手可以適應其運動，這稱為軟抓取。擬人化的手進行軟抓握是機器人在環境中與人形物體交互的重要功能。但是，大多數機器人使用真空、兩指或定製的抓爪，這對於生產應用設計編程來說很方便，但是在不知道其確切抓握對象屬性的情況下將大大降低機械手的適應性。
  • 為家政機器人配上這款機械手,一張紙巾掉地上都能捏起來
    該團隊搭建了先進的視覺和卷積神經網絡系統，使得機器人可以將客廳地板上雜亂的物體識別歸類，然後進行抓取並放到正確的位置。「工欲善其事必先利其器」，一隻好用可靠的機械手也可以大大提升機器人的收拾屋子的效率和成功率。
  • 麻省理工學院科學家們改進了軟機械手的感知能力
    一個機械手需要感受它所觸摸的東西和它手指的位置，這是大多數軟機器人所缺少的能力。麻省理工學院的研究人員發表了2篇新論文，概述了讓機器人更好地感知他們正在與之互動的新工具。具體來說，論文描述了新的方法，讓機器人看到和分類項目，以及獲得更柔和，更微妙的觸摸。研究小組說，這些柔軟的機器人手上有裝有傳感器的皮膚，可以用來撿起從薯片等易碎物品到奶瓶等更重的物品。
  • 為非結構化數據存儲樹新標準,PowerScale的傳承與創新
    以視頻監控應用為例，客戶不僅需要存儲大量的視頻數據，而且還需要存儲因使用人臉識別技術而產生的人臉截圖等非結構化數據文件，這一類文件通常只有幾個KB到幾十個KB大小，但是數目特別巨大，動輒就是十億甚至百億的規模。
  • 開採非結構化數據這座金礦,企業需要什麼樣的工具?
    正因為如此，如何降低海量非結構化數據的存儲成本，更好地管理和應用非結構化數據，挖掘數據中潛藏的巨大價值，進而幫助推動自身業務的增長與轉型升級，也就成為了當前眾多企業亟待解決的課題。「以最常見的企業辦公場景為例，文件服務ROBO（Remote Office Branch Office）經常需要做跨平臺、跨地域的數據訪問，其中像銀行、MES、醫院HIS等熱數據都是跟核心系統緊密相關的東西；但是也有大量的數據，譬如社交媒體、庫存、財務數據等，都是偏後線的，還有許多數據和文件來自多種渠道，甚至包括微信、微博、抖音等平臺，所有複雜的應用場景和繁多的數據就變成了一種非常複雜的結構
  • 熵基科技:生物識別的領導者,開創未來場景新應用
    作為現如今熱門板塊的生物識別行業同樣也不例外，尤其是在生物識別技術與計算機視覺技術的加速融合之下，使得生物識別行業搭上了高速發展的列車。而作為生物識別行業的知名企業熵基科技，也正以一種極為迅猛的速度發展壯大，其產品服務於大多數世界500強企業，以及營銷網絡覆蓋全球 100 多個國家和地區有密切合作的廠商。
  • 李飛飛團隊新研究,場景中識別物體屬性,連表面紋理都識別出來了
    白交 發自 凹非寺量子位 報導 | 公眾號 QbitAI現在，細微到物體表面的紋理，AI都可以識別。這就是李飛飛團隊新研究。我們知道，卷積神經網絡在識別視覺對象方面很出色，但還不能很好的識別出物體的具體屬性，比如表面形狀、紋理等。
  • 李飛飛團隊最新研究，真實場景中識別物體具體屬性
    白交 發自 凹非寺 量子位 報導 | 公眾號 QbitAI現在，細微到物體表面的紋理，AI都可以識別。這就是李飛飛團隊新研究。我們知道，卷積神經網絡在識別視覺對象方面很出色，但還不能很好的識別出物體的具體屬性，比如表面形狀、紋理等。而最近，李飛飛團隊的最新研究——Learning Physical Graph Representations from Visual Scenes，就一舉解決了這個問題。
  • 英國研究團隊開發無需特製傳感器的觸覺反饋系統
    據外媒報導，英國格拉斯哥大學(University of Glasgow)的研究團隊開發了首個可產生能量的電子皮膚原型，無需使用專門的觸摸傳感器就能獲得觸覺反饋。電池提供充足的能量來驅動控制機械手活動的微執行器;同時，通過測量太陽能電池輸出的變化，電池為機械手提供獨特的觸覺反饋。當物體靠近電池表面時，到達其表面的光線就會減少，電池產生的能量隨著光線變暗而降低。最終，當物體觸摸並覆蓋機械手時，電池能量降為零。並且，通過對每個電池產生的能量水平進行智能說明，機械手皮膚能夠檢測出靠近物體的形狀。
  • 常見的四種人臉識別場景
    ，也是目前人們能夠感知到的人工智慧產品，人臉識別它是基於人的臉部特徵信息進行身份識別的一種生物識別技術，目前我們能夠在購物、安檢、出行、入駐、金融等領域看到人臉識別技術的應用，比如說人臉識別道閘、人臉識別門禁、人證對比接等。
  • 什麼是人臉識別？你真的了解人臉識別技術嗎？
    由於人工智慧的發展，近年來，基於海量數據的人臉識別技術被廣泛應用於各個領域。火車、地鐵通道、人臉通道、微郵服務、一些工作人員測繪設施等都是人臉識別技術的特殊應用。要了解人臉識別保護個人信息的難點，首先要了解人臉識別技術被廣泛應用的原因及其適用範圍，這樣才能對人臉識別技術保護個人信息進行法律監督。
  • 注塑機機械手有哪些分類呢?
    對於注塑生產中使用的注塑機機械手，一般可按其功能分為以下三種類型：一、簡易型注塑機機械手簡易型注塑機械手可分為固定模式程序性和可變程序型兩種。注塑機機械手二、記憶再現型注塑機機械手這種機械手具有記憶及可變程序的能力
  • 紅外LED和太陽能電池助力,機器人無需傳感器即可獲得觸覺
    據外媒報導，英國格拉斯哥大學（University of Glasgow）的研究團隊開發了首個可產生能量的電子皮膚原型，無需使用專門的觸摸傳感器就能獲得觸覺反饋。電池提供充足的能量來驅動控制機械手活動的微執行器；同時，通過測量太陽能電池輸出的變化，電池為機械手提供獨特的觸覺反饋。當物體靠近電池表面時，到達其表面的光線就會減少，電池產生的能量隨著光線變暗而降低。最終，當物體觸摸並覆蓋機械手時，電池能量降為零。並且，通過對每個電池產生的能量水平進行智能說明，機械手皮膚能夠檢測出靠近物體的形狀。
  • 夏日專刊AI產品上新升級集錦,50餘項軟硬能力加速場景落地
    ，效果細膩逼真自然，適用於染髮試色、互動娛樂場景。OCR 智能結構化識別開放邀測結構化識別各類卡證、票據，無需配置結構化對應關係、無需提取關鍵詞、無需定製開發，直接上傳圖片即可獲得結構化識別信息；適用於政務審批、證件信息錄入、境外證件讀取等場景>>申請試用
  • 虹軟開放平臺算法上新 助力全面拓展人臉識別細分化場景
    因此，虹軟視覺開放平臺也在近日上線了ArcFacePro、ArcFaceS兩款適用於更多領域的人臉識別算法，並針對大面積遮擋情況下的人臉識別做了深度優化，進一步提升算法魯棒性。此外，虹軟視覺開放平臺還將於5月21日在線直播「因AI而生 產業共贏」生態融合大會，以此進一步幫助開發者拓展人臉識別場景化應用。
  • 可識別物體的觸控螢幕:TP行業下個變革點
    前幾天有個項目「可識別物體的觸控螢幕技術」來參加微路演。這項技術類似於微軟的PixelSense，但相比微軟技術具有重量更小、更優的結構設計、更低的零件成本和易於組裝維修等優勢。這個技術具體是什麼？簡單來講，就是使觸控螢幕能夠識別出放在屏幕上的手指、手及物品，同時支持50多點的觸摸。還是不懂？
  • 【獨家首發】阿里雲+機械手監測 海曼新一代燃氣探測器來襲
    自檢按鍵上側面設置了自檢按鍵,用於產品自檢和控制燃氣閥門機械手。短按1次自檢按鍵,LED燈三色交替閃爍並開始語音播報,產品進入自檢狀態。「阿里雲」賦能 智能監測機械手狀態用戶可根據上下班時間設置閥門關閉或開啟的時間,也可設置外出、回家等不同場景實現智能聯動。到了特定時間,探測器會聯動機械手執行相應操作。一方面切斷燃氣保障安全,另一方面減少擔心,省去用戶每天動手的繁瑣操作。
  • Nature:「揭秘」物體識別關鍵腦區組織的一般原理
    該文利用功能磁共振成像技術、微刺激、電生理學和深層神經網絡，研究獼猴大腦下顳葉皮層（IT）的組織結構，他們發現了新的『無主之地』NML，這個區域對高縱橫比的偏好響應最強，同時在解剖學層面，細胞根據首選軸（preferred axes）的前兩個主成分聚類成四個網絡形成一個物體空間（object space）圖，該物體空間圖在IT內部的三個層級（後、中、前）上重複，其視圖不變性（view-invariant
  • 機器人靠幻覺訓練、可能達到人類識別空間物體位置的能力
    為了讓機器人能夠明白實物的空間位置，就在物體的擺放處放置獨特的識別物，讓機器人能夠與這些獨特的參照物，來作出簡單地位置關係判斷，以完成科研人員的命令。機器人了解空間關係是特別難的一件事，就像人類了解四維空間一樣。機器人的工作層面基本都二維面，要讓機器人涉足三維面，不是簡單地增加一個位面而是要讓機器人作出整個三維空間的認知。
  • 3D手勢識別背後的技術
    手勢識別技術長期以來一直採用 2D 視覺進行研究，但隨著 3D 傳感器技術的出現，其應用將日益廣泛並多樣化。本文引用地址：http://www.eepw.com.cn/article/201610/307147.htm2D視覺的局限計算機視覺技術一直在努力向堪比人類智慧的智能方向發展，以更好地了解場景。