機器人抓取?真沒想的那麼簡單!

2021-01-10 雷鋒網

雷鋒網(公眾號:雷鋒網)按:本文作者李淼,武漢庫柏特科技創始人,瑞士洛桑聯邦理工博士,研究方向為機器人學習和人機協調交互。

六個月前寫了一篇機器人抓取的專欄文章,介紹了一下機器人抓取的基本研究內容和方法。文章連結:機器人從什麼時候開始抓取的(上)。當時就說了未完待續,一直想更詳細的介紹下機器人抓取。在2017年的開始兩天,終於可以抽出時間來稍微整理一下這方面的內容。

完整的PPT下載連結

一、什麼是機器人抓取?

如下圖所示,給定一個物體和手,機器人抓取的基礎問題分為三個:

按照難度,這三個問題基本是依次遞增的。

1、怎麼樣去抓?(Grasp Planning)

這個問題基本是一群大牛一開始就研究的問題,包括Salisbury,Mason,Cutkosky,Khatib 等等。大家研究來研究去,就是想知道:給定一個物體,給定一個任務,給定一個手,這個手該怎麼去抓這個物體才是最好的?這個方向的最著名的結果算是force-closure了, 在很長時間基本相當於控制裡面的穩定性的重要性了。我在讀博士前兩年,基本也是做這個,當時帶我的博士後Sahar在這個方向做得相當不錯,不過她轉行搞金融去了。最近這個方向基本就是往與Learning結合的套路上走,可以參考Sergey Levine在Google時的工作。

2、怎麼樣去控制?(Grasp Control)

這個問題就是研究力控,包括手指末端的力控,觸覺控制等,剛度控制,阻抗控制等等。很長一段時間,大家都在試圖計算什麼樣的手指抓取力才是最優的(話說當年開始讀碩士時,第一個給我郵寄紙質論文的Imin Kao 教授就是做抓取的剛度控制的)。這裡面以Martin Buss和李澤湘老師組的工作最為著名,將一個非線性優化問題轉化成一個線性矩陣不等式問題,基本在幾十毫秒左右可以得到優化結果。最近的這個方面的最好的工作應該算是DLR出來的object-level impedance control(IJRR)了(文章第一作者Wimbock也轉行了)。現在還堅守在這個方向的主要就是幾個日本教授了,包括我的合作者Kenji。話說Kenji的老闆Arimoto教授,退休後才開始搞機器人抓取的,還出了本書。他屬於上古大神級別,現在很少有人知道,IROS 2016他的生日聚會也相當高端,可以感受下(2006 International Symposium on Advanced Robotics and Machine Intelligence)。

3、怎麼樣去操作?(Dexterous Manipulation)

其中最後一個問題的dexterous manipulation(靈巧操作),已經很多年沒有什麼好的進展了,現在也很少有人去碰這個問題了。Cutkosky的博士論文是搞這個,後來還搞了幾年,再後來把實驗室名字都換了,算是轉方向了。Peter Allen 組以前有個博士後搞這個,後來好像是潛水掛了,很是遺憾。最近的soft robotics火了,這個方向好像有了新的轉機,Oliver Broc也開始做這個方向了。

二、為什麼機器人抓取重要?

如下圖所示,機器人抓取的研究涉及到很多方面,包括機械,控制,計算機,人工智慧等等。很多時候,機器人抓取是一個很好的最小研究例子(minimal example),來支撐各個方向的研究。其次,機器人抓取中的研究內容,特別是靈巧性和交互性,能夠對其他很多相關的研究起到作用,下面的第二張圖就說明了這一點。另外,抓取也是機器人走進真實世界必不可少的功能,手對人類是如此重要,我們當然希望賦予機器人同樣的功能。

三、為什麼機器人抓取很難?

抓取對我們而言是如此簡單,所以我們很有可能認為對機器人也很簡單,但實際上是相當難的。如果看過各種或者參加過各種抓取比賽,應該是生無可戀了,機器人抓取的底線比你想像的肯定要低。但是很多paper中的數據都是在制定的非常不真實的條件下,給人一種很高的成功率的感覺。記得我在我博士論文裡面給了個30%左右的成功率,有個答辯委員問我為什麼這麼低,這不符合常理。但是這就是現實。

現實世界有太多的不確定性,因為不確定性,我們在抓取中用到的模型基本上都是不準確的,甚至是錯的。而我們又沒有足夠好的傳感器,可以實時給我們反饋真實的狀態。更糟糕的是,我們連一個好點的手也沒用,很難準確的去控制機器人手到我們想要的狀態。未來很長一段時間,怎麼樣處理這些不確定性,將會是機器人抓取的一個熱點方向。其實這個方向也很熱,基本每年都有相關的workshop。這裡推廣下我們2017年的ICRA workshop。

四、未來的方向?

既然還有這麼多的未解決的問題,那麼未來的方向在哪裡?我自己總結了幾個點:更好的理解不確定性,更多的利用接觸,更靈巧的設計,更穩定的傳感器。這幾個方向的闡述,也是很大的一個坑,將來一個個添補吧。(我博士畢業後,如果去美國做博士後,就是研究其中的第一點和第二點)。如果這幾個點做好了,機器人抓取離大面積的現實應用也不會太遠。

最近我們在公司實現的無序抓取(random bin picking)

如果對機器人抓取,力控,機器人學習,嵌入式系統了解並感興趣,歡迎聯繫。

另外,我們也長期招聘優秀實習生,可以做第一手的研究和推薦出國。

個人研究主頁

雷鋒網特約稿件,未經授權禁止轉載。詳情見轉載須知。

相關焦點

  • 機器人智能抓取AI+Grasp
    該團隊又與Intel中國研究院合作,建立了一個視覺、觸覺、力等多模態的機器人抓取數據集,通過視觸融合實現抓取穩定判斷[7]。清華大學孫富春教授團隊也是利用多模態信息實現的機器人智能抓取,而贏得了「IROS2019機器人靈巧抓取操作比賽」物流分揀項目的冠軍。加州大學伯克利分校提出了利用一個基於視覺的觸覺傳感器—GelSight來進行多模態抓取任務[8]。
  • 並聯機器人智能抓取系統
    具有機器視覺的工業機器人就像擁有了人的眼睛,變得智能化,比傳統工業機器更加靈活、安全,能夠適應更多複雜的生產製造場景,滿足更多個性化需求。勃肯特機器人可以依據客戶多樣化需求,設計相應的解決方案。
  • 全球首個機器人抓取雲競賽落幕,華科奪冠,中國團隊包攬前三
    日前,由阿里巴巴聯合主辦的全球首個機器人抓取雲競賽落幕,59 個頂級研究團隊經過角逐,最終華中科技大學奪冠。 機器人抓取一直以來都被認為是機器人領域中的典型任務,其實際應用面廣、但需要複雜的研究過程並實現軟硬體一體化。 近年來,這一領域的研究有非常大的突破。
  • 讓機器人有觸覺,不是看起來那麼簡單的事情!
    我們的機器人已經可以行走,看,聽, 還能讓機器人操作在手裡的東西, 有的機器人甚至有嗅覺.那觸覺呢?說起來比做起來容易.對於人來說,在我們移動身體時,觸覺扮演著著重要的角色。在機器人領域,讓機器人抓取物體時,給它們觸覺可以消除對物體軟硬,易碎程度的不確定性那麼要讓機器人取得觸覺,需要具備哪些技術呢?
  • 不需人為標記資料Google讓機器人從抓取物體的過程中學會辨別物體
    Google為機器人發展出來的Grasp2Vec算法,概念簡單來說,要辨別的物體就是機器人抓取物體本身,其應等於抓取前場景的圖減去抓取後場景的圖。Google提出了簡單且高效能的算法Grasp2Vec,讓機器人從自我監督式抓握中,學習物體表示的方法,在不需要人類標記資料的情況下,學習物體辨別。人類從小時候就具備將物體撿起的能力,即便沒有被明確的教導過該怎麼做。而在認知發展研究中認為,與物體互動的能力,在物體感知和操縱能力中扮演重要角色。人類可以通過與周圍物體互動,知道該怎麼抓取並從結果中自我學習。
  • 伯克利AI實驗室最新發文:公布用於機器人抓取的Dexterity Network...
    Dexterity Network (Dex-Net) 2.0數據集,這些數據集可以用來訓練根據實際機器人的點雲做抓取規劃的神經網絡。雷鋒網全文翻譯如下:由於傳感器噪聲和遮擋的存在,物體的形狀、位置和質量往往不能被精準確定,因此讓機器人能夠可靠地抓取各種不同的物體是很大的一項挑戰。Dexterity Network(Dex-Net)2.0是一個以魯棒機器人抓取的物理模型為核心的項目,通過多達上千種3D CAD物體模型,生成了海量的平口鉗抓取數據集。
  • 昆士蘭科技大學的新方法能提升機器人的抓取能力
    據外媒New Atlas報導,能抓取和移動物體的機器人(例如在裝配線上)可能很有用,但它們通常只能被編程以抓取特定方向放置的特定類型的物體。然而,現在科學家們已經設計出了一種能提升機器人的抓取能力的方法。
  • 一文帶你了解基於視覺的機器人抓取自學習(Robot Learning)
    在機器人技術中,人們積極研究了這種自我監督型學習,因為它使機器人系統無需大量的訓練數據或人工監督即可進行學習。受對象永久性概念的啟發,研究人員提出了Grasp2Vec,一種用於獲取物體表示的簡單而高效的算法。Grasp2Vec算法中嘗試抓取任何東西都會獲取以下幾條信息——如果機器人抓住一個物體並將其抬起,則物體必須在抓取前進入場景。
  • AIR 042 | 南佛羅裡達大學孫宇教授:機器人靈巧手抓取的復興
    孫宇同時是史丹福大學訪問教授、IEEE RAS機器臂抓取和操作技術委員會的始創主席,目前還擔任美國總統國情諮詢委員會機器人方向的顧問。在演講中,孫宇教授表示類人機器手十分精密炫酷,但是普遍存在的特點是造價高昂,最便宜的3萬英鎊,最貴的要十幾萬美元。然而,如果機器手要應用到普通人的生活中,實現工業化和商業化,那麼就需要另闢蹊徑了。
  • 「摺紙食人花」:抓取超過自身100倍的重量!
    說起摺紙遊戲大家絕對不會陌生,不管折的是什麼東西,每個人都絕對摺過,簡單的像飛機、船、紙鶴等等,比較難的像玫瑰花之類的。會折小巧精緻的東西的人都是小夥伴中被人敬佩的存在,自身的成就感也是爆棚。這個抓取器看似簡單,但它的吸取能力絕對能讓你拜服。什麼啤酒、礦泉水、蔬菜瓜果等東西完全不在話下,一抓一個準。據研究人員介紹,這款抓取器能夠抓取體積是它本身120倍的物品,可想而知它的承重能力有多強了。這款抓取器最大的特點之一就是它獨特的造型了,但是,你要是覺得它的花朵一樣的造型只是為了好看,那小編只能說你想的太簡單了。
  • 熱點|全國A類賽事賽場上大放異彩的LEO智能移動抓取機器人
    ,編寫機器人建圖與自主導航算法,導航至貨物分揀臺,識別貨物,對機械臂運動控制規劃,抓取貨物並導航運送至正確的貨物放置盒,定位識別,抓取貨物投入其中。參賽選手在比賽前的指定時間內依次入場進行調試,並編寫程序,使得機器人完成自主導航、自主識別、自主抓取的完整任務,並循環進行,比賽時,機器人只能自主執行既定任務,如中途出現故障,選手可以現場救援,如果機器人已成功抓取到貨物,則得分並重新開始抓取流程。
  • 數據從業者必讀:抓取了一千億個網頁後我才明白,爬蟲一點都不簡單
    編者按:網際網路上有浩瀚的數據資源,要想抓取這些數據就離不開爬蟲。鑑於網上免費開源的爬蟲框架多如牛毛,很多人認為爬蟲定是非常簡單的事情。但是如果你要定期上規模地準確抓取各種大型網站的數據卻是一項艱巨的挑戰,其中包括網站的格式經常會變、架構必須能靈活伸縮應對規模變化同時要保持性能,與此同時還要挫敗網站反機器人的手段以及維護數據質量。
  • 波士頓動力機器人真有那麼厲害麼?聽聽前員工怎麼說
    波士頓動力機器人真有那麼厲害麼? 頭頂發亮的Raibert是這樣回答的:除非你想讓它嚇人。 他說,很多文章標題裡面都提到,波士頓動力的機器人很可怕,可是如果去油管看視頻,就會看到很多人還是挺喜歡它們的。 於是,Raibert就蒙蔽了,人類是真的怕麼,或者只是像看恐怖片那樣想讓自己害怕一下?
  • 華中科技大學團隊奪取全球首個機器人抓取雲競賽冠軍
    8月15日至11月12日,「IROS 2020雲機器人桌面整理挑戰賽(IROS 2020:Open Cloud Robot Table Organization Challenge)」在線上舉行,由華中大數字製造裝備與技術國家重點實驗室丁漢院士、趙歡教授指導的iRobotCNC團隊,與全球59支高水平隊伍經過3個月激烈角逐,奪得全球冠軍。
  • 5種流行的Web抓取Python庫,你用過哪種?
    由於其簡單易用,它被稱為HTTP for Humans。 我想說這是Web抓取最基本但必不可少的庫。但是,請求庫不會解析檢索到的HTML數據。如果要這樣做,還需要結合lxml和Beautiful Soup之類的庫一起使用(將在本文中進一步介紹它們)。 那Requests Python庫有哪些優缺點?
  • DELMIA軟體:機器人搬運仿真
    本期,首先為大家介紹一下DELMIA軟體中機器人搬運虛擬仿真的簡單應用,重點是機器人搬運指令「Pick」與「Drop」指令的添加。一、搬運工作站布局簡單地創建一個機器人搬運工作站,機器人選用IRB 640。
  • 從章魚得到靈感製作的仿生機器人手臂,可抓取活螃蟹!
    想像一下,如果機器人可以做到所有這些。仿生抓手可以拾取並固定各種不同的形狀,或許它可以成功地抓握罐狀物體,一個球,一個塑料水瓶和一個玻璃或者更多東西。研究人員開發了一種受章魚啟發的機器人,可以抓握,移動和操縱各種物體。
  • 昆明俄語培訓機構,學俄語不易有心理準備可真沒你想的那麼簡單
    昆明俄語培訓機構,學俄語不易有心理準備可真沒你想的那麼簡單怎樣才能學習好俄語,比較好的方法還是去俄語培訓機構學習,在學習俄語前,佩文教育介紹說首先要摒棄其他外語給你造成的一些思維定勢,而且覺得學英語很簡單的同學在學俄語前
  • 如何屏蔽搜尋引擎抓取?
    然而,很多時候一些網站因為所真對的用戶群體和目標地區不同,並不希望獲得搜尋引擎的光顧,這個時候我們要如何來解決呢?今天和筆者小丹一起來研究一下吧!    當我們看到要屏蔽抓取的時候,大多數SEOer想到的都是robots.txt文件。因為在我們的認知中,robot文件可以有效的杜姐搜尋引擎抓取某些頁面。
  • AI系統可用於貨架等狹窄空間內的物品抓取和移動
    但其實有時候,我們想做的事情很小,比如移動一個罐子。根據加州大學伯克利分校的研究人員最近發表的研究論文,他們開發了一種機制,"將預測目標物體佔用支持分布的感知通道與機械搜索策略耦合起來,依次選擇遮擋對象然後推到一邊,以儘可能高效地發現目標。"換句話說,他們訓練了一個機器人來尋找和移動貨架上的物品。