對機器人來說，估算物體物理屬性的能力至關重要，因為這能讓它們更有效地與周圍環境互動。近年來，許多機器人研究人員一直在努力開發技術，使機器人能夠評估物體或表面的觸覺屬性，這最終可能為它們提供類似於人類觸覺的技能。
羅格斯大學(Rutgers University)專攻計算機視覺和人工智慧的博士生馬修·普裡(Matthew Purri)在之前研究的基礎上，最近開發了一種基於卷積神經網絡(convolutional neural network, CNN)的模型，可以通過分析物體表面的圖像來估計物體表面的觸覺屬性。普裡的新論文在arXiv上預先發表，由羅格斯大學電氣工程教授克裡斯汀·達納(Kristin Dana)指導。
Purri告訴TechXplore:「我之前的研究是關於從衛星圖像中分割細粒物質。」「衛星圖像序列以不同的視角、光照角度和多光譜信息的形式提供了關於場景的豐富物質信息。我們從之前的工作中了解到多視圖信息對於識別材料是多麼有價值，我們相信這些信息可以作為物理表面屬性估計問題的線索。」達娜和羅格斯大學的其他研究人員此前曾試圖開發一種技術，通過反射盤圖像來估計表面的摩擦係數；一種特定類型的圖像，顯示有多少表面或材料能夠反射輻射能。在他的論文中，Purri著手進一步開發這種方法，以便從RGB圖像中估計更多的物理特性。
「這個新項目的目標是僅從視覺信息來估計表面的許多物理屬性，如摩擦力和順應性，」Purri解釋說。「我們與SynTouch公司合作，該公司開發了一種名為Toccare的觸覺傳感器，可以測量表面的各種觸覺物理特性。」在我們的arXiv論文中，我們探索了從一幅圖像和多幅圖像中估計這些屬性的可能性。」
Purri和Dana在他們的研究中探索的另一個問題是，不同輸入圖像拍攝的角度是否會影響他們的神經網絡對地表物理性質的評估。然而，研究人員沒有手動選擇不同的觀察角度，而是設計了一個可以自動學習最佳觀察角度組合以及理想的神經網絡參數的模型。研究人員提出的跨模態框架綜述。資料來源：Purri & Dana公司。「我們的模型的一個目標是學習一個函數，該函數將一個表面的圖像(視覺信息)和觸覺的物理屬性信息分別投射到一個共享的子空間中，在這個子空間中，視覺-觸覺信息的對是接近的，而不同的視覺-觸覺對則相距很遠，」Purri說。「為了實現這個目標，如果單獨投射的視覺-觸覺對在子空間中相距很遠，那麼模型就會受到懲罰。」
達娜和羅格斯大學的其他研究人員此前曾試圖開發一種技術，通過反射盤圖像來估計表面的摩擦係數；一種特定類型的圖像，顯示有多少表面或材料能夠反射輻射能。在他的論文中，Purri著手進一步開發這種方法，以便從RGB圖像中估計更多的物理特性。「這個新項目的目標是僅從視覺信息來估計表面的許多物理屬性，如摩擦力和順應性，」Purri解釋說。「我們與SynTouch公司合作，該公司開發了一種名為Toccare的觸覺傳感器，可以測量表面的各種觸覺物理特性。」在我們的arXiv論文中，我們探索了從一幅圖像和多幅圖像中估計這些屬性的可能性。」Purri和Dana在他們的研究中探索的另一個問題是，不同輸入圖像拍攝的角度是否會影響他們的神經網絡對地表物理性質的評估。然而，研究人員沒有手動選擇不同的觀察角度，而是設計了一個可以自動學習最佳觀察角度組合以及理想的神經網絡參數的模型。
研究人員提出的跨模態框架綜述。
「我們的模型的一個目標是學習一個函數，該函數將一個表面的圖像(視覺信息)和觸覺的物理屬性信息分別投射到一個共享的子空間中，在這個子空間中，視覺-觸覺信息的對是接近的，而不同的視覺-觸覺對則相距很遠，」Purri說。「為了實現這個目標，如果單獨投射的視覺-觸覺對在子空間中相距很遠，那麼模型就會受到懲罰。」
這項由Purri和Dana設計的技術還試圖根據一個輔助分類目標，識別與其他對具有相似視覺和觸覺屬性的視覺-觸覺對。然後通過一個稱為視覺-觸覺特徵聚類的過程生成新的分類標籤。
「我們的模型的另一個目標是通過視覺信息來估計物理特性，」Purri說。聯合學習函數接收投影的視覺信息，並估計一個或多個物理特性。我們通過在模型的這一部分中加入一個對抗性目標來提高估計性能。物理屬性估計值結合輸入的視覺信息本質上欺騙了判別函數，使其認為這是一個真實的物理屬性值。」
Purri和Dana在一系列實驗中評估了他們基於cnn的模型，用於估計表面的物理屬性，並發現該模型表現得非常好。事實上，僅僅通過分析物體表面的圖像，他們的模型就能夠識別出物體的許多物理特性。
研究人員設計的新模型可能會有許多有趣的應用。首先，它可以讓機器人系統更好地理解物體和物體表面在其周圍環境中的關鍵特徵，讓它們更有效地與物體和物體表面互動，更輕鬆地在新環境中導航。
此外，研究人員還介紹了一種自動計算最佳圖像角度組合的方法，用於訓練模型來估計物體的物理屬性。在未來，他們所確定的最佳組合可以為傳感器的設計提供信息，這些傳感器是為特定的任務量身定做的，比如工廠的質量控制。
「在我們研究的第一階段，我們已經展示了如何從視覺信息中很好地學習物理特性，」Purri補充說。「我們的下一個目標將是利用我們獲得的洞察力來提高模型在涉及精確對象操作的任務中的性能。」