機器之心分析師網絡
分析師：張雨嘉
編輯：Joni Zhong
隨著機器學習（ML）領域的深入發展，機器人在教育、引導、醫療方面都有巨大的應用。但如今人們不僅關注於機器人執行任務的準確和效率，更希望理解其決策的原因和行動，從而判斷是否信任答案，而這正也是可解釋人工智慧（XAI）所要研究的問題。
XAI 主要解決以下問題：對於使用者而言某些機器學習模型如同黑盒一般，給它一個輸入，決策出一個結果。比如大部分深度學習的模型，沒人能確切知道它決策的依據以及決策是否可靠。如圖 1 的 output 所示，為一般網絡給出的決策，缺乏可解釋性的結果讓使用者感到困惑，嚴重限制了其在現實任務中的廣泛應用。
圖 1 如今的深度學習 [1] 所以為了提高機器學習模型的可解釋性和透明性，使用戶和決策模型之間建立信任關係，近年來學術界進行了廣泛和深入的研究並提出了可解釋的機器學習模型。如圖 2，模型在決策的同時給出相應的解釋，以獲得用戶的信任和理解。
圖 2 可解釋的機器學習 [1] 對於機器學習模型來說，我們常常會提到２個概念：模型準確性（accuracy）和模型複雜度（complexity）。模型的複雜度與準確性相關，又與模型的可解釋性相對立。因此我們希望找到一種模型如圖 3 所示，具有可解釋性的同時儘可能保證模型的準確性和複雜度。
圖 3 模型性能與可解釋的關係 [1] 由於人機互動這一需求的急劇增加，可解釋人工智慧（XAI）模型引起了學者的廣泛研究。2019 年 Sule Anjomshoae[2] 等人提出將 XAI 分為數據驅動（data-driven）XAI 和目標驅動（goal-driven）XAI。除了 XAI，2018 年英國曼徹斯特大學 Cangelosi 教授和義大利 Chella 團隊 [3] 不僅注意到人對機器可解釋性的信任，還研究了機器對人的信任模型。他們是基於心理學的 ToM（心智理論）來建立一個認知模型來實現。以下我們將從上述這兩方面詳細說明。人對機器的信任對決策提供解釋的能力是智力的一個標誌，但什麼形式的解釋最能促進人類對機器的信任還不明確。朱松純教授團隊最近在 science robotics 雜誌上提出了一個 GEP 集成框架 [4]，整合數據驅動的觸覺模型和符號行動規劃器（symbol planner）提供功能和機械解釋。研究者設計了一個打開具有多種安全鎖機制的藥瓶的操作任務，然後通過一個機器人在該任務上對這個集成式框架進行了檢驗。框架如圖 1 所示，主要分為演示、學習和評價三方面。
圖 1 GEP 總體框架 [4]（A）使用觸覺手套收集人體演示數據。（B）通過誘導語法模型來學習符號表示。（C）使用自動編碼器學習觸覺表示。對機器人動作的功能解釋。（D）使用 GEP 框架對這兩部分進行整合，得出行動規劃。（E）不同模型的性能比較。（F）產生有效的解釋以促進人類的信任。為了學習人類如何打開藥瓶，演示部分採用一個帶有力傳感器 [5] 的觸覺手套來捕捉打開藥瓶時的姿勢和演示者的力。為了測試機器人系統的泛化能力，我們用與訓練數據不同的瓶子進行測試。 但由於人類與機器人的表現形式不同，即人有 5 個手指，而機器人可能只有 2 或 3 個。因此機器人系統的觸覺模型不能簡單地複製人的姿勢和施加的力；相反，機器人應該模仿動作，以打開藥瓶的最終效果為目標。這就必須使用一個觸覺預測模型（haptic model）讓機器人根據感知到的人類和機器人的力量，像人類一樣想像下一步驟最可能出現的動作及姿勢。 觸覺預測模型的三步過程如圖 2 所示：圖 2（A）通過觸覺手套（有 26 個維度的力量數據）收集*人類*狀態中的力量信息。同時圖 2（C）從機器人末端執行器中的傳感器（具有三維力數據）記錄的*機器人*狀態中的力量信息。結合人類和機器人兩方面信息，在中間的圖 2（B）的 autoencoder 體現了觸覺表徵和動作預測模型。通過學習一個自動編碼器，將觸覺映射網絡同行動預測網絡進行結合，並預測下一步採取什麼行動。
圖 2 觸覺預測模型 [4]又因為打開藥瓶是一種具有挑戰性的多步操作，所以使用符號表示有利於捕捉任務的必要約束。一個優良的符號規劃器是機器人系統基於人類演示學習一個隨機的語法模型，並將其用作獲取任務的組成性質和長期限制的符號表徵。符號行動規劃器用來編碼任務執行序列的語義知識。它使用隨機的上下文無關語法來表示任務，其中終端節點 (單詞) 是動作，句子是動作序列。給定一個動作語法，規劃器根據動作歷史找到下一個執行的最佳動作，類似於用給出的一部分句子預測下一個單詞。最後，這種動作序列被輸入到 [6] 中提出的語法歸納算法中用來解析和預測機器人動作序列。我們用 the Earley parser [7] 解析器和動作語法作為符號規劃器（symbolic planner）來表示計劃動作的過程。另外，利用這種規劃器還可解決單樣本的模仿學習問題，詳見論文《Continuous Relaxation of Symbolic Planner for one-shot Imitation Learning》[8] 為了將符號規劃器所引導的長期任務結構與從觸覺信號中學習到的操作策略相結合，可以使用 GEP 將符號規劃器與具體化的觸覺模型 f 相結合 [7]，其公式如下式 1，是同時考慮語法先驗和觸覺信號可能性的一個後驗概率。其中 G 為動作語法，f_t 是觸覺輸入，a_{t+1} 是用符號規劃器得到的 t+1 時刻動作，最後找到 t+1 時刻的最佳動作 a_{t+1}^{*}。使用 GEP 框架搜索最有可能發生下一步動作的例子，如圖 3c 所示。搜索過程從前綴樹的根節點開始，這是一個空的終端符號。當搜索到達葉節點時，搜索就會終止，所有非葉節點都表示終端符號（即動作）, 而最後一個非葉節點將是執行的下一個操作的概率。
（1）
圖 3 GEP 搜索過程示例 [4]實驗結果如圖 4，顯示了機器人打開人類演示的三個藥瓶和兩個新藥瓶的成功率。可以看出觸覺模型和符號規劃器的性能各有千秋，但使用 GEP 的組合規劃器在所有情況下都能產生最佳性能。因此，整合由符號規劃器提供的長期任務結構和觸覺模型提供的實時感覺信息可以達到最佳的機器人性能。
圖 4 機器人在不同條件下的性能 [4] 觸覺模型和符號規劃器能夠實時地向人類解釋機器人的行為，所以驗證機器的可解釋性與人類信任的關係由五組實驗進行。實驗分組為基準不解釋組（baseline）、符號解釋組（symbolic）、觸覺解釋組（haptic）、GEP 解釋組（GEP）和文本解釋組（text）組成。對於基準不解釋小組，參與者只觀看從試圖打開藥瓶的機器人錄製的 RGB 視頻，其餘各個組別的解釋如圖 5 所示。
圖 5 不同組別的不同解釋形式 [4] 在實驗階段，向參與者提供了兩次機器人演示，一次成功打開一個藥瓶，一次擰同樣的瓶子失敗。在不同解釋小組下觀察機器人演示後，參與者提供一個信任評級的問題：「你在多大程度上相信這個機器人有能力打開一個藥瓶？（信任值在 0 到 100 之間）」。這一評級為機器人打開藥瓶的能力提供了一個定性的衡量人類信任的標準。 人類對不同解釋組的信任結果如圖 6A 所示，我們發現，具有符號規劃和觸覺解釋面板的 GEP 組產生的信任度最高，其評分顯著優於不解釋的基準組。此外，符號組（symbolic）的高信任度表明查看了演示機器人實時內部決策的符號動作規劃器解釋在培養信任方面起著重要作用。然而，觸覺解釋組（haptic）的信任度與基準組確沒有顯著差異，這意味著僅僅基於觸覺信號的可視化界面解釋並不是獲得信任的有效方法。最後，文本組（text）提供了一個摘要描述來解釋機器人的行為反而降低了人們的信任度，這表明在培養人類信任方面，對機器人長期內部決策的詳細解釋要比解釋機器人行為的摘要文本描述有效得多。
圖 6 信任度與性能比較 [4] 除了信任度比較，不同模型的預測正確率也是我們關注的重點。由圖 6B 可以看出，基於預測準確性的實驗產生了與 A 圖相似的結果。GEP 組參與者的預測準確率明顯高於基準組。因此，摘要文本解釋和僅僅基於觸覺信號的解釋並不是獲得人類信任的有效方法，而 GEP 和符號解釋與機器人系統建立了相似程度的人類信任。總之，人類似乎需要機器人對執行的動作序列的內部決策進行實時地解釋，以建立對執行多步驟複雜任務機器的信任。 因此，對於任務性能來說，觸覺模型對於機器人成功地打開具有高複雜度的藥瓶起著重要的作用。然而，獲得人類信任的主要貢獻是由符號規劃器提供的實時機械解釋得到的。因此，促進最信任的模型組件不一定與那些有助於最佳任務性能的組件相對應。這種差異意味著應該將高信任組件與高性能組件集成起來，以最大限度地提高人類的信任和任務的成功執行。具有可解釋模型的機器人為將機器人融入日常生活和工作提供重要的一步。機器對人的信任前面的一個研究著重於如何提升機器人裡面的模型，也就是將信任歸因於機器人，但很少有人研究相反的情況。Cangelosi 等基於心理學的 ToM（Theory of Mind）理論提出一個機器人的認知模型 (cognitive architecture），可以根據交互信息決策人類的可信程度，模擬機器人被不斷被「欺騙」或者被「協助」時的「心理活動」。ToM 是一個關於人類認知的解釋，說明了一個人可以推理別人心理狀態的能力。比方說，一個人在與另外一個人相處的時候，會「代入」別人的角色，從而理解對方的意圖。這種能力是隨著年齡增長而逐漸學習的，比如著名的 Anne-and-Sally 實驗。該文在 Patacchiola 和 Cangelosi[9] 研究的基礎上設計了一個貝葉斯信任模型，該模型結合了 ToM 和信任的各個方面，並將其用於重現範德比爾特實驗 [10]。該實驗本是一個測量不同年齡是否擁有 ToM 的心理學實驗，正確判斷他人可信度的能力與 ToM 的成熟度密切相關。一個成熟的 ToM 在成年人中具有普遍性，它允許一個人事先進行行為預測並提供可信度方面的線索。但對於學齡前兒童來說，卻不一定擁有這種成熟的 ToM。因此範德比爾特實驗是給 90 名學齡前兒童（平均分為 3 歲、4 歲和 5 歲）播放了一段視頻，其中一名成年演員扮演幫助者或是騙子，分別給參與者提供了正確或錯誤的建議。最後，參與者將決定是否遵循這一建議。根據兒童提交的選擇，我們發現只有 5 歲的孩子才能區分幫助者和騙子的區別，從而證明擁有一個成熟的 ToM。該文利用人形機器人 Pepper，集成了一個基於 ToM 的認知和信任模型，並得到情景記憶系統的支持來重現該實驗。該機器能夠學會區分值得信賴和不值得信賴的信息來源，並且根據其互動修改信任的行為。這種認知機器人系統需要能夠經受發展心理學試驗 [10]，即 5 歲以上兒童才具有成熟的 ToM 認知能力。機器人需要擁有一個信任和 ToM 計算模型，才能預測交互者的意圖。該模型是由 Patacchiola[9] 設計發展的貝葉斯信任模型，它採用概率方法來解決信任估計問題。 模擬機器人和交互者之間聯繫的貝葉斯網絡（BN）如圖 1 所示，節點 XR 和 YR 分別代表機器人的信任和動作。節點 YR 的後驗分布決定機器選擇要執行的操作。YI 和 YR 之間的聯繫代表了交互者的意見對代理人行動的影響。然後，機器人的行動是其自己的信念 XR 和交互者的行動 YI 的結果。最後，對真實情況 XI 的估計使機器能夠有效地區分是否信任交互者。
圖 1 人機互動聯繫 [3] 利用自己過去的記憶在現在和未來做出決定是增強認知過程的一項重要技能，將使機器人對一個從未熟悉過的人作出合理的反應。這種算法應該遵循的設計準則是：記憶隨著時間的推移而消失；細節與記憶的數量成比例地消失；令人震驚的事件，如驚喜和背叛，應該比普通的經歷更難忘記。為此情景信任網絡借鑑了在移動機器人定位中廣泛使用的粒子濾波技術，當遇到未知的交互者時，該組件都會動態生成一定數量的事件（episode）來訓練新的 BN。表示記憶重要度 v 的計算如下式 2，定義在 [0，1] 區間中。其中\varepsilon {j}^{(s{i})} 是形成ＢＮ網絡 si 中的第 j 次事件，E_{si} 是由不同事件構成的重放數據集。計算的含義為每一事件的信息量 I(\varepsilon {j}^{(s{i})}) 與其重放數據集的總信息熵 H(E_{si}) 之間的差值，再除以與記憶形成時間有關的離散時間差\Delta t+1。
（2）一旦計算出了 v 值，就可以將其投影為在重放數據集中的重複次數 F（v），如式 3 所示。通過觀察機器人與不同的交互者而得到的重要值 v 的概率分布，將重要度 v 小於或等於 0.005 的值丟棄（即遺忘該記憶）。
（3）回到類粒子濾波的算法中，我們知道在粒子濾波中粒子的生成和分布都有技巧。在本文中，如何生成重放事件（replay episode）中的樣本數 k？我們應該假定：k 太低會導致一個容易受騙的信任網絡，高值則會使它對變化不敏感，而目標是讓機器人對交互者的信任是堅定但多變的。在不同 k 值下產生的情景信任網絡的平均熵如圖 2 所示，可以看出當取 k=10 時，大小適中、偶數並且還是局部熵的最小值。
圖 2 不同樣本數產生的情景信任網絡的平均熵 [3]實驗中，讓機器人分別與 8 位交互者溝通，其中有幫助者（helper）和欺騙者（tricker）。結果如圖 3 所示，綠色條表示信任，紅色條傾向於不信任。當橫坐標信任因子 T=0 時，交互者既不可信也不信任，機器人會隨機行事。由此可見，一個經常被騙的機器人會傾向於不信任它第一次遇到的人，而一個受到善待的機器人會嘗試去信任，直到提出相反的證據。
圖 3 不同交互下情景信任網絡的可靠性直方圖 [3] 訓練時採用一種人形機器人模擬交互場景，如圖 4 所示，機器人通過與交互者的溝通，進行人臉識別並訓練 ToM 模型，決策是否相信該交互者提供的信息。其中 helper 提供正確信息，tricker 提供錯誤信息。
圖 4 人機互動場景步驟 [3] 在測試時，當識別到已知人臉時，會調用相關的信任值並在隨後的計算中使用。否則，將使用情景記憶為交互者快速生成一個新的信任值。如果信任的結果與事實不符，則檢測錯誤，更新信任值，使機器人逐漸適應交互者的行為。 這種方法將原始模型集成到一個完整的機器人體系中，並擴展了一個情景記憶組件，使其能夠利用過去的經驗來發展性格，以提高其認知能力與互動安全。未來，由於 BN 網絡的靈活性，重新組織節點和邊緣權值使其在現實生活中會更加通用，並且可以拓展到機器人輔助手術、老年人護理和自主駕駛 [11] 等領域。總結可解釋機器學習在機器人上的應用主要體現在人機互動中，這兩篇文章從不同角度和不同方法衡量和提高機器對人的信任與人對機器的信任。朱松純教授團隊的文章主要利用可解釋性 AI 方法，令用戶清楚機器人的動作選擇。另外利用 GEP 框架，該模型在某程度上結合了人類的觸覺力度，從而使概率框架中的學習和搜索更有效率。但本文基本上只是學習了開瓶子一個任務動作，該框架如何學習多任務，或者甚至歸納出新的行為動作，還是一個疑問。通過人機互動的問卷實驗，從而定量檢驗人的信任程度也是一個創新之處。而 Cangelosi 等的文章，則利用一個巧妙的方向，考慮模仿機器人的心理「變化」。也是因為事件比較簡單，所以可以利用類蒙地卡羅的方法學習各種的離散狀況。但如果當事件變得複雜時，該方法是否可以 scalable，怎樣有效率地學習，應該是下一步的方向。機器對人的信任在實際應用中佔有重要地位。在軍事安全中，如果機器盲目相信操作者指令，則可能導致錯誤的決策。在醫療手術中，如果醫生盲目相信機器作出的判斷，則很有可能危及病人的生命。所以，如何平衡兩者之間的關係還需進行廣泛的研究。我們也希望未來的人機協作可以更安全、可信地進入社區，服務大眾。分析師簡介：張雨嘉，現在西安理工大學攻讀模式識別方面的碩士學位，主要研究基於深度學習的圖像視頻處理方法，對機器學習也抱有極大的興趣。作為機器之心技術分析師的一員，希望能跟各位一起研究探討，共同提高學習。參考文獻：[1]DARPA 2019 人工智慧研討會
[2]Anjomshoae S, Najjar A, Calvaresi D, et al. Explainable agents and robots: Results from a systematic literature review[C]//Proceedings of the 18th International Conference on Autonomous Agents and MultiAgent Systems. International Foundation for Autonomous Agents and Multiagent Systems, 2019: 1078-1088.
[3]Vinanzi S, Patacchiola M, Chella A, et al. Would a robot trust you? Developmental robotics model of trust and theory of mind[J]. Philosophical Transactions of the Royal Society B, 2019, 374(1771): 20180032.
[4]Edmonds M, Gao F, Liu H, et al. A tale of two explanations: Enhancing human trust by explaining robot behavior[J]. Science Robotics, 2019, 4(37).
[5]Liu H, Xie X, Millar M, et al. A glove-based system for studying hand-object manipulation via joint pose and force sensing[C]//2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2017: 6617-6624.
[6]Tu K, Pavlovskaia M, Zhu S C. Unsupervised structure learning of stochastic and-or grammars[C]//Advances in neural information processing systems. 2013: 1322-1330.
[7]Qi S, Jia B, Zhu S C. Generalized earley parser: Bridging symbolic grammars and sequence data for future prediction[J]. arXiv preprint arXiv:1806.03497, 2018.
[8]Huang D A, Xu D, Zhu Y, et al. Continuous Relaxation of Symbolic Planner for One-Shot Imitation Learning[J]. arXiv preprint arXiv:1908.06769, 2019.
[9]Patacchiola M, Cangelosi A. A developmental Bayesian model of trust in artificial cognitive systems[C]//2016 Joint IEEE International Conference on Development and Learning and Epigenetic Robotics (ICDL-EpiRob). IEEE, 2016: 117-123.
[10]Vanderbilt K E, Liu D, Heyman G D. The development of distrust[J]. Child development, 2011, 82(5): 1372-1380.
[11]Helldin T, Falkman G, Riveiro M, et al. Presenting system uncertainty in automotive UIs for supporting trust calibration in autonomous driving[C]//Proceedings of the 5th international conference on automotive user interfaces and interactive vehicular applications. 2013: 210-217.