圖靈獎得主Joseph Sifakis：物聯網自主系統設計的邊界與風險

2020 北京智源大會

本文屬於2020北京智源大會嘉賓演講的整理報導系列。北京智源大會是北京智源人工智慧研究院主辦的年度國際性人工智慧高端學術交流活動，以國際性、權威性、專業性和前瞻性的「內行AI大會」為宗旨。2020年6月21日-24日，為期四天的2020北京智源大會在線上圓滿舉辦。來自20多個國家和地區的150多位演講嘉賓，和來自50多個國家、超過50萬名國內外專業觀眾共襄盛會。

2020年6月25日，在第二屆北京智源大會上，2007年圖靈獎得主Joseph Sifakis為我們帶來了題為「Can We Trust Autonomous Systems? Boundaries and Risks」的主題演講。

Joseph Sifakis，歐洲科學院和法國科學院院士，美國文理科學院和美國國家工程院院士，中國科學院外籍院士。Joseph是著名嵌入式系統專家，1981年獨立提出模型檢測方法，這一方法被廣泛應用於晶片檢測、通訊協議、嵌入式系統以及安全算法等領域。1993年開創Verimag實驗室。2007年，Sifakis因在模型檢查理論和應用上的卓越貢獻而被授予圖靈獎，2012年，獲得利奧納多·達文西勳章。Sifakis現作為歐洲卓越網絡嵌入式系統設計聯盟技術協調人，負責對35個歐洲研究小組的研究進行協調，來推進歐洲在嵌入式系統設計理論和應用上的發展。

Sifakis在演講中認為，在物聯網的自動化控制中存在兩大問題：對於工業物聯網，規則可以被直接更改；對於人機物聯網，人類或明確或武斷的行為，也可能戲劇性地導致觸發控制序列和規則的更改。因此，Sifakis在本次演講中從傳統的安全檢測手段出發，為我們逐步引入下一代安全系統的概念。他在分享中提到，下一代的安全系統更強調自主性，即系統的自我調控能力。在自動駕駛、大腦手術、工業報警等這些熟悉的物聯網行業，我們不難看出，在產品的整個壽命中，系統所處的環境都是瞬息萬變的，因此，系統強大的自我調控能力必不可少。那麼我們能否相信「自主」系統，系統的邊界與風險又在哪裡呢？我們不妨從Sifakis的精彩講座中尋找答案。

整理：智源社區 錢小鵝

1. 下一代自主系統的特徵和概念

Sifakis首先指出，下一代自主系統的產生是為了滿足用自治代理逐步取代人工操作來進一步自動化現有機構的需求。因此，自主系統需要足夠嚴謹並在處理知識時表現出「Broad Intelligence」，具體來說需要滿足如下幾個要求：

• 能處理一系列動態改變且可能有潛在衝突的目標，這反應了自主系統從狹隘人工智慧/弱人工智慧到強人工智慧/廣義人工智慧的轉變趨勢；
• 應對複雜、不可預測的網絡物理環境中的不確定性；
• 能與人類和諧的合作，比如共生自治。

但面對這些關鍵性的要求，目前的自主系統還有諸多的缺陷。比如：系統中的自我學習部分沒有可信賴的保障技術進行支持；處理地理分布和移動性所需的網絡基礎架構可信賴性差，如網絡安全問題、反饋時間無法得到保證等；處於高動態中的行為帶來了巨大的複雜性，如網絡物理媒介和不可預測性。

Sifakis認為自動駕駛就是自主系統中的一個標誌性案例，它提出了嚴峻的技術挑戰，並涉及巨大的經濟利益和深遠的社會影響。從中我們也可以一窺下一代自主系統的新趨勢。與航空航天和鐵路行業相比，自動駕駛技術有如下特徵：

1. 自動駕駛的研發人員並不遵循「通過設計來保障安全」的理念，他們通過端到端的黑箱機器學習來進行技術設計。

2. 自動駕駛技術的研發人員認為統計學的可信度依據已經足夠保障安全，這表示如果一輛車開了上百萬公裡沒有出事故，那麼他們就認為這輛車足夠可靠。

3. 公共機構允許自動駕駛汽車進行「自我認證」。

4. 與飛機這種軟體和硬體在出廠後均無法修改的產品不同，自動駕駛汽車的關鍵軟體可以通過更新進行定製，如特斯拉汽車以月為單元進行軟體升級。

接下來，Sifakis評價了Elon Musk 2015年在英偉達技術大會上的一個觀點，Musk宣稱自己幾乎把自動駕駛汽車當作一個已經實現的問題，他只是需要若干年來按部就班地實現而已。然而，是否真如Musk所言，自動駕駛技術可以當作一個已經實現的問題呢？Sifakis 給出的答案是否定的。他認為，自動駕駛缺乏足夠嚴謹的設計方式，人們對它的普遍態度可以概括為接受其風險、貪婪其利益的直率現實主義；認為傳統的嚴謹設計方式本質上具有局限性，複雜問題只能通過經驗方法來解決，對經驗方法帶有盲目的信念；以及堅信自己已經掌握了正確手段，技術實現只是時間問題的無限樂觀。

Sifakis指出，我們的安全系統設計面臨著巨大的挑戰，我們正在從小型的、中心化的、自動的、在可預測環境下可規範的系統邁向複雜的、去中心化的、自主的、在非可預測環境下的不可規範的安全系統。我們需要建立一個新的科學和工程基礎，而不是簡單組合過去二十多年的現有成果並僅僅關注諸如自主計算、自適應系統、自主代理這類軟體系統。我們需要解決以下這些問題：

1. 了解自動化和自治化之間的可能性範圍。提升系統自主性的技術方案是什麼？對於每一個提升，我們需要了解其中有哪些潛在的困難和風險。能有原則的確定一個能執行給定任務的系統是否足夠可靠。

2. 將系統可信度與已開發系統的知識確實性關聯起來。

3. 從傳統的系統設計過渡到「混合」設計，以尋求在基於模型的可信賴性與基於數據的表現性之間的權衡.

接下來，Sifakis向我們解釋了自主性(Autonomy)的概念。

圖1：以自動駕駛為例，自主系統基本概念示意圖

Sifakis認為對於自主系統，如恆溫器、足球機器人、自動駕駛汽車等，它們都是在某種特定環境下，由若干攜帶傳感器的終端組成，通過每個終端對各自的目標實現，其集體行為就會邁向系統整體目的的實現。如圖1所示以自動駕駛為例，一個自主系統由終端、客體和系統環境組成。系統環境包括內部環境和外部環境。隨著環境、感知客體的複雜化和動態化，目標的多變化，系統也逐漸由自動向自主邁進。

圖2：從自動到自主，不同系統實例的比較

圖3：自主終端結構示意圖

因此自主性是一個終端通過自己的方式（無需人工幹預），在多變的環境下實現一系列目標的能力。如圖3所示，它主要由五個互補的功能組成：

1. 感知，對外部激勵的翻譯表達、從複雜的輸入數據中去除模糊部分並提取相關信息；

2. 反饋，能夠建立/更新一個可靠的運行時環境模型以計算出可以實現目標的策略；

3. 目標管理，從可能的目標中選擇最接近當前給定環境模型的目標；

4. 目標規劃，規劃如何實現特定目標；

5. 自學習，通過學習和推理創造新的情景知識和新目標的能力。

需要注意的是，上面提到的這些功能是實現無關的，我們未來可能通過機器學習、深度學習或者其他方式來實現。這五個功能也可以用來區分自動化和自主化。

2．系統的可信賴度問題（Trustworthiness）

我們如何決定一個系統執行的任務是可以被信賴的呢？Sifakis認為有兩點需要考慮，可信賴性(Trustworthiness)和嚴格性(Criticality)。系統的可信賴性是指不管外界發生何種意外，系統仍按照預定運行；系統的嚴格性則是錯誤的嚴重程度會在任務的實現中表現出嚴重的後果，比如駕駛一輛車、做手術、核電站作業。

圖4：任務嚴格性 vs 系統可信賴性

從圖4上可知，人類行為往往符合任務的嚴格性，而自動化的機器則滿足系統的可信賴性，而兩者的邊界就是自動化的前沿領域。所謂自動化系統往往表現為靜態的決策過程或者/以及失敗的影響很小。而非自動化系統則需要好的情景認知以及多目標管理能力。而人和機器的共生自主系統則可以很好的在可信賴性和嚴格性之間取得平衡（如圖4下所示）。我們可以制定一系列恰當的自主化標準來確保人和機器能和睦的一起工作，這些協議會幫助操作人員能夠推翻機器的決定，機器也會主動徵求人的介入。未來的很多應用會需要這種共生自主系統，比如汽車駕駛、大腦手術、藥物製造等，這是自主系統實現的一個重要方式。

圖5：SAE自主級別規定

圖5為SAE（美國汽車工程師協會）制定的自動駕駛自主級別標準。從level0到level5反映了人類與機器分工的不同方式。從最低級的非自動駕駛到最高級的沒有人類介入的全自動駕駛依次定為六個級別。這表明了共生自主系統所面臨的一個共同問題，我們如何劃分人與機器之間明確的工作界限來最大確保他們的合作效率。

之後Sifakis提出了知識真實性（Knowledge Truthfulness）問題。他首先做了一個有趣的類比。人類的思考方式可以分為快思考（Fast Thinking）和慢思考（Slow Thinking）兩種。快思考是無意識、自動化且毫不費力的，不需要自覺和控制，人們用它來處理所有經驗內隱知識（Empirical Implicit Knowledge）比如走路、說話、彈鋼琴等。而與之對應的慢思考則是有意識、被控制且需要努力的，它有自我意識的參與和控制，它是所有推理知識如數學、科學、技術的源頭。

我們可以分別把計算機技術的神經網絡和傳統計算與上面的快思考和慢思考作一個類比：神經網絡對應快思考，它通過數據訓練產生經驗性的知識，是基於數據的知識，用神經網絡去識別貓和狗正如人類的孩童認知一樣，我們無法驗證這種識別能力從何而來。傳統計算機對應慢思考，它有明確的執行算法，是基於模型的知識，它能處理明確形式化的知識，是可以被驗證的。

圖6：知識金字塔

由這一類比進行引申，我們可以將知識分級建立知識金字塔，並將計算機技術放入其中。如圖6所示，金字塔的最底層是事實及其推論，我們從中提取隱含的經驗性知識建立第二層金字塔，第三層則是更加概括的科學和技術知識，第四層則是從中提取的高度抽象的非經驗性知識，最頂層則被稱為元知識。數學和計算被認為處於第四層，而機器學習和數據分析則處於第二層。也就是說科學與機器學習分別處在不同的知識層級，科學能夠通過對實驗的分析學習來進行合理的解釋；而神經網絡這類機器學習技術則無法解釋他們的結論是如何得來的。

3. 如何設計一個可信賴高性能的自主系統

那麼，如何涉及一個可信賴高性能的自主系統？Sifakis首先介紹說傳統基於模型的系統設計方法足夠信賴但性能較差，新興的機器學習方案性能優秀但不可信賴，於是人們希望將兩者綜合利用，使得系統在可信賴性和高性能之間取得一個平衡。這就是混合設計流程（Hybrid Design Flows）。但對於這種混合設計自主系統，基於模型的設計方法面臨著可信賴性的挑戰。傳統上，基於模型的設計方法在設計期間就試圖保障系統的可信賴性，如圖7所示，在系統設計時，他們會通過窮舉有害事件來進行風險分析，找到有害事件後，先通過容錯機制使這些有害事件是非致命的，最後通過DIR(Detection, Ioslation, Recovery)機制將系統從非致命狀態還原至可信賴狀態。但這種設計方法無法被直接應用於自主系統中。這主要是因為極度複雜和無法預測的環境以及系統的機器學習部分本身就是黑箱。這一問題在一份2017年關於撞車事故模型的分析報告中可見一斑，交通事故需要更加詳細和複雜的分析才能保證系統被還原到可信賴狀態，這包括對事故當時環境的分析。針對這一問題的關鍵方案是嘗試用運行監測（Run-Time Monitoring）機制來取代DIR機制。

圖7：混合設計流程（Hybrid Design Flow）

圖8：傳統的基於模型的設計方法是如何保證可信賴性的

自動駕駛的混合設計目前有一些設計理論，如通過機器學習進行情景認知，再基於模型進行適應性決策。感知功能可以識別定義明確和完整的環境結構來作為駕駛模式選擇上的參考，而每一種駕駛模式都需要詳細的策略。

這種適應性決策過程可以劃分為如下層級：

Level 1: 防碰撞系統和軌跡跟蹤控制系統；

Level 2: 策略協議如超車、會車、停車等；

Level 3: 環境模型和分析，包括安全區域計算、軌跡計算、駕駛模式選擇等；

Level 4: 行程目標和計劃；

之後Sifakis提到了系統設計關鍵的一環，系統如何被驗證。仿真是系統驗證中至關重要的一環，仿真模型的搭建覆蓋了從技術到理論的方方面面。一個好的仿真系統應該有如下三個特性：

1. 真實性（Realism），也就是讓終端的行為和環境的表現儘可能貼合現實世界。

2. 語義意識（Semantic awareness），仿真系統動力學應紮根於過渡系統語義（transition system semantic）中，它包括Notion of state來確保對實驗的掌控性和可重複性；Scenarios來模擬/檢測極端狀態和高風險情形；Notion of coverage來衡量相關系統配置已經被實現到什麼程度。

3. 多尺度多粒度的建模和仿真（Multiscale multigrain modeling and simulation），包括在理論上，要加強對網絡物理系統的建模、不同尺度之間的關聯研究；實踐中，對基礎聯合仿真引擎的開發如HLA、FMI等。

目前大多數工業仿真系統缺乏語義意識，他們大多依靠遊戲引擎或者預建的軟體。這是無法完全滿足自主系統可靠性驗證需求的。

圖9：DR-BIP的一些基本概念以及它們在自動駕駛中的實例

接下來Sifakis向我們介紹了他們實驗室開發的一種針對自主系統的仿真語言，DR-BIP（Dynamic Reconfigurable BIP）。如圖9左圖所示，DR-BIP將系統看作由一系列主題（Motif）構成，每個主題都是一個協作模型，它包括：一系列元件（終端、客體）；一個含有節點和邊的地圖，它用來表示元件之間的關係，這一關係可以是空間上的、也可以是組織上的。一個定位函數來將元件映射到地圖上的各個節點。我們定義了交互規則來規定元件之間的交互（Atomic Multiparty Synchronization）；同時我們還定義了配置規則使得我們可以添加/刪除/移動元件並動態的變換地圖。

我們以機器人車的仿真為例，如圖9右圖所示，這一複雜系統用到了兩個主題，它們分別包含了路線地圖和通訊地圖。機器人車是終端，行人、路燈是客體，它們都屬於主題中的元件。我們可以定義這樣一個交互規則，當兩輛車的距離小於一定閾值，則它們的速度交換；我們也可以定義一個配置規則，如當一輛車前面的一個節點為空的時候，我們可以將該車重新映射到前面的節點來表示機器人車的移動。

4. 結語

Sifakis認為目前的驗證方式還遠遠達不到自主系統的要求，首先機器學習是無法被驗證的，它的開發並不是基於一個形式化的目的，目前它對我們依然是個黑箱。而之前自動系統應用的形式化驗證（Formal Verification）也有著諸多缺陷，它只在需求和目標可以被形式化的時候有效，難以應對高度動態且可以不斷重構的自主系統。

講座最後，Sifakis對於機器自主性的未來進行了一些展望：

1. 很多自動駕駛廠商會因為技術問題以及公眾信任的崩塌而改變他們的野心——現實遠遠不像他們現在說的那樣樂觀。

2. 我們會摒棄基於數據還是基於模型的爭論，將兩者進行混合設計。

3. 自主性的級別會逐步平穩地向全自動或者共生自主邁進。

4. 自主系統的可信賴性依然是一個亟待解決的問題，我們沒有決定性的證據表明這些系統是足夠嚴格可靠的。雖然這些系統並不足夠可靠，但好消息是它們也的確在向著更高層次的智能發展。我們將給予這些系統多大的決策自主權，我們何時能夠相信它們，這些都是值得進一步思考的問題。