清華大學人工智慧晶片 自行車_清華 數模混合ai晶片 - CSDN

8 月 7 日，2020全球人工智慧和機器人峰會（CCF-GAIR 2020）在深圳前海華僑城JW萬豪酒店啟幕。大會由中國計算機學會（CCF）主辦，香港中文大學（深圳）、雷鋒網(公眾號：雷鋒網)聯合承辦，鵬城實驗室、深圳市人工智慧與機器人研究院協辦。

從 2016 年的學產結合，2017 年的產業落地，2018 年的垂直細分，2019 年的中國人工智慧 40 周年，峰會一直致力於打造國內人工智慧和機器人領域規模最大、規格最高、跨界最廣的學術、工業和投資平臺。

根據大會安排，8月8日在『機器人前沿專場』上，清華大學研究員，優必選人形機器人首席科學家趙明國教授做了題為《基於計算的智慧機器人控制》主題演講。

趙明國教授表示，在傳統控制系統中，算法能力常常受到控制器的制約，智慧機器人要想實現多模態非常不便捷，要麼難實現，要麼功耗大、體積大，如果將AI晶片融入機器人中，提供算法和算力支持則可以有效地解決機器人運動和感知的問題。

演講中，趙明國教授介紹了其最新機器人案例——無人駕駛自行車。這款機器人能夠在複雜的現實環境中，應對變速，不同粗糙度、不同材質的路面等幹擾因素的影響，實現完全地自主行進。在他看來，無人駕駛自行車的實現過程需要滿足三種基本功能：

其中，對應的三種算法需求可以全部交由晶片來完成。趙明國教授稱，他們在無人駕駛自行車中內置了「天機晶片」，實現了駕駛路徑識別、障礙物識別、語音導航、運動控制等多種功能。這款晶片是去年清華大學施路平教授團隊重磅發布的一款類腦晶片。它可以同時實現三種不同算法，而且是動態的，可定義，可重新編程。

基於天機晶片完成無人駕駛自行車的演示驗證，趙明國教授針對未來智慧機器人研究方向，提出了兩條新的路徑：

晶片+機器人：用機器人做晶片及AI算法的研究平臺。

機器人+晶片：用晶片做機器人控制及智能算法的實現平臺。

在他看來，未來智慧機器人必將與人工智慧技術深度融合，AI晶片會在機器人控制領域激發出更多潛能。

趙明國教授表示，無人駕駛車只是完成了地面行進的初級任務，接下來還會進一步探索自行車如何實現騰空、落地等高難度特技。在他看來，

只有把控制問題推向極致，探索技術的邊界，才能推動整個技術的進步。我們的願景就是讓機器人能夠達到，甚至超越人類操作自行車的水平。

此外，趙明國教授還分享了雙足機器人的研究案例。他強調，無論是足式機器人還是輪式機器人，它們都是用於測試算法的工具或者載體，其最終成品並不會用於商業化。

會後，在接受雷鋒網編輯採訪時，趙明國教授也表示，人形機器人整體還處於學術研究的階段，距離商業化還有一段路程。從行業發展來看，因研發投入高，技術路線長，很少有企業專注人形機器人的研究。在國家政策支持下，高校團隊和部分企業的研發團隊的工作比較多，近些年也不斷有突破性研究成果發表。

另外，趙明國教授透露，目前正在開拓一些新的研究，預計明年會有相應的成果發表。

以下是趙明國教授的演講全文，雷鋒網(公眾號：雷鋒網)編輯在不改變原意的基礎上進行了編輯和整理：

大家上午好！今天我和大家分享關於我們做機器人遇到的問題和思考。我的題目是「基於計算的智慧機器人控制」。在機器人控制過程中，我們需要用到控制器來實現各種算法，但這裡存在一個現實問題，即控制器的能力決定算法的能力。很長一段時間內我們沒有辦法突破控制器的限制，算法只能停留在比較初級或者中級階段，難以到達高級。於是我們換了個思路，讓算法來推動控制器的發展。

在這裡我們做了兩個實驗案例，無人駕駛自行車和雙足機器人。

需要說明的是，這兩個機器人一個是輪式，一個是足式。我做輪式機器人不是為了實用，也不是為了商業化。無人駕駛自行車是我用來檢測算法或者解決某些問題的實驗工具。同樣，雙足機器人也是為了做研究性質的實驗。他們的實用性有待於後續的商業開發。

「天機芯」驅動的無人自行車

首先我們講什麼叫無人車？沒有人操控，可以自主行進的車都叫無人車。機器人本身會涉及到大量動力學原理。儘管自行車發明將近200年，但是力學機理始終沒有研究透，直到2016年一群學者在Nature雜誌上發表的一篇文章，才把複雜的動力學系統解釋的比較透徹。我們做機器人控制也是要充分利用自行車的動力學原理來做。

人對自行車的控制能力很強，比如大家在校園裡或者沒有障礙的路面可以鬆手騎自行車。那麼如何讓自行車保持平衡，並自主行進呢？其實這裡面涉及很多力學原理，總體來講有以下幾方面的影響因素。

• 如果自行車在圓弧軌道上行駛就會產生離心力，這個離心力會幫助它保持平衡。

• 自行車特殊的前叉結構——前叉角度和前輪拖曳距，這兩個物理參數的變化會自動讓車把自動扶正並保持平衡中起到重要作用。

• 整個車體質量的均衡分布也是讓保持平衡的原因之一。

• 人在騎車時，上身運動會產生反作用力讓自行車保持平衡。

• 車輪的陀螺效應，陀螺力矩會幫助車保持平衡。

• 加裝反作用輪（太空飛行器上經常用），或者加力矩陀螺會產生平衡作用。

上述的前兩項是我們的研究方向，中間三項需要加裝外部裝置，與獨立自行車沒有關係，最後一項是與研究原理不相關。所以我們只選擇了最前面兩項。

我們利用前兩項做控制的時候遇到了一些難點，比如低速、變速行駛影響離心力，風力幹擾，大坡度，載荷變化，車輪與不同地面的相互作用等。

以下是一個相對簡單的自行車動力學模型，其中的車身、車把和行駛速度可以用三個變量來描述，描述完這三個變量以後我們可以得到一個動力學方程，這個方程具有很強的非線性，而且不同狀態下的角度和車速是耦合的，它對參數也很敏感。

另外，我們可以看到方程中很多參數都與速度相關。只要速度變化，動力學方程就會改變，這對我們來說是一個有意思的挑戰，如果能夠解決速度的影響，我們的控制算法就能向前更近一步。

單一速度下的車把轉向控制依靠普通的控制手段就可以解決，我覺得大二、大三的學生可以嘗試做固定速度的自行車實驗。我們要做的是如何解決變速下的車把轉向平衡控制。

以前我們嘗試過採用速度估計+分段控制的方法實現變速控制。當時我們用了1個多⽉的時間⼈為調整了20段左右的參數，隨著速度變化去切換，就可以⽐較好地解決車的穩定性問題；再⽤這些數據做初始參數去做強化學習，效果還會更好⼀點，可以適應地⾯材質。遺憾的是，在零初始知識的情況下的學習沒有成功，雖然⽤Segway平衡車在零知識的情況下的強化學習我們做成了正負10 度範圍內的平衡。因為基本學到的是線性部分的知識，所以就沒有⽤到⾃⾏車上。因此，我們得出結論，「暴⼒」的強化學習可能不適合這個問題，還需要進一步探索。

我們的無人駕駛自行車是在普通自行車後輪加驅動器，在前車把加轉向，加剎車、控制器和相應的各種傳感器、電池，這樣自行車已經能夠實現定速駕駛。其實任何控制器通過反饋控制本身就具有一定的魯棒性，所以它在基本路面行走是沒有問題的。只要把各種速度下的參數都對應好，實現平滑切換就可以做到比較好的魯棒性。

 

 

另外，我們也實現了變速下的自動導航行走，這是我們在清華校園內拍攝的短片，視頻中的自行車可以從低速到高速，通過不同粗糙程度、不同材質的路面，我們在其中加入了傳感器進行路面識別，它也可以按照比較簡單的路徑進行導航。

無人自行車能夠達到這樣的效果，我們做了幾件事。除了實現機器人控制外，還加入了感知模塊，所以這是我們的動力學模型。

 

 

 

從圖中的兩個紅色圈來看，有些項跟陀螺效應相關，有些項與離心力相關，有些項和結構相關，最重要的第一項是和重力相關。這些項都會隨著速度不斷變化。

傳統方法用NI控制器或者任何工業控制器，再集成大量傳感器來做，可以實現這樣的效果。當然這裡面也有失敗的過程，我們經常會摔倒再重新調整參數再做。不過，這是相當傳統和複雜的機器人控制方法。

後來我們就沒有這樣做了。傳統任務裡面做運動控制需要嵌入式系統，因為嵌入式系統要實現控制算法。同時做定位和導航時，我們需要高主頻的系統來做迭代運算，比如SLAM或其他（SLAM也可以在GPU上做）。交互和感知往往需要用GPU做一些識別或者推理算法。總之，適合併行計算、高頻計算和實時性要求，這三種計算在智慧機器人裡面是同時需要的。尤其我們在參加RoboCup比賽時做的人形機器人同時需要這幾種計算，最簡單的辦法是用三臺計算機，這三臺需要具備不同算力，然後用網線把它們接起來，用作業系統維護數據溝通。

這次我們並沒有採用這樣的方法。去年清華大學施路平教授團隊發布了一款類腦晶片「天機芯」，在一個晶片上就可以實現三類計算，而且是動態的，可以定義，可以重新編程。這是兩個學科或者多個學科進行交叉的結果，我們就和做晶片的老師進行了合作，我們用具備這些功能的晶片完成三個任務來測試，如果三個任務都可以實現，就說明晶片具備這三種計算功能。

這對於傳統機器人控制硬體來說是很難實現的，如果能夠實現也必然體積大，功耗大。那麼我們就希望能夠利用混合架構的晶片來實現這種功能。於是，我們把駕駛路徑的識別、障礙物的識別、語音導航、運動控制的功能全部放到一款晶片中（當然不是一個晶片，而是晶片組成陣列的主板）。

如上面的動圖演示，晶片實現了所有的計算功能。我們這項工作成果去年8月1日發表在了Nature雜誌上，是我們國家在人工智慧領域研究第一篇發表在Nature上的文章。

受這項工作的啟發，利用天機晶片完成無人駕駛自行車的演示驗證，為自動機器人的研發提供了一個新思路，可以有兩條途徑：

這套新思路最早是2016年，張鈸老師在Science發表的一篇文章中提到的，其目的是希望人工智慧技術和機器人能夠相互結合，相互促進。

目前這項研究成果得到了國際著名的雜誌和專業人士的認可。另外，值得說明的是，Nature雜誌的編輯告訴我們，通常一篇在Nature上發文章的報導量是100，而我們這篇文章的報導量達到了1400，是目前為止最好的。

以算力為支撐的技術挑戰

到現在為止，對機器人控制的需求，對算力的需求還遠沒有結束，我們經常在Youtobe視頻中看到一些山地越野挑戰賽，這些視頻足以證明人類對車的控制能力有多強。

我們的願景就是讓機器人能夠達到，甚至超越人類操作自行車的水平。因為這樣能夠把控制問題推到極限，從而發現技術的邊界在哪裡，以此來推動整個技術的進步。長期來看，未來機器人控制可以劃分為三個發展階段：

第一階段：自行車能夠在低速、變速、粗糙/障礙路面正常的行進。

第二階段：自行車能夠自主完成騰空、落地等特技任務。

第三階段：在落地應用中，融入控制和感知系統的自行車，可以像極限山地運動員一樣在複雜的環境中可以自如的行進。

目前初級階段的任務我們已經完成，中期任務和長期任務我們還沒有明確方案，不過可以肯定的是這些任務實現必須要有強大的計算作為支撐，如果沒有計算，其他局部做得再好也不會達成目標。

雙足機器人的被動行走理論

早在1990年就有人提出了機器人被動行走理論。當時機器人是純機械結構，只要給它初始條件就可以產生穩定的行走。到了2005年，康奈爾大學研究團隊基於被動行走理論，研發出了與人類等效的行走機器人。當時這項研究成果發表在Science雜誌上引起了不小的轟動，之後也陸續有不少關於被動理論的擴展研究發表。不過，除了哈佛研發的機器人軟體外骨骼以外，幾乎沒有研究成果能夠帶來實際的應用價值。

外骨骼研究一直是近幾年的熱門研究領域，在國內就有幾十家公司在做。它對於有功能性障礙、特殊工種人士確實有一定使用價值。看到這些成果，我們對其中涉及的理論產生了好奇。

人的步態到底是什麼？很多醫學科學家在分析了人的步態後發現，所記錄的行走軌跡像一團亂麻，是周期性但不是重複的，起初以為是噪音或者步態不均勻導致的結果，最後發現其實人走路是混沌的步態。在1998年，就有人發現當參數變化到特定值時，被動模型中就會表現出混沌特性，後來，這一點在實物中也被證實。

比如，我們利用被動理論做了一款足式機器人，從它的行走數據來看有明顯的混沌趨勢。那麼問題來了，人走路是混沌的，為什麼機器人走路是單周期控制的？

TED上有這樣一則視頻，一位帕金森患者上下樓梯必須扶著扶手，後來，它的孫女做了一個實驗，在平面的地上畫了多層臺階，結果患者可以在無任何扶手的情況下完成獨立行走。當然這和帕金森症的機理有關，但也說明其本身與動力學有關，帕金森的本質是神經系統局部存在障礙、傳導不通的情況。這個案例說明，可以通過視覺上的刺激恢復神經系統的正常功能，或許可以解決這一問題。

傳統的行走機器人都是按單周期步態在做控制，首要解決的問題是穩定性，而人類步態可能是混沌的。我們能否從被動步行中找到一些人類步態的動力學解釋，並利用這些動力學來提高機器人或助行器性能的控制方法？如果按照混沌的特點去控制，可能會有完全不一樣的效果。在這裡，我們做了一些動力學軌跡的案例分析。如下圖：

從SK出發繞一圈回到下次落地的狀態，是周期性且重複的。從S0出發，下次落地到S1、S2、S3以及S4，紅色點是最終去的地方，是穩定的值，單周期步態是吻合的，這和我們的系統很像。如果是給系統這個參數，系統會最終落到紅點，如果我給系統另外一個參數，用一個紅色的參數欺騙它，結果是當它走到第二步或者某一步的時候就會經過紅色附近。顯然對目標紅點來講，採用紅色的參數會更好，而不是採用本身黑色的參數（它有漸進收斂的過程）。

如果用假目標欺騙它，那麼就要考慮用哪個目標欺騙它會更好？在這裡需要做很多運算，首先我需要知道紅色軌跡、所有可能的黑色軌跡是什麼，把他們都算出來，從中選出來最優化軌跡，再把參數發送給系統。最後，系統等效成傳統的現代控制理論中的狀態方程的反饋控制問題。

這個方法來自於混沌控制裡最經典OGY方法，這裡，我們提出了一種MPC的方法，發現通過大量計算的MPC遠好過傳統的OGY方法。而且如果機器人處於將跌到狀態，也可以通過計算機找到適當的軌跡來恢復運動，遠遠擴大了穩定的範圍。

目前，我們還無法實現在線計算和預測，但我們實現了一個只有5組參數的實驗。即，我們提前算好了5組不同參數的步態，每組參數對應一個穩定的周期性步態，也就是5組不同的速度（草地、斜坡、獅石子路等5種不同的路徑），通過計算來切換軌跡就可以達到穩定性。這和我們原來的暴力增強穩定性方法不一樣。我們的控制量不是控制系統的某個指標，而只控制參數，如果指標變了，我改變參數，而不是改變輸入量，參數的改變再變換到每個關節的電機上。這樣就可以做出另類的結果，跟傳統的控制不一樣，屬於參數激勵方法。

另外，我們還做了具有真正的兩條腿、兩個手臂的人行機器人，它同樣需要嚴格依賴計算的方法，目前還沒有得到最終結果，以後有機會給大家展示最終效果。