張立華:突破全息直覺理論,打造機器智能引擎

張立華2018年在上海科技節新創發布會上作《智能視覺感知技術》報告

智慧機器人的發展正如同人類的文明和進化史一般，不斷向著更高級的形態發展。一個充滿挑戰的問題正擺在人類面前，未來的智慧機器人是否會擁有像人一樣的智慧大腦和複雜意識？

「當前以深度學習為代表的人工智慧技術所能解決的問題往往需要具有大量可以借鑑學習的訓練集，同時要求所獲取的信息是完備的，而在複雜的真實應用環境中，採集到的數據往往包含大量噪聲與不確定性，且僅包含環境的局部信息，導致了基於深度學習的人工智慧應用的局限性。而在同樣環境下，人類卻往往可以依靠直覺做出較為迅速且適宜的判斷，這為我們發展新的人工智慧理論來解決上述問題提供了靈感。」在復旦大學，智慧機器人研究院常務副院長、智慧機器人教育部工程研究中心副主任張立華正帶領一個科學家團隊，與清華大學腦與認知科學研究院合作，提出了機器直覺這一新的交叉學科研究方向，致力於讓機器實現類似甚至超過人類的直覺能力，賦予機器洞察力與創造性。

在融合了人類智能+人工智慧+群體智能的全息群智理論與機器直覺理論研究的基礎上，他們力圖打造賦智於機器人的核心智能引擎，為智慧機器人的發展提供較為系統、完整的基礎理論與關鍵技術支撐。

作為曾經創業並在產業界卓有成就，如今回歸科研一線，向前沿進發的優秀學者，張立華用20年時間，一手搭建起從科研創新到產業落地的路徑，窺見了人工智慧未來發展的壯麗圖景。

從創新到產業化

1994年，凱文·凱利寫下了後來被譽為成功預言了人類未來的《失控：機器、社會與經濟的新生物學》一書。在書中，關於智慧機器人、大眾智慧、雲計算、物聯網、虛擬實境、共生、共同進化等詞彙第一次走進人類視野。如今，人工智慧的時代已經來臨，機器的深度學習已不再讓人類感到陌生，也成為了人工智慧系統向前發展的重要能力。

同樣是1994年，從清華大學自動化系自動控制專業本科畢業的張立華不會想到，在未來的20多年時間裡，自己將參與一個又一個推動人工智慧相關領域發展的重大項目開發和理論研究。

選擇自動化專業對於張立華來說頗有「無心插柳」的味道。他在清華大學1989年招生簡章上看到自動化專業那一頁中，有幾張機器人的圖片，引起了他的好奇，於是便選擇了自動化系自動控制專業，從此與人工智慧結下了不解之緣。

2000年，張立華拿到了清華大學控制理論與控制工程專業博士學位，並獲得了「清華大學優秀博士學位論文」獎，此後便開始了在國外的漫長研究生涯。

博士畢業後的張立華在美國輾轉從事科研工作多年，曾先後在多家晶片企業工作，並在全球視覺計算與人工智慧行業領袖企業——美國英偉達公司等擔任高級技術與管理職務。

在美國多年，不僅讓張立華完成了在人工智慧科研領域的不斷累積與進步，也對他未來的科研工作產生了巨大影響。在他看來，在保持科技創新的激情和動力的同時，同樣要致力於實現創新技術的產業化。

張立華供職過的其中一家企業，核心產品是三維物理仿真處理器晶片，該公司研發的物理仿真引擎也是當時世界上最好的兩個物理仿真引擎之一。

物理仿真引擎需要對剛體、流體、軟體等進行模擬，相關算法非常複雜，需要很大的算力。張立華加入之後，參與研發以異構眾核架構計算技術為核心的三維物理仿真引擎處理器晶片，這需要掌握剛剛初現端倪的異構並行計算技術，這意味著他需要重新進行大量學習和創新。

那段研究經歷，讓他至今印象深刻。彼時，在三維遊戲或工程設計中，物理仿真的技術應用很廣。比如，一個遊戲中的女孩子穿著裙子跳舞時的動態效果如何才能做得更逼真，就是張立華和同事需要攻克的難題之一。圍繞一個個難題一一攻克，張立華和同事進行了物理仿真算法上的極致探索。

技術的攻關沒有止境，更大的問題在於如何實現晶片的產業化。即使算法做出來了，但若過於複雜，在當時的成本下，同樣無法實現產業化。

「我們還要進行優化，如果優化不了，就要對算法重新分析、重新設計。」張立華說，晶片做出來後，他們還要進行一一調試，讓各方面的性能達到最佳。為了實現這款晶片的產業化，他們專門設計了一款針對異構架構處理器的性能分析軟體，這個分析軟體最終成為一款全球最早的異構系統性能分析的通用軟體之一。

而作為當時的主要參與者，張立華從首席工程師、研發經理，一步步升任為公司的技術總監，負責管理公司60%以上的研發工程師。後來，在英偉達公司工作後，正是由他帶領團隊，將三維物理仿真引擎從原來的處理器移植到英偉達的通用GPU（圖形處理器）上。

「我當時意識到，異構技術肯定是能夠影響未來的新技術。」張立華說，曾經世界排名第一的中國「天河一號」超級計算機，用的就是異構計算技術。現在我們知道，正是以GPU為代表的異構並行計算技術的發展，才促進了今天深度學習的爆發式發展和應用。

異構計算技術上的突破和三維物理仿真引擎晶片的產業化經歷，讓張立華體驗到將一個新的科技創新實現成果轉化，最終實現產業化，才是科研人最終的歸宿。

「後來，當我有了新的技術或新的想法，我就會想如何將它產業化，變成一個生產生活中真正可以創造價值的東西。如果只是在學校純粹做理論研究，就無法產生這樣的激情。」張立華說，只有真正了解社會的需求和產業的需求，並實現科研的成果轉化甚至是產業化，才是真正「將論文寫在大地上」。

也正是因為這份產業夢想，張立華回國之初創立了長春博立電子科技有限公司，成立了國內最早、規模最大的異構並行計算技術開發團隊，並於2015年入選國務院僑務辦公室「重點華僑華人創業團隊」。異構計算、人工智慧與計算機視覺技術是張立華的強項，也是企業技術研發的主攻方向。以人工智慧核心算法和異構計算技術為基礎，博立電子進軍智能汽車、智慧機器人、智能製造、智能醫療以及智慧城市五大行業領域，讓張立華多年的產業夢想得以開花結果，讓他在學術研究上的積累有了落地的土壤。

顛覆性的理論探索

在創業過程中，張立華深感產業發展離不開技術創新，而前沿技術創新迫切需要理論上的進一步突破，2017年9月，他回歸科研一線，加入復旦大學，擔任復旦大學智慧機器人研究院副院長、機器人智能硬體與作業系統研發平臺負責人、智能感知與無人系統實驗室主任，負責推進人工智慧與機器人科研平臺建設，並參與策劃上海市市級重大科技專項等。

和丘成桐院士（左二）的合影

張立華認為，近年來以深度學習為代表的人工智慧的發展方興未艾，尤其是在圖像分類、語音識別等特定領域研究，取得了很大的突破，但這些突破仍不具備通用性。現有的深度神經網絡技術僅是對生物神經系統的初級模擬，功能大多局限於感知與理解層面，還難以在複雜時變、不確定性高的真實環境中應用。而未來的泛在智慧機器人能夠適應各種複雜的環境，自主地去完成各類複雜任務。

目前業界普遍有一種觀點認為，深度學習的發展已處於瓶頸期，人工智慧想要進一步取得突破，就需要從新的方向和領域中去入手。三元空間群體智能理論，就是復旦大學以甘中學、張立華等為代表的人工智慧團隊認準的可以實現顛覆式變革的機器智能發展理論。在他們看來，未來世界不僅包含人類社會空間，也有基於網際網路形成的虛擬信息空間，此外還有物理空間。物理空間中就包含了未來的智慧機器人與各類機智智能終端，面對這一三元空間，應如何根據新人類社會發展的新特點去發展人工智慧的理論，正成為人工智慧學者要攻克的難題之一。「我們希望人工智慧最終能夠達到人類智能的水平。現在的所謂智慧機器人的智能水平遠遠沒法跟人去相比，三元群體智能是我們實現終極目標的可能途徑之一。」

「也許個體的智能水平不一定很高，但把人和智慧機器人通過智聯網絡連接在一起後，機器可以從人這裡學習新的智能，人也同樣可以從機器裡學習到新的東西。這不是簡單的相互學習，當三種類型的智能體在一起不斷交互學習的時候，群體智能就會湧現和升級，產生遠遠超出他們本來的智能。」

現如今，「三元空間群智智能基礎理論與關鍵技術前瞻性研究」已被列入上海市人工智慧科技重大專項先導項目。復旦大學科研團隊將針對物理空間、人類社會和信息空間，提出人類直覺+機器感知+加速網絡的三元空間群智智能新範式，通過揭示三元群智進化湧現科學規律，探索群智智能激勵機制與湧現機理。

張立華說，當「三元空間群體智能理論」的探索足夠成熟，就可以在社會生活的不同領域中實現產業化，如智能交通中的車路協同問題等。

此外，張立華課題組與清華大學腦與認知科學研究院合作，共同開展直覺智能研究，並提出了機器直覺這一新的交叉學科研究方向，致力於讓機器實現類似甚至超過人類的直覺能力，賦予機器以創造性的快速預測、判斷、決策、規劃能力,以期在真實複雜動態時變場景,如自然災害、公共衛生等突發事件預判以及創造性科學研究等領域發揮重要作用。

可以預見, 隨著這些新的人工智慧理論與方法研究的不斷深入, 人工智慧將有望突破現階段理論及應用瓶頸, 朝著通用人工智慧的目標更進一步。

突破智能晶片技術

人工智慧在某些領域已經展現出比人類更加強大的能力，在一些醫療診治過程中，利用醫療影像進行診療的時候，人工智慧甚至會比許多有經驗的醫生診斷的結果更準確。然而，當智能機器面對其他新的問題時，是否也可以很快地學習並掌握處理的技能？

答案是：當然可以。

如今，張立華和他的團隊，正在計算機視覺領域圍繞多模態智能感知方面在進行研究，為包括無人機、智能駕駛汽車在內的智能機器提供多模態智能感知的技術，讓它們學會去感知和理解周圍的環境，最終懂得做出最優的判斷和決策。

智能感知的算法非常複雜，不僅要做到實時反應，還要儘量滿足各類真實場景低功耗的需求，這對智能晶片提出了更高的要求。在開發多模態智能感知技術的同時，張立華和團隊也在對嵌入式智能感知晶片進行探索。

張立華說，多模態的智能感知不僅僅要基於可見光視覺，也要結合雷射雷達、毫米波雷達等傳感器技術，把它們獲取的信息融合在一起，進一步提高智能感知晶片的精度和可靠性。

未來，智能晶片就相當於智慧機器人的核心大腦，有強大算力，還有足夠的智能化水平。不僅要具備強大的感知能力，還要有足夠智能的控制決策能力，他把它稱為智能計算與控制晶片，這將是一款完全面向機器人和一些智能無人系統的全新的晶片。「國內的晶片技術還相對落後於美國等國家，我們正在努力探索，希望實現技術的突破和創新，開發出屬於中國自己的嵌入式智能晶片技術。」

課題組學術討論

行為識別研究是張立華和團隊正在攻克的另一領域。作為國家信息技術標準化技術委員會生物特徵識別分委會行為識別工作組的組長，張立華說，行為識別技術有著更廣泛的應用領域。比如，在安防中，可以識別檢查對象是否可能做出危險的行為或動作。

在行為識別領域，步態識別是一個熱門的研究方向。「哪怕看不見這個人的臉，但如果能找到走路的一段視頻，通過分析他的步態特徵，就可以大概率地識別出一個人的身份。」如今，張立華和團隊正在將行為識別應用於體育運動中，如在花樣滑冰或者速度滑冰運動中，運動員的動作、姿態是否標準，就可以通過行為識別技術甄別，從而進行智能化的訓練分析。

在人工智慧領域，腦機交互技術被譽為一項改變未來的技術，在「三元空間群體智能理論」研究中，腦機交互技術的突破將起到決定性的作用。「腦機接口就是通過解析人的腦電波信號，可以識別出人的意圖，包括在腦子裡思考的語言。比如，我可能想了一段話，但我並沒有說出來，通過腦機交互卻可以將這些信息提取出來。」

張立華說，未來的腦機交互技術將真正顛覆現有的人機互動方式，人類和機器人可以通過腦機解碼實現思維的聯通與交互。「人類和機器人之間，不再需要鍵盤，通過腦機交互，人類的想法就可以自動傳輸給機器人。」

教會機器友好向善

人工智慧的全球競爭已經拉開了帷幕。在中國，人工智慧已經有了良好的發展基礎，但涉及晶片等核心部件，仍受制於人。

在張立華看來，復旦大學成立智慧機器人研究院，就是希望打破這一局面。圍繞突破國際智慧機器人領域的戰略性、基礎性、前沿性等相關重大科學問題，以智能計算、智能晶片、智慧機器人及應用工程的交叉為突破點，以產業需求和包括機器人國家重點研發計劃等重大任務為牽引，研究智慧機器人信息處理與控制、核心器部件、系統集成與應用等理論與技術，並應用於智能醫療機器人、智能工業機器人、智能服務機器人的研發和產業化，最終致力於形成全自主智慧財產權的系列智能終端和以機器人為智能終端的新產業研發經濟模式。

團隊成員之一的董志巖博士畢業於吉林大學，在研究生階段曾長期跟隨已故著名科學家黃大年進行無人機控制方面的研發工作。彼時，張立華也正在與黃大年團隊密切合作，負責研發一個以VR虛擬實境來輔助分析地質空間結構的技術。正因為這一交集，2018年，董志巖加入了張立華的團隊，並在其中負責智能感知與控制以及集群控制等方向的研究；負責腦機交互的團隊成員康曉洋博士畢業於上海交通大學，瑞士洛桑聯邦理工學院博士後的經歷使他認為，神經與腦機接口器件在智慧機器人領域大有可為；陳遲曉博士則畢業於復旦大學，主要負責人工智慧晶片研發的他認為，晶片的開發是中國的戰略需求，無數的中國智能科學家都在激發著自己的創新能力。

張立華說，依託國家的強大力量之上，他和團隊將著眼於未來世界的發展，將智能尖端技術在中國實現產業化。他們未來的規劃是，在全息群智與機器直覺基礎理論與一系列關鍵技術前瞻性研究的基礎上，致力於推動新一代人工智慧和智慧機器人的發展，同時希望能夠繼續在人工智慧行為識別等領域繼續突破，在算法上有進一步的發展。

讓張立華期待的是，一旦真正能夠在人工智慧理論與算法上有所突破，也就意味著中國的智能晶片也將實現功能與設計上的創新。

環境感知能力、自主控制決策能力、智能晶片技術……不止張立華的團隊，全球的智慧機器人科學家，都在致力於提高機器人的智能水平。

《失控：機器、社會與經濟的新生物學》一書中，講述了未來的世界將是一個生物與機器聯姻的時代。在全新的時代，我們人類該如何理解機器？又如何認識我們自己？儘管智慧機器人距離真正能夠實現自主決策，仍有很大的距離，但人類對於未來是否會被機器替代或殺死的恐慌，在社會上也被廣泛討論。

人工智慧學界和業界的普遍觀點認為，人工智慧要想發展到能夠達到甚至超過人類智能的水平仍需要一個長期的過程。「在還沒到這個階段前，很難去判斷人工智慧會產生怎樣的影響，但現階段我們可以把人工智慧用好。」張立華說。他認為，人工智慧是通過與環境的交互而不斷學習的，這其中也會包括人的道德觀念。人類在設計智能系統的架構時，就可以讓智慧機器人學會向善，讓其先天具有從善的傾向或是意圖。在張立華的世界中，人工智慧的未來是充滿智慧與美好的，作為站在產業與科學前沿的學者，他要做的就是讓全人類儘快和他一樣，一起感受與創造這個美好的未來。

專家簡介

張立華，復旦大學特聘教授、智慧機器人研究院常務副院長，智慧機器人教育部工程研究中心副主任。2000年獲清華大學控制理論與控制工程專業博士學位，獲「清華大學優秀博士學位論文」獎。任國家科技創新2030「新一代人工智慧重大項目」責任專家等。長期從事計算機視覺與人工智慧、異構計算與並行算法、複雜系統性能分析與優化以及異構多核處理器架構設計、3D物理仿真等核心技術與產品研發，先後負責參與超過百項各類科研項目，包括世界首款商用512核異構眾核處理器PPU、PPU PhysX物理仿真引擎、異構系統性能分析工具、異構系統任務調度器、智能圖像處理與視頻分析、大數據分析與可視化技術等。