2020 年 3 月 25 日，智源研究院學術副院長、清華大學計算機系唐傑教授作客首屆中科院，為大家帶來《人工智慧下一個十年》的主題報告。唐老師從人工智慧發展的歷史開始，深入分析人工智慧近十年的發展，闡述了人工智慧在感知方面取得的重要成果，尤其提到算法是這個感知時代最重要、最具代表性的內容，重點講解了 BERT、ALBERT、MoCo2 等取得快速進展的算法。最後說到下一波人工智慧浪潮的興起，就是實現具有推理、可解釋性、認知的人工智慧。
本期的智能內參，我們推薦清華大學的報告《淺談人工智慧的下個十年》，分析人工智慧近十年的發展，闡述了人工智慧在感知方面取得的重要成果，預測下一波人工智慧浪潮的興起方向。
本期內參來源：清華大學AMiner官網
原標題：
《淺談人工智慧的下個十年》
作者：唐傑教授
近年來，人工智慧掀起了第三次浪潮，各個國家紛紛制訂了人工智慧的發展戰略。
時至2019年，中國政府繼續通過多種形 式支持人工智慧的發展。此前，中國形 成了科學技術部、國家發改委、中央網 信辦、工信部、中國工程院等多個部門 參與的人工智慧聯合推進機制。從2015 年開始先後發布多則支持人工智慧發展 的政策，為人工智慧技術發展s和落地提 供大量的項目發展基金，並且對人工智 能人才的引入和企業創新提供支持。這 些政策給行業發展提供堅實的政策導向 的同時，也向資本市場和行業利益相關 者發出了積極信號。在推動市場應用方 面，中國政府身體力行，直接採購國內 人工智慧技術應用的相關產品，先後落 地多個智慧城市、智慧政務等項目。
與其他國家不同，美國雖然在人工智慧領域擁有最強實力，但目前尚沒有國家層面的人工智慧促進計劃。在前總統巴拉克·歐巴馬在任的最後幾個月裡，白宮在三份獨立報告中為美國的 AI 戰略奠定了基礎。其中第一份報告《未來人工智慧準備》（Preparing for the Future of Artificial Intelligence）明確提出了有關制定 AI 法規、資助研發、自動化、道德、公平與安全的內容。另一份報告《國家人工智慧研發戰略計劃》（National Artificial Intelligence Research and Development Strategic Plan）概述了美國在政府資助 AI 研發上的戰略。而最後一份報告《Artificial Intelligence, Automation, and the Economy（人工智慧、自動化和經濟）》則進一步說明了自動化對社會的影響，以及擴展 AI 有益的方面需要哪些新政策。
自川普上任以來，美國政府開始尋求一種截然不同的、自由市場導向的 AI 戰略。在2018年 5 月，白宮邀請了業界、學術界和部分政府代表參加了一場人工智慧峰會。在會上發言中，白宮科技政策辦公室副主任 Michael Kratsios 概述了現總統對於人工智慧的態度，他宣布政府目前制定了四大目標：（1）保持美國在人工智慧方面的領導地位；（2）支持美國工人；（3）推動政府資助的研發；（4）消除創新的障礙。為了實現這一目標，Kratsios 宣布成立一個 AI 特別委員會，向白宮提供政府層面的、有關人工智慧研究與發展方面的建議，同時幫助政府、私企和獨立研究者建立合作夥伴關係。他還指出，美國政府將專注於消除創新的監管障礙，讓各家公司有更多創新和發展的靈活性。
2018 年 4 月，歐盟委員會通過了《人工智慧通訊》。這是一份長達 20 頁的文件，闡述了歐盟對 AI 的態度。委員會的目標是：（1）提高歐盟的技術和工業能力，增加公共和私營部門對 AI 的吸收；（2）讓歐洲人為 AI 帶來的社會經濟變化做好準備；（3）確保建立適當的道德和法律框架。主要舉措包括承諾將歐盟對 AI 的投資從 2017 年的 5 億歐元增加到 2020 年底的 15 億歐元，建立《歐洲人工智慧聯盟》（人們現在可以加入），以及制定一套新的 AI 道德準則，以解決公平、安全和透明等問題。一個新的「AI 高級別小組」將作為《歐洲人工智慧聯盟》的指導小組，並將起草道德準則供成員國審議。
▲各國AI政策
在這個時代背景下，我們需要考慮人工智慧未來十年會怎樣發展。首先，我們需要從人工智慧的發展歷史中找到靈感。
一、AI發展歷史隨著克勞德·香農（Claude Shannon）在 1950 年提出計算機博弈，以及阿蘭·圖靈（Alan Turing）在 1954 年提出「圖靈測試」，人工智慧這一概念開始進入人們的視野。
到了 20 世紀 60 年代，人工智慧出現了第一波高潮，發展出了自然語言處理和人機對話技術。其中的代表性事件是丹尼爾·博布羅（Daniel Bobrow）在 1964 年發表的Natural language input for a computer problem solving system，以及約瑟夫·維森鮑姆 (Joseph Weizenbaum) 在 1966 年發表的 ELIZA—a computer program for the study of natural language communication between man and machine。
此外，還有一個重要的發展——知識庫。1968 年，愛德華·費根鮑姆 (Edward Feigenbaum)提出首個專家系統 DENDRAL 的時候對知識庫給出了初步的定義，其中隱含了第二波人工智慧浪潮興起的契機。
之後，人工智慧進入了一輪跨度將近十年的寒冬。
20 世紀 80 年代，人工智慧進入了第二波浪潮，這其中代表性的工作是 1976 年蘭德爾·戴維斯 (Randall Davis)構建和維護的大規模的知識庫，1980 年德魯·麥狄蒙（Drew McDermott）和喬恩·多伊爾（Jon Doyle）提出的非單調邏輯，以及後期出現的機器人系統。
在 1980 年，漢斯·貝利納 (Hans Berliner)打造的計算機戰勝雙陸棋世界冠軍成為標誌性事件。隨後，基於行為的機器人學在羅德尼·布魯克斯 （Rodney Brooks）的推動下快速發展，成為人工智慧一個重要的發展分支。這其中格瑞·特索羅（Gerry Tesauro）等人打造的自我學習雙陸棋程序為後來的增強學習的發展奠定了基礎。
20 世紀 90 年代，AI 出現了兩個很重要的發展：第一項內容是蒂姆·伯納斯·李（Tim Berners-Lee）在 1998 年提出的語義網際網路路線圖，即以語義為基礎的知識網或知識表達。後來又出現了 OWL 語言和其他一些相關知識描述語言。第二項內容是傑弗裡·辛頓（Geoffrey Hinton）等人提出的深度學習，這標誌著第三次人工智慧浪潮的興起。
在這次浪潮中，我們也看到很多企業參與其中，如塞巴斯蒂安·特龍（Sebastian Thrun）在谷歌主導推出的自動駕駛汽車，IBM 的沃森（Watson）於 2011 年在《危險邊緣》（Jeopardy）中獲得冠軍，蘋果在 2011 年推出的自然語言問答工具 Siri 等。
以上就是人工智慧在 60 多年的發展歷史中取得的一些標誌性成果和技術。
二、AI 近十年的發展我們再深入分析 AI 近十年的發展，會看到一個重要的標誌：人工智慧在感知方面取得重要成果。人工智慧在語音識別、文本識別、視頻識別等方面已經超越了人類，我們可以說 AI 在感知方面已經逐漸接近人類的水平。從未來的趨勢來看，人工智慧將會有一個從感知到認知逐步發展的基本趨勢，如下圖所示：
首先，我們來看看 AI 在感知方面做了哪些事情。在感知方面，AlphaGo、無人駕駛、文本和圖片之間的跨媒體計算等取得了快速發展。從宏觀來看，算法是這個感知時代最重要、最具代表性的內容。如果把最近十年的重要算法進行歸類，以深度學習為例進行展示的話，我們可以得到下圖所示的發展脈絡。
圖中最上面淺紫色部分的內容是以前向網絡為代表的深度學習算法。第二層淡綠色部分的內容表示一個以自學習、自編碼為代表的學習時代。第三層橘色部分的內容代表自循環神經網絡（概率圖模型的發展）的算法。最下麵粉色部分是以增強學習為代表的發展脈絡。
總體來講，我們可以把深度學習算法歸類為這四個脈絡，而這四個方面都取得了快速的進展。
如果再深入追溯最近幾年最重要的發展，會發現 BERT 是一個典型代表（想深入了解的讀者可以閱讀https://arxiv.org/pdf/1810.04805.pdf）。以 BERT 為代表的預訓練算法得到了快速的發展，基本上所有的算法都採用了預訓練+微調+ Fine tune 的方法，如下圖所示：
BERT 在 2018 年年底通過預訓練打敗了 NLP 上 11 個任務的經典算法；XLNet 在 2019 年提出來通過雙向網絡的方法超過了 BERT （想深入了解的讀者可以閱讀https://arxiv.org/pdf/1906.08237.pdf），如下圖所示：
再後來，ALBERT 又超過了 XLNet 和原始的 BERT（想深入了解的讀者可以閱讀https://arxiv.org/pdf/1909.11942.pdf）。整個 BERT 的發展引發了後續一系列的工作。
在其他方面，也湧現了很多有代表性的工作。如在 2018 年年底，英偉達通過預訓練模型實現高清視頻的自動生成。想要了解更多詳細信息的讀者可以閱讀https://arxiv.org/abs/1808.06601。
DeepMind 又把代表性的關聯關係生成到 graph_net 中，於是在網絡中可以實現一定的推理，其結構如下圖所示。想要了解更多信息的讀者可以閱讀https://arxiv.org/abs/1806.01261。
Facebook 的何愷明等人提出了以 contrastive learning 為基礎的 MoCo 及 MoCo2，在很多無監督學習（Unsupervised learning）的結果上超過了監督學習（Supervised learning），這是一個非常重要的進展，這也標誌著預訓練達到了一個新的高度。想要了解更多信息的讀者可以閱讀https://arxiv.org/abs/1911.05722。
傑弗裡·辛頓等人利用 SimCLR，通過簡化版的 contrastive learning 超過了 MoCo，後來 MoCo2 又宣稱超過了 SimCLR，想要了解更多信息的讀者可以閱讀https://arxiv.org/abs/2002.05709。
總體來看，在算法的時代，預訓練算法取得了快速的進展。那麼未來十年，AI 將何去何從？
三、展望未來十年這裡，我想引用張鈸院士提出來的第三代人工智慧的理論體系。
2015 年，張鈸院士提出第三代人工智慧體系的雛形。
2017 年，DARPA 發起 XAI 項目，核心思想是從可解釋的機器學習系統、人機互動技術以及可解釋的心理學理論三個方面，全面開展可解釋性 AI 系統的研究。
2018 年底，正式公開提出第三代人工智慧的理論框架體系，核心思想為：
建立可解釋、魯棒性的人工智慧理論和方法。發展安全、可靠、可信及可擴展的人工智慧技術。推動人工智慧創新應用。其中具體實施的路線圖如下：
與腦科學融合，發展腦啟發的人工智慧理論。數據與知識融合的人工智慧理論與方法。在這個思想框架下，我們做了一定的深入研究，我們稱之為認知圖譜。其核心概念是知識圖譜+認知推理+邏輯表達。
下面展開解釋一下。
知識圖譜大家很熟悉，是谷歌在 2012 年提出來的。這其中有兩個重磅的圖靈獎獲得者：一個是愛德華·費根鮑姆（1994 年圖靈獎得主），他在 20 世界 60 年代就提出來了知識庫的一些理論體系和框架；另一個是 1994 年蒂姆·伯納斯·李（2016 年圖靈獎得主、WWW 的創始人、語義網絡的創始人）。這裡面除了知識工程、專家系統，還有一個代表性的系統 CYC，CYC 可以說是歷史上持續時間最長的項目，從 1985 年開始，這個項目直到現在還一直在持續。
說完了知識圖譜，我們來說一下認知圖譜。
相信很多人對認知圖譜都比較陌生，這裡我們舉一個例子來說明一下。假如我們要解決一個問題「找到一個 2003 年在洛杉磯的 Quality 咖啡館拍過電影的導演（Who is the director of the 2003 film which has scenes in it filmed at The Quality Cafe in Los Angeles）」。如果是人來解決這個問題的話，可能是先追溯相關的文檔，如 Quality 咖啡館的介紹文檔，洛杉磯的維基百科頁面等，我們可能會從中找到相關的電影，如 Old School ，在這個電影的介紹文檔裡面，我們可能會進一步找到該電影的導演 Todd Phillips，經過比對電影的拍攝時間是 2003 年，最終確定答案是 Todd Phillips，具體流程如下圖所示：
當我們用傳統算法（如 BIDAF, BERT, XLNet）進行解決的時候，計算機可能只會找到局部的片段，仍然缺乏一個在知識層面上的推理能力，這是計算機很欠缺的。人在這方面具有優勢，而計算機缺乏類似的能力。
人在解決上述問題的過程中存在推理路徑、推理節點，並且能理解整個過程，而 AI 系統，特別是在當下的 AI 系統中，深度學習算法將大部分這類問題都看作是一個黑盒子，如下圖所示：
這個基本的思想是結合認知科學中的雙通道理論。在人腦的認知系統中存在兩個系統：System 1 和 System 2，如下圖所示。System 1 是一個直覺系統，它可以通過人對相關信息的一個直覺匹配尋找答案，它是非常快速、簡單的；而 System 2 是一個分析系統，它通過一定的推理、邏輯找到答案。
在去年的 NIPS 上，圖靈獎獲得者 Bengio 在大會主旨報告的 Keynote 也提到，System 1 到 System 2 的認知是深度學習未來發展的重要的方向，如下圖所示：
因此，我們大概用這個思路構建了這個新的、我們稱為認知圖譜的這樣一個方法。在 System 1 中我們主要做知識的擴展，在 System 2 中我們做邏輯推理和決策，如下圖所示：
可以看到，我們在 System 1 中做知識的擴展，比如說針對前面的問題，我們首先找到相關的影片，然後用 System 2 來做決策。如果是標準答案，就結束整個推理的過程。如果不是標準答案，而相應的信息又有用，我們就把它作為一個有用信息提供給 System 1，System 1 繼續做知識的擴展，System 2 再來做決策，直到最終找到答案。
現在，在這兩個系統中，System 1 是一個直覺系統，我們用 BERT 來實現，實現了以後，我們就可以做相關的信息的匹配；System 2 就用一個圖卷積網絡來實現，在圖卷積網絡中可以做一定的推理和決策。通過這個思路，我們就可以實現一定的推理+決策。
這是一個總體的思路，要真正實現知識和推理，其實還需要萬億級的常識知識庫的支持，如下圖所示。也就是說，四五十年前費根鮑姆做過的事情，也許我們現在要重做一遍，但是我們要做到更大規模的常識知識圖譜，並且用這樣的方法，用這樣的常識知識圖譜來支撐上面的深度學習的計算，這樣才能真正實現未來的 AI。
所以說，這一代人工智慧浪潮也許到終點還是沒有推理能力，沒有可解釋能力。而下一波人工智慧浪潮的興起，就是實現具有推理、具有可解釋性、具有認知的人工智慧，我們認為這是 AI 下一個 10 年要發展、也一定會發展的一個重要方向。
智東西認為，唐傑是我國清華大學計算機科學與技術系教授，他的這份報告也代表了學術界對人工智慧未來發展趨勢的權威預測，即人工智慧經歷幾波浪潮之後，在過去十年中基本實現了感知能力，但卻無法做到認知能力（推理、可解釋等）；因此在下一波人工智慧浪潮興起時，將主要會去實現具有推理、具有可解釋性、具有認知的人工智慧。他提出，認知智能是 AI下一個10 年要發展、也一定會發展的重要方向。