「神經+符號」：從知識圖譜角度看認知推理的發展

具有推理、可解釋性等能力的認知智能是未來人工智慧重要的發展方向之一。本文將首先探討「符號」和「神經」系統在認知推理方面的特點，然後從知識圖譜的角度結合技術的發展歷程，探討實現「符號+神經」理想認知智能系統的關鍵問題和挑戰。

前言

在過去十年的人工智慧浪潮中，以深度學習為代表的人工智慧技術已基本實現了視覺、聽覺等感知智能，但依然無法很好地做到思考、推理等認知智能。因此，具有推理、可解釋性等能力的認知智能研究毫無疑問將越來越受到重視，成為未來人工智慧領域重要的發展方向之一。

研究人員的嗅覺無疑是最敏銳的。例如，ACM圖靈獎獲得者約書亞·本吉奧(Yoshua Bengio)在NeuIPS 2019的特邀報告中明確提到，深度學習需要從系統1(System 1)到系統2(System 2)轉化。這裡所說的System 1和System 2是指認知科學中的雙通道理論，其中System 1表示直覺的、快速的、無意識的、非語言的、習慣的認知系統，這也是目前深度學習技術擅長的事情；System 2則表示慢的、有邏輯的、有序的、有意識的、可用語言表達以及可推理的系統，這是未來深度學習需要著重考慮的研究方向。

神經系統和符號系統的特點

從更宏觀的角度來看人工智慧，System 1對應的是神經(Neural)學派， System 2則對應符號(Symbolic)學派，本吉奧所提的System 2關於深度學習的想法與「神經+符號」的人工智慧目標基本一致。沿著這一點追溯，我們可以發現另一位ACM圖靈獎得主馬文·明斯基(Marvin Minsky)早於1986年在《心智社會》(The Society of Mind)一書中就清楚地闡述了人工智慧和認知心理學（即System 1和System 2）之間的關係，並深入分析了人工智慧中的神經系統和符號系統各自的特點和結合的可能，如圖1所示。

從宏觀再到具體，以數據的對象、存儲以及應用來說，無論是神經系統還是符號系統，數據建模的目的都是求解給定輸入問題的答案，如圖2所示。但不同之處在於，神經系統擅長處理非結構化的數據（如文本等），目前的主流模型以端到端為主，常見的應用場景有機器翻譯、語音識別、簡單問題智能問答（如，姚明的身高是多少？）等；而符號系統主要以結構化的資料庫為主，且通常支持結構化的查詢、推理引擎等，能夠實現複雜問題的求解（如，美國是農業出口大國，為什麼還要進口咖啡？）。值得一提的是，ACM圖靈獎獲得者萊斯利·瓦利安特(Leslie Valiant)曾精闢地指出：神經系統側重對數據特徵的學習過程，而符號系統包含的一定是一個搜索過程，後續大量面向符號系統的研究本質上致力於各種高效的搜索算法。

神經系統和符號系統各自的特點還可以通過兩個計算機視覺領域應用中的例子來體會：圖3(a)的例子表示經典的手寫體識別，對於給定可觀察的手寫數字和比較符樣本集合，在經過訓練後，大量神經系統的模型可以很好地識別各類手寫體（即視覺層次的泛化認知能力），但卻很難實現符號知識的認知泛化（即對於未出現在訓練樣本中的比較符樣例，難以進行求解判斷）。同樣，在圖3(b)的視覺問答例子中，神經系統可以輕鬆應對簡單的視覺問答場景（如，圖中有幾隻長頸鹿？），但是如果需要回答更複雜的問題（如，圖中動物和斑馬有哪些共同屬性？），則必須藉助外部的符號知識（如知識圖譜）進行認知推理，才能完成求解過程。

綜上所述，「神經+符號」系統無疑是人工智慧的理想模型。我們可以總結出一個完美的「神經+符號」系統的特點和優勢：

1.可以輕鬆處理目前主流機器學習擅長的問題；

2. 對於數據噪音有較強的魯棒性；

3. 系統的求解過程和結果容易被人理解、解釋和評價；

4. 可以很好地對各類符號進行操作；

5. 可以無縫地利用各種背景知識。

然而，實現「神經+符號」的有機結合併不容易。多年來，各個領域的人工智慧研究者對此進行了大量研究。知識圖譜作為近年來熱門的人工智慧研究方向，從早期的知識庫、專家系統，到谷歌公司在2012年正式提出知識圖譜，其發展歷程也可以看作神經系統和符號系統各自的發展縮影，其中包括「神經+符號」結合的多次嘗試，如圖4所示。

「神經+符號」的結合

筆者從知識圖譜領域的研究視角對目前的工作梳理總結後發現，「神經+符號」的結合工作主要可以分為兩類：

神經助力符號(neural for symbolic)這類方法的特點在於將神經網絡的方法應用在傳統符號系統的問題求解，通常主要用來解決淺層次的推理問題。例如採用知識圖譜表示學習(knowledge graph embedding)[1]、圖神經網絡(Graph Neural Networks，GNN)[2]等技術進行知識圖譜的補全，其特點是用統計推理代替邏輯演繹；還有採用循環神經網絡(Recurrent Neural Network,RNN)、圖卷積神經網絡(Graph Convolutional Network，GCN)等技術進行多跳智能問答[3]，也是類似的工作，如圖5所示。

此外，Swift Logic[3]、神經理論證明機[4]、邏輯張量網絡[5]等工作也屬於「神經」助力「符號」的嘗試，其主要思想是改進神經網絡的方法，將其應用到知識圖譜領域的深層推理場景，進而提升效果。

符號助力神經(symbolic for neural)這類方法的特點在於將符號的方法應用在神經網絡的訓練過程中。例如，使用邏輯規則在深度神經網絡中進行數據的編審(data curation)[6]；將知識圖譜應用在遠程監督、少樣本、零樣本的模型和場景中[7,8]，如圖6所示。

最近有一類研究叫做可解釋的人工智慧(explainable AI)[9]，其主要思想是利用知識圖譜中的事實或規則，對神經網絡訓練過程中的行為進行解釋，進而提高神經網絡的可解釋性。值得一提的是，清華大學唐傑等人最新提出的認知圖譜[10]，就是「神經+符號」與「System 1+System 2」在可解釋人工智慧方面的嘗試，旨在用符號知識的表示、推理和決策來解決深度學習求解過程的黑盒問題。

總結與展望

以上的研究現狀表明，「神經+符號」的結合仍停留在僅以一方為主，併到另一方問題的適用或遷移，實現「神經+符號」真正有機結合的系統還任重道遠。如何在神經和符號之間取得一個巧妙的平衡，將是衡量模型價值的關鍵，其範圍涉及了目前幾乎所有主流的人工智慧研究，如圖7所示。

未來關於「神經+符號」的研究中可能涉及到的關鍵問題和挑戰包括：

1. 知識的表示：建模多模態、時空、事件等非結構化數據的符號知識表達；

2. 推理的實用性和效率：將神經的方法用來實現深層推理或加速傳統符號推理的效率；

3. 人在迴路和可解釋性：將專家或用戶的反饋加入系統考慮並確保系統求解過程的可解釋性。　

參考文獻

[1] Wang Q , Mao Z , Wang B , et al. Knowledge Graph Embedding: A Survey of Approaches and Applications[J]. IEEE Transactions on Knowledge & Data Engineering, 2017, 29(12):2724-2743.

[2] Zhang M, Chen Y. Link Prediction Based on Graph Neural Networks[C]// Neural Information Processing Systems, 2018: 5171-5181.

[3] Jain S . Question Answering over Knowledge Base using Factual Memory Networks[C]// Proceedings of the NAACL Student Research Workshop. 2016.

[4] Rocktaschel T, Riedel S. End-to-end differentiable proving[C]// Neural Information Processing Systems, 2017: 3788-3800.

[5] Socher R, Chen D, Manning C D, et al. Reasoning With Neural Tensor Networks for Knowledge Base Completion[C]// Neural Information Processing Systems, 2013: 926-934.

[6] Hu Z, Ma X, Liu Z, et al. Harnessing Deep Neural Networks with Logic Rules[C]// Meeting of the Association for Computational Linguistics, 2016: 2410-2420.

[7] Zeng D, Liu K, Chen Y, et al. Distant Supervision for Relation Extraction via Piecewise Convolutional Neural Networks[C]// Empirical Methods in Natural Language Processing, 2015: 1753-1762..

[8] Chang X, Zhu F, Bi X, et al. Mining knowledge graphs for vision tasks[C]// Database Systems for Advanced Applications, 2019: 592-594.

[9] Samek W , Grégoire Montavon, Vedaldi A , et al. Explainable AI: Interpreting, Explaining and Visualizing Deep Learning[M]. Vol. 11700. 2019: Springer Nature.

[10] Ding M, Zhou C, Chen Q, et al. Cognitive graph for multi-hop reading comprehension at scale [C]// Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. 2019: 2694-2703.

特別聲明：中國計算機學會(CCF)擁有《中國計算機學會通訊》(CCCF)所刊登內容的所有版權，未經CCF允許，不得轉載本刊文字及照片，否則被視為侵權。對於侵權行為，CCF將追究其法律責任

作者簡介

王昊奮

CCF理事、術語工委副主任、CCF TF SIGKG主席。OpenKG聯合創始人，同濟大學特聘研究員。主要研究方向為知識圖譜、自然語言處理、問答對話、智能內容生成等。[e-mail]

王萌

CCF專業會員。東南大學計算機科學與工程學院講師，東南大學「至善青年學者」支持計劃獲得者。主要研究方向為知識圖譜、多模態數據、自然語言處理。[e-mail]