基於空間認知的知識表示和推理探討

2020-12-10 騰訊網

人工智慧的發展已經進入快車道,作為新一輪科技革命和產業變革的重要驅動力量,人工智慧技術正在深入各行各業,悄無聲息地改變著人們日常生活的方方面面,「智能化」已經成為幾乎所有領域的發展趨勢。如此迅速的發展也不可避免地暴露了當前人工智慧方法在魯棒性、對抗性和可解釋性方面的局限性,如何尋求突破、實現更通用的人工智慧,是科學研究和產業應用都十分關心的問題。回顧人工智慧的發展,我們可以發現,知識是人工智慧的核心命題,智能系統無一例外地是在尋找合理方法來「固化」人類的知識,符號主義和連接主義的區別主要在於它們對知識不同的表達方式。因此,探索新型的知識表達是突破當前人工智慧方法瓶頸的有效且必然的途徑。認知是人類獲得和應用知識的過程,越來越多的科學家注意到目前人工智慧窘境的原因是有「感」無「知」,如何將機器的知識表示和應用與人類認知過程統一起來。

1. 人工智慧研究的趨勢與挑戰

人工智慧的目標是研究和實現能夠像人一樣具有感知、學習、推理和規劃等智能行為能力的智能系統。以符號推理為基礎的知識驅動方法被認為是第一代人工智慧(符號主義人工智慧)。1977年,ACM圖靈獎獲得者愛德華·費根鮑姆(Edward Feigenbaum)在第五屆國際人工智慧會議上提出,將知識融入計算機系統的知識工程研究領域,去解決只有領域專家才能解決的複雜問題,建立了智能系統就是「知識庫+推理引擎」的智能系統框架。基於符號知識表示和推理的各類專家系統在醫療診斷、地質勘探等領域的應用,將人工智慧研究推向高潮。基於符號的知識推理的方法多利用人工編寫的或者從已有知識庫習得的邏輯規則進行知識推理。人工編寫邏輯規則的方法難以適應大規模知識推理的需求,存在推理覆蓋度低和推理效率低的問題。知識庫的不完備性也使得從稀疏數據中學習得到的邏輯推理規則準確性不高,尤其是隨著推理規則階數的增加,規則的準確性下降迅速。

以統計機器學習、深度學習為基礎的數據驅動的第二代人工智慧方法從20世紀80年代後期逐漸興起,特別是當前深度學習主導的人工智慧處於前所未有的興盛時期(連接主義人工智慧)「數據+算力+算法」的智能系統架構利用不斷增加的大數據、高效存儲計算能力和先進的深度學習算法產生智能行為。第二代人工智慧在計算機視覺、機器翻譯和自然語言處理中取得了巨大的成功,成為端到端特定智能任務的典型模型。

然而,當前以深度學習為代表的人工智慧仍然面臨很多問題,距離人們想像當中的「智能體」還有很大差距,還不能實現第一代智能系統框架試圖做的事情,如推理、規劃及其過程的解釋。基於深度學習的知識推理將傳統的邏輯推理看成一個檢索過程,通常利用表示學習方法學習知識庫中實體、關係的向量化表示,然後利用向量間的數值計算替代傳統的基於符號的邏輯推理。這類方法覆蓋度高、推理速度快,但是推理準確度低、對抗性差,容易被欺騙,推理過程可解釋性差。

中科院院士、清華大學教授張鈸指出,第三代人工智慧是實現可解釋的、魯棒的、可信安全的智能系統,實現帶理解的人工智慧。美國國防部高級研究計劃署(DARPA)也提出,第三代人工智慧是能夠實現情景自適應的智能系統,是具有感知、推理、規劃和學習能力的智能系統。張鈸院士進一步提出第三代人工智慧是「大數據+算法+算力+知識」的架構,強調了知識在實現可解釋推理和規劃中的重要作用。因此,數據驅動的方法如何利用知識表示和推理獲得智能系統的可解釋和魯棒性是當前人工智慧的發展趨勢,也是面臨的重要挑戰。

2. 兩類人工智慧方法的特點及其與人類認知的一致性

符號主義方法在推理和決策中關注知識的結構和規則。知識表示和推理的符號主義方法對知識進行概括和顯性的表示,知識可理解,雖然可以實現可驗證和可解釋的推理,但是符號推理對輸入數據有極高的要求,不能容納噪聲,推理規則手工構建容易存在知識匱乏,導致推理缺乏可伸縮性。目前被廣泛應用的大規模知識圖譜通常不完整而且存在不一致性,知識圖譜的符號主義推理繼承了符號推理系統的這些弱點,不能滿足當前基於大規模知識圖譜的推理任務。

與符號主義方法相對的連接主義方法,建立了神經網絡模擬大腦彼此相連的神經元。輸入和輸出都被表示成連續空間中的實值向量,知識被表示成神經網絡中連接的權重。知識推理就是在樣本學習的基礎上以向量相似計算來近似得到結果。連接主義方法有很多符號方法不具備的優點:無須手工構建推理規則、可以處理大規模數據、對輸入具有極強的魯棒性。這種推理有效地模擬了人腦在不確定條件下的近似推斷方法。

但是,神經網絡損失了符號主義方法的優點:神經網絡的學習完全依賴於訓練數據(通常需要大量高質量的訓練數據),其推理質量受訓練數據質量的影響,推理結果不具有可解釋性和可驗證性。目前雖然有基於深度學習的知識推理的相關研究,如多跳推理、知識補全等工作,但是距離完成人工智慧系統的自動推理、規劃及其推理過程的可解釋還有很大距離,利用相似計算進行的近似推理能否達到符號推理的質量是一個懸而未決的問題。

符號主義方法和連接主義方法在輸入輸出以及功能上有明顯的互補關係。這種互補關係可以通過人腦的兩種思維系統一快思維(系統1)和慢思維(系統2)的互補性來解釋。在人類認知中,系統1的基本功能是激活相關聯的對象:知識、情感、動作,被激活的對象繼續激活與其關聯的對象,將激活的內容構建成一個「和諧」的故事。只要「和諧」,系統1就認為是對的,這導致系統1容易被欺騙。系統2的基本功能是數學計算和邏輯推理,它遵循規則,執行計算、推理,並做出深思熟慮的選擇。系統2能改變系統1的工作方式。如果沒有系統2,系統1幾乎可以自動、快速地相信所有東西。系統2和系統1之間的互補協調關係啟示我們應該將神經網絡和符號系統統一起來進行研究,探索融合它們的新型知識表示和推理方法。因此,融合數字與符號的知識表示和推理成為實現大數據環境下具有魯棒可解釋推理能力的智能系統的可行途徑。

3. 融合數字與符號知識推理的可行途徑

知識圖譜是對客觀世界認知的反映,以結構化形式描述對象(概念、研究基礎實體、事件和規則等)及其之間的關係。知識圖譜所反映的語義空間與人腦中的空間認知模型具有一致性。認知理論研究表明,人腦中的認知模型是以認知的物理空間為參照來描述的對象之間的關係。空間認知模型是描述物理空間中物體間關係的空間模型,用空間區域表示物體,以空間區域之間的拓撲關係為基礎表示物體間的關係,如方位關係和距離關係。當前深度神經網絡將所有對象表達成低維實值向量空間中的點,無法準確表示人類認知空間中這些對象之間的複雜關係。因此,需要將深度神經網絡中用向量表示的對象提升為區域表示,以區域間的拓撲關係描述以符號表示的知識圖譜中對象之間的結構關係,以此構建融合數字與符號的幾何認知空間,實現對知識圖譜表徵的符號語義空間與深度學習得到的向量空間的有機結合。

融合數字和符號知識表和推理的研究思路,具體以認知理論中認知空間的拓撲表示為理論支撐,通過將數字空間的向量表示提升為區域表示,與符號幾何空間化表示結合,既可以保留深度學習的向量特徵,又可以通過區域間的拓撲關係學習到知識驅動方法的知識結構,對於突破當前深度學習難以利用已有知識的結構進行有效可解釋的推理計算,以及克服當前符號推理中知識不足帶來的推理缺陷,具有創新意義和先進性。

4. 實現上述思路面臨理論和技術兩方面的挑戰

在理論研究方面,空間認知理論認為物理空間是人類認知的第一個領域,其他領域的認知都把物理空間的認知當作參照領域,幾何結構被認為是除符號主義和神經網絡外的另一種知識表示形式,認知的幾何空間中,客觀世界認知的對象表示成物理空間的區域,對象之間的關係表示為物理空間區域之間的拓撲關係。符號空間化的向量提升需要將深度學習得到的向量很好地保留在它對應的區域中;符號投射需要將符號結構無誤差地對應到空間關係(拓撲、方位、距離)。用幾何構造的方法對樹結構知識的空間化大規模實驗可以證明這種表示的存在,並在概念上下位結構推理和三元組分類預測實驗中得到了有效驗證。除常見的樹結構表示外,知識圖譜還包含大量的複雜結構,如概念、實體、屬性及其關係,這些構成了更複雜的圖結構,如有向無環圖和格結構等。在已有的研究基礎上,對更廣泛知識結構的知識圖譜和它從表示學習獲得的向量,是否都存在符號空間化表示,以及如何基於幾何空間對現有的知識圖譜推理方法進行改進,使其能同時展示向量推理的魯棒性和符號推理的準確性,這是未來基於空間符號理論知識表示和推理面臨的理論挑戰。

在技術方法方面,如何有效利用幾何構造方法把知識圖譜中的結構信息用高維球體間的空間關係和表示學習的向量融合起來,在既包含知識結構信息又有相似度信息的高維球上尋找解決問題的方法,是基於空間符號理論知識表示和推理面臨的技術挑戰。具體地,在知識表示中,需要研究用高維球體表示更複雜的一對多關係的知識圖譜結構的方法,需要考慮幾何空間中區域之間更多拓撲關係,並把現有的反向傳播方法與幾何構造方法結合起來覆蓋知識圖譜中的各類關係,這些都是知識圖譜的符號空間化知識表示面臨的挑戰。在知識推理中,幾何空間知識圖譜區域化和拓撲關係的表示可以克服原有深度學習以相似度計算為基礎的推理的局限性,可以在高維空間上進行嚴謹的結構化推理。但是也還有很多問題需要探討,如:如何在符號空間化的知識圖譜上減少推理路徑的搜索規模,提高多跳推理的性能和推理準確性;如何學習空間區域之間拓撲關係隱含的推理規則,實現顯式地規則空間化;如何將實現在符號空間化的結構上實現複雜邏輯關係推理等。

相關焦點

  • 從神經轉化到符號:從知識圖譜的角度看認知推理的發展
    這裡所說的System1和System2是指認知科學中的雙通道理論,其中System1表示直覺的、快速的、無意識的、非語言的、習慣的認知系統,這也是目前深度學習技術擅長的事情;System2則表示慢的、有邏輯的、有序的、有意識的、可用語言表達以及可推理的系統,這是未來深度學習需要著重考慮的研究方向。
  • 從Bengio演講發散開來:探討邏輯推理與機器學習
    所謂邏輯,指的是符號化的、基於知識的、推理和其他類似的人工智慧方法。基於邏輯的 AI 系統可以被認為是高級編程系統,可以很容易地以緊湊(compact)和可用的(usable)方式編碼人類知識。最簡單的邏輯系統是命題邏輯(有時稱為零階邏輯)。在命題邏輯中,使用一些被稱為句子或公式的對象來編碼信息。這些對象代表著對世界的一些陳述。通常,可以使用一些基本語句作為這樣的對象。
  • 科學盤點認知圖譜:全球第三代AI的「大」機遇
    而基於知識圖譜、認知推理、邏輯表達的認知圖譜,則被越來越多的國內外學者和產業領袖認為是「目前可以突破這一技術瓶頸的可行解決方案之一」。目前,人工智慧的發展經歷了從表示、計算到感知兩個階段,下一個階段的核心是認知。
  • 清華大學唐傑教授:認知圖譜是人工智慧的下一個瑰寶(附PPT下載)
    當前的 AI 缺少信息進入「大腦」後的加工、理解和思考等,做的只是相對簡單的比對和識別,僅僅停留在「感知」階段,而非「認知」,以感知智能技術為主的 AI 還與人類智能相差甚遠。 究其原因在於,AI 正面臨著制約其向前發展的瓶頸問題:大規模常識知識庫與基於認知的邏輯推理。
  • 在邏輯論證或邏輯推理的全局思考中去探討假設!
    啥是Assumption 和Hypothesis?能區分有意識的假設與無意識的假設?不懂得假設在邏輯思維框架裡是什麼運作的?不懂得什麼是備擇假設:可替代性假設,典型的表現就是一根筋的思維。不懂得假設如如應用於身邊的生活與工作(產品、商業、運營)?不懂得調整背後的假設,而只是在已有的認知中打轉?啥是假設性推理呢?啥是假設性論證呢?MECE、框架、假設,這三者關係如何?
  • 研究揭示野生蝙蝠基於認知圖的導航
    研究揭示野生蝙蝠基於認知圖的導航 作者:小柯機器人 發布時間:2020/7/11 23:19:30 以色列耶路撒冷希伯來大學Ran Nathan、David Shohami以及特拉維夫大學Sivan
  • 知識圖譜前沿跟進,看這篇就夠了,Philip S. Yu 團隊發布權威綜述...
    實體可以是真實世界中存在的對象,也可以是抽象的概念;關係則表示實體之間的關聯;實體及其關係的語義描述包含定義良好的類型和屬性。如今,屬性圖已經被廣泛使用,其中節點和關係都具有屬性。術語「知識圖譜」和「知識庫」幾乎是同義詞,只有很微小的差別。當我們考慮知識圖譜的圖結構時,可以將其視為一個圖。當涉及形式語義問題時,它又可以作為對事實進行解釋和推理的知識庫。
  • 三個思維認知工具,緩解知識焦慮與社交恐懼|附思維導圖
    此外,課程分享的三個思維模型——【認知三層模型】、【推理階梯】、【曼陀羅思考法】,這也有利於提升人際關係的應對能力,釐清紛亂,多角度提出解決方案。說明:文章和圖示是自己學習【L先生說智識營】課程後的思考筆記,用於穩固、複習知識。
  • 暗物智能CEO林倞:五層認知架構,重塑多模態人機互動產業化|CCF-G...
    這說明人類基於自身認知,可以根據簡單的視覺信息推理出背後更豐富的邏輯和因果信息。另一方面,通過腦科學研究發現,人的大腦皮層感知區和認知推理區域是不可分割的,其中,大概有1%的區域處理客觀的視覺感知,而有10倍於此的區域根據視覺感知的信息進行自頂而下的推理。由此可見,人類對視覺和語言的理解,大部分是依賴於想像和推測,而不是依靠於大數據感知。
  • 反事實推理、特徵分離,「因果表示學習」的最新研究都在講什麼?
    機器之心在 2018 年也有一篇對於他的論文的報導:https://cloud.tencent.com/developer/article/1119926,探討了機器學習的理論局限性與因果推理的七大特性。
  • ACL2020|基於正交關係轉換與圖上下文建模的知識圖嵌入
    1研究背景知識圖譜是一種多關係圖,節點表示實體,邊表示實體之間的關係。知識圖譜嵌入表示了連續向量空間中的實體和關係,可以用於連結預測等方面,大致可以分為基於距離和語義匹配模型兩類。以上模型取得了很大的進展,但是對於1-N ,N-1和N-N的複雜連結的預測仍然具有挑戰性,如下圖為一個N-N的示例,相關的邊用綠色表示。並且,上述知識圖嵌入方法主要針對單個三元組的建模,但是它們忽略了知識圖譜的結構,沒有充分利用鄰近節點和邊的上下文,由此有研究者引入了圖神經網絡對知識圖譜結構進行學習,該研究團隊提出了一種可以直接集成圖的上下文來計算距離評分函數的方法。
  • 顏水成&劉嘉:機器學習與認知神經的火花碰撞
    於是,他們相約在一個午後,共同探討了大量關於人工智慧和生物智能的認知神經基礎問題。正如顏水成所說,這些問題可能並不只是代表他自己,可能許多做機器學習的人都或多或少有過類似的疑問,也希望能夠從認知神經科學的研究成果中,獲取靈感,從而設計更優的算法。劉嘉教授對此一一作答。交叉,起於思想的碰撞,這只是開始。
  • 達摩院2020年預測:人工智慧從感知智能向認知智能演進
    以「人工智慧從感知智能向認知智能演進」為例,人工智慧已經在「聽、說、看」等感知智能領域已經達到或超越了人類水準,但在需要外部知識、邏輯推理或者領域遷移的認知智能領域還處於初級階段。認知智能將從認知心理學、腦科學及人類社會歷史中汲取靈感,並結合跨領域知識圖譜、因果推理、持續學習等技術,建立穩定獲取和表達知識的有效機制,讓知識能夠被機器理解和運用,實現從感知智能到認知智能的關鍵突破。當今,城市正成為產業網際網路最大的應用場景,隨著5G、人工智慧和大數據等技術的不斷完善與場景化落地,人們看到了更多的發展前景。
  • 清華唐傑:GPT-3表示能力已經接近人類,但它有一個阿喀琉斯之踵
    亮點1、認知圖譜有了一個全新概念,它包含三個核心要素:常識圖譜、邏輯生成以及認知推理。2、GPT-3參數規模已經接近人類神經元的數量,這說明它的表示能力已經接近人類了。但是它有個阿喀琉斯之踵——沒有常識。3、數據+知識雙重驅動,也許是解決未來認知AI的一個關鍵。
  • 機器如何具備類人的推理能力?具備類人的推理能力還要逾越哪些障礙?
    近日,在2020 ICLR大會上,圖靈獎得主舒亞·本吉歐(Yoshua Bengio)和揚·勒昆(Yann LeCun)發表觀點稱,自監督學習有望使AI產生類人的推理能力。本吉歐相信機器最終可以習得關於這個世界的各種知識,這種知識的獲得並不需要機器去親身體驗各種真實發生的事件,而是通過習得語言化的知識來實現。那麼機器如何具備類人的推理能力?
  • 朱立峰:認知時代的CDSS如何突破應用壁壘?
    數據爆炸式增長與知識圖譜技術的進步,加速了臨床決策支持系統(CDSS)在醫療領域的滲透,提供給患者精準、個性化醫療,為醫院信息化走向認知時代帶來變革機遇。但如何有效推進CDSS的落地應用,仍是人們關注的焦點。
  • 基於認知規律的圖書封面設計!
    文/孫瑞英 讀者的認知過程本身就是一個信息加工的過程,讀者對圖書封面設計信息的識別和接受是在其認知過程的制約下進行的。圖書封面設計方式如果不能與讀者的認知過程相匹配,就會影響讀者對圖書封面信息的識別、理解和記憶,進而影響讀者對圖書的取捨。
  • 愛分析·中國知識圖譜應用趨勢報告
    知識圖譜技術是指在建立知識圖譜中使用的技術,是融合認知計算、知識表示與推理、信息檢索與抽取、自然語言處理與語義Web、數據挖掘與機器學習等技術的交叉研究。知識圖譜技術包括知識表示、知識圖譜構建和知識圖譜應用三方面的研究內容:知識表示研究客觀世界知識的建模,以方便機器識別和理解,既要考慮知識的表示與存儲,又要考慮知識的使用和計算; 知識圖譜構建解決如何建立計算機算法從客觀世界或者網際網路的各種數據資源中獲取客觀世界的知識,主要研究使用何種數據和方法抽取何種知識; 知識圖譜應用主要研究如何利用知識圖譜建立基於知識的智能服務系統
  • RPA(機器人流程自動化)從基於規則到智能認知的演進
    基於規則,信譽良好,數量龐大,依靠多個系統且具有高風險因素的流程適合RPA過渡。 在這些嘗試的原型中獲得成功,為RPA創造了自信的使用案例,激勵買家投資。受到RPA熱情的鼓舞,該行業也見證了自動化工具和平臺供應商的不斷壯大,它們提供了不同的自動化功能,因此進一步推動了採用率。
  • 地理空間人工智慧的近期研究總結與思考
    地理空間人工智慧(GeoAI)是指地理空間科學與人工智慧相結合的交叉學科研究方向,通過研究與開發機器的空間智能提升對於地理現象和地球科學過程的動態感知、智能推理和知識發現能力,並尋求解決人類和地球環境系統相互作用中的重大科學和工程問題。