行業前沿:結合邏輯和神經網絡的ILP,具備了兩大流派的優點

2021-01-17 讀芯術

人工智慧研究者佩德羅·多明戈斯在其著作《大師算法》(The Master Algorithm)一書中提出了單一算法的概念,該算法可以結合機器學習的主要流派。

毫無疑問,這個想法非常雄心勃勃,但我們已經看到過很多類似的想法。

Google發表了一篇標題醒目的研究論文,該標題為《一種學習所有的知識的模型》,該論文結合了單一機器學習模式下的異構學習技術。

Alphabet的子公司DeepMind又向多模型算法邁出了一步,它引入了一種稱為可微分歸納邏輯編程(ILP)的新技術,此技術將邏輯和神經網絡結合到一個模型中,以便從噪聲數據中提取規則。

ILP結合了兩個主要的機器學習流派。連接主義者試圖通過以神經網絡的形式模仿大腦的表現來建模知識,此流派一直是深度學習等行為背後的驅動力。象徵主義者依靠邏輯根據易於理解的規則來對知識進行建模。兩個流派都有眾所周知的優點和缺點。

基於歸納邏輯編程(ILP)的符號系統往往能有效地概括知識,並且對過度擬合具有半免疫性。此外,ILP系統往往非常適合於轉移學習場景,在這類場景中,經過訓練的模型可以在其他模型中被複製和重用。ILP系統的主要局限性在於未能解決深度學習場景中常常出現的噪聲或模糊數據。

連接主義系統往往在有噪聲數據的環境中工作良好,並且能夠有效地處理不確定性和模糊性。然而,訓練和改編這類系統往往價格昂貴。而且從連接主義系統中學習到的知識難以理解,這與象徵主義模型的清晰性形成了鮮明的對比。多年來,許多專家強調了將穩健的連接主義學習與象徵關係學習相結合的理論價值。ILP無疑是朝著正確方向邁出的一步。

從概念上講,ILP將神經網絡與ILP結合起來作為一個模型,此模型既能處理噪聲和模糊數據,同時又能很好地進行概括和避免惡化。ILP是一種能夠將兩者的優點結合起來的技術,它不同於連接主義模型,因為它可以象徵性地概括知識,它也不同於傳統的象徵主義模型,因為它可以直觀地概括知識。下面的矩陣可以更好地說明三種思想流派之間的比較關係。

讓我們用一個基本的歸納任務來解釋ILP的功能,其中一對圖像表示數字,並且必須輸出一個指示左側圖像的數字是否小於右側圖像的數字的標籤(0或1)。解決這個問題涉及兩種思維:你需要直觀的感知思維來識別圖像作為一個特定數字的表示,以及概念思維來完全理解它們的大小關係。

下面列舉的任務並不是特別新,可以使用標準的深度學習模型(如卷積神經網絡(CNN))來解決。雖然CNN模型完全能夠識別數字的新圖像,但它很可能無法識別數字本身。換言之,像CNN這樣的深度學習策略能夠實現視覺概括,而不是符號概括。

ILP不同於標準的神經網絡,因為它能夠進行象徵性地概括,它也不同於標準的符號程序,因為它能夠直觀地概括。它從可讀、可解釋和可驗證的示例中學習顯式程序。ILP能為給定的一部分示例生成滿足這些示例的程序。它使用梯度下降搜索程序空間。如果程序的輸出與參考數據的所需輸出相衝突,系統將修改程序以更好地匹配數據。

實驗的結果表明,ILP能夠通過其他邏輯模型和深度學習模型,在象徵性、形象化方面都優於既定標準。

ILP是將機器學習中兩個主要方法結合在一起的非常有創意的想法。它將連接主義系統的直觀知識與象徵主義者的概念知識相結合,向模擬人類認知又邁近了一步,並且可能向多明戈的終極算法也邁近了一步。

相關焦點

  • DeepMind的最新研究結合了神經網絡和隨機過程的優點提出神經過程...
    DeepMind的最新研究結合了神經網絡和隨機過程的優點提出神經過程模型 李倩 發表於 2018-07-09 09:04:12 函數逼近是機器學習中許多問題的核心,DeepMind的最新研究結合了神經網絡和隨機過程的優點
  • Yan LeCun強推的AI簡史:兩大流派世紀之爭,神經網絡華麗回歸
    >McCulloch和Pitts提出的神經網絡給計算機視覺領域提供了一種特別適合的解決方案,用計算機配備這些原始的自適應機器。「智能」機器與美妙的邏輯規則,確定性語法和理性的目標吻合,但這樣的機器的世界並不存在。
  • 【乾貨】用神經網絡識別歌曲流派(附代碼)
    MFCC數值模仿人類的聽覺,在語音識別和音樂類型檢測中有廣泛的應用。MFCC值將被直接輸入神經網絡。了解MFCC讓我們用兩個例子來說明MFCC。請通過Stereo Surgeon下載Kick Loop 5[2]和Whistling[3]。其中一個是低音鼓聲,另一個是高音口哨聲。它們明顯不同,你可以看到它們的MFCC數值是不同的。
  • 雷射雷達vs純計算機視覺 自動駕駛的兩大流派
    那這兩大流派究竟爭得是什麼呢?首先需要說明自動駕駛技術的基本原理。 自動駕駛技術基本原理是:感知層的各類硬體傳感器捕捉車輛的位置信息以及外部環境信息。決策層的大腦基於感知層輸入的信息進行環境建模,形成對全局的理解並作出決策判斷,發出車輛執行的信號指令。最後執行層將決策層的信號轉換為汽車的動作行為。
  • DeepMind提出可微分邏輯編程,結合深度學習與符號程序優點
    夏乙 編譯自 DeepMind Blog量子位 出品 |神經網絡的強大功能有目共睹,但它往往需要大量與目標測試領域數據分布相似的訓練數據;而用於符號領域的歸納邏輯編程只需少量數據,卻無法對抗噪聲,適用領域也很狹窄。
  • 深度神經決策樹:深度神經網絡和樹模型結合的新模型
    深度神經決策樹:深度神經網絡和樹模型結合的新模型 工程師郭婷 發表於 2018-08-19 09:14:44 近日,來自愛丁堡大學的研究人員提出了一種結合深度神經網絡和樹模型的新型模型
  • 前沿播報 | 新全光二極體、新型自旋閥結構、新型高效節能深度學習神經網絡、「神經網絡核磁共振成像」…
    科學家研製新型自旋閥結構,可控制自旋電流近日,德國美因茨大學、德國康士坦茨大學和日本東北大學的科研人員展開國際科研合作,成功開發出用於磁振子邏輯結構的一種新元件:自旋閥(spin valve)結構,在某種程度上實現了一種開關類型的器件,可阻止或者傳遞作為電信號的磁振子自旋電流。
  • 正則表達式與神經網絡的深度融合
    在有足夠多標註數據的情況下,神經網絡往往效果驚人。但是,當標註數據匱乏時,神經網絡的性能就會大打折扣。此外,神經網絡缺少可解釋性以及難以融入外部知識的問題也一直為人所詬病。與之對應的,基於符號主義的規則系統,如正則表達式(regular expression, RE),通常由人類專家基於領域知識構建,具備著良好的可解釋性,可用於沒有任何數據的冷啟動場景,並且可以通過規則的增刪和修改來快速應對目標任務的變化。因此,儘管神經網絡和深度學習如火中天,在工業界實際應用場景中,基於規則的方法仍然有著穩固的地位。
  • 騎馬與砍殺有很多流派種類,並且每個流派都有各自的優點和缺點
    騎馬與砍殺可以分出很多流派種類,並且對於每個流派都有他們各自的有點和缺點,但是在實際的遊戲中流派只是一方面,主要還是將各兵種相互配合,從而發揮出他們最大的優勢。砍騎裡的流派種類很多,而且有很多種說法,主要有:1、由主角角色加點而派生出的流派,其中有:力敏流、力智流、力魅流和智魅流等。
  • 什麼是人工神經網絡(ANN)?
    作者 | Ben Dickson編譯 | CDA數據分析師過去十年中最具影響力的技術之一是人工神經網絡,它是深度學習算法的基本組成部分,是人工智慧的前沿。但是直到最近幾年,神經網絡的承諾才變為現實,並幫助AI行業擺脫了漫長的冬季。儘管神經網絡幫助AI取得了飛躍,但它們也常常被誤解。這時您需要了解的有關神經網絡的所有信息。人工和生物神經網絡之間的相似性人工智慧先驅的最初願景是複製人類大腦的功能,這是自然界最聰明,最複雜的已知創造。
  • 有道nmt神經網絡_有道神經網絡翻譯(nmt) - CSDN
    另一方面,隨著智能翻譯的興起,越來越多語言專業的學生和翻譯行業的工作人士抱怨,神經網絡翻譯等技術的出現,讓原本就競爭激烈的翻譯市場迅速進入了冰凍期。但是,未來機器翻譯真的會完全取代人類,讓翻譯員們下崗嗎?網易智能梳理了目前主流的機器翻譯技術與應用,一探智機器翻譯行業究竟。
  • 「神經網絡」的逆襲:圖解80年AI鬥爭史
    華山派有「劍宗」和「氣宗」,相互鬥了幾十年。人工智慧界也有「山頭」,AI兩大派系的鬥爭早在第一臺電子計算機問世前就已經開始了。」(Symbolicism),又稱邏輯主義、計算機學派,主張用公理和邏輯體系搭建一套人工智慧系統。
  • 人工智慧瓶頸之神經網絡的可解釋探討
    基於深度神經網絡的人工智慧系統主要面臨結果不可驗證和過程不可審查兩大安全問題。結果不可驗證指的是基於深度神經網絡的人工智慧系統輸出結果無法被判斷、預測,智能系統行為邊界難以掌握,導致系統不可控,本質上是深度神經網絡結果不可判讀。過程不可審查指的是系統決策背後的邏輯不明,代碼實現缺乏可信度,本質上是深度神經網絡的實現機理與決策邏輯難以理解。
  • 人工神經網絡的定義
    人工神經網絡的定義   人工神經網絡( Artificial Neural Networks, 簡寫為ANNs)也簡稱為神經網絡或稱作連接模型,是對人腦或自然神經網絡若干基本特性的抽象和模擬。
  • Bioinformatics|用深度神經網絡結合局部和全局特徵預測蛋白質的...
    文章研究了如何利用蛋白質的局部和全局胺基酸序列來預測蛋白質的結合位點,作者用一個49維的向量(其中包括原始胺基酸、胺基酸的PSSM、胺基酸的二級結構狀態)來表示任意一個胺基酸,最後將得到的局部和全局胺基酸序列的向量表示連接起來,輸入到一個深度神經網絡做預測。1、研究背景PPI site背景:1、現存的方法主要使用局部上下文特徵來預測PPI site。
  • 結合神經網絡,提升ImageNet分類準確率且可解釋
    隨著深度學習在金融、醫療等領域的不斷落地,模型的可解釋性成了一個非常大的痛點,因為這些領域需要的是預測準確而且可以解釋其行為的模型。然而,深度神經網絡缺乏可解釋性也是出了名的,這就帶來了一種矛盾。可解釋性人工智慧(XAI)試圖平衡模型準確率與可解釋性之間的矛盾,但 XAI 在說明決策原因時並沒有直接解釋模型本身。
  • 神經網絡中容易被忽視的基礎知識
    作為線性分類器的單個神經元比如基礎的邏輯回歸,結合上面的神經元知識,可以發現,邏輯回歸就是激活函數是sigmoid簡單來說:就是使得神經網絡具有的擬合非線性函數的能力,使得其具有強大的表達能力!簡單擴展,神經網絡的萬能近似定理: 一個前饋神經網絡如果具有線性層和至少一層具有 "擠壓" 性質的激活函數(如 signmoid 等),給定網絡足夠數量的隱藏單元,它可以以任意精度來近似任何從一個有限維空間到另一個有限維空間的 borel 可測函數。
  • 中科院計算所沈華偉:圖神經網絡表達能力的回顧和前沿
    沈華偉老師還對近幾年圖神經網絡表達能力的相關研究進行了梳理,他說:「GNN出現的早期,大家對它表達能力的認識是基於其在半監督學習,尤其是節點分類任務上的優秀表現,一些應用向的研究也只是對圖神經網絡表達能力經驗上的證明」。基於這個認知,在介紹完圖神經網絡的基本知識之後,沈華偉老師對圖神經網絡的表達能力給予了理論上的介紹。
  • 中科院計算所沈華偉:圖神經網絡表達能力的回顧和前沿
    沈華偉老師還對近幾年圖神經網絡表達能力的相關研究進行了梳理,他說:「GNN出現的早期,大家對它表達能力的認識是基於其在半監督學習,尤其是節點分類任務上的優秀表現,一些應用向的研究也只是對圖神經網絡表達能力經驗上的證明」。基於這個認知,在介紹完圖神經網絡的基本知識之後,沈華偉老師對圖神經網絡的表達能力給予了理論上的介紹。
  • 採用神經網絡與模糊推理結合實現環境實驗室溫溼度監測系統的設計
    打開APP 採用神經網絡與模糊推理結合實現環境實驗室溫溼度監測系統的設計 伍文平,張智盛, 發表於 2020-05-12 09:31:24