深度神經決策樹:深度神經網絡和樹模型結合的新模型

2021-01-09 電子發燒友
深度神經決策樹：深度神經網絡和樹模型結合的新模型

工程師郭婷 發表於 2018-08-19 09:14:44

近日，來自愛丁堡大學的研究人員提出了一種結合深度神經網絡和樹模型的新型模型——深度神經決策樹(Deep Neural Decision Trees, DNDT)。

這種模型不僅具有了基於樹模型的可解釋性的優點，同時還可以利用神經網絡中的梯度下降法來進行訓練，並可方便地利用現有的神經網絡框架實現，將使得神經網絡的過程得以用樹的方式得到有效的解釋。論文的作者均來自於愛丁堡大學信息學院感知、運動和行為研究所ipab。

對於感知模型來說可解釋性是十分重要的，特別是在一些涉及倫理、法律、醫學和金融等場景下尤其如此，同樣在關鍵領域的控制中，我們希望能夠回溯所有的步驟來保證模型因果邏輯和結果的正確性。深度神經網絡在計算機視覺、語音識別和語言模型等很多領域取得了成功，但作為缺乏可解釋性的黑箱模型，限制了它在模型必須求證因果領域的應用，在這些領域中我們需要明確決策是如何產生的以便評測驗證整個決策過程。除此之外，在類似於商業智能等領域，知曉每一個因素是如何影響最終決策比決策本身有時候更為重要。與此不同的是，基於決策樹模型（包括C4.5和CART等）擁有清晰的可解釋性，可以追隨樹的結構回溯出決策產生的因由。

愛丁堡大學的研究人員們基於樹和神經網絡的結構提出了一種新型的模型——深度神經決策樹(DNDT)，並探索了樹和網絡之間的相互作用。DNDT是一種具有特殊結構的神經網絡，任意一種配置下的DNDT都對應著決策樹，這使其具有了可解釋性。同時由於DNDT實現自神經網絡，使得它擁有了很多傳統決策樹不曾具有的特性：

1.DNDT可以通過已有的神經網絡工具便捷的實現，可能只需要幾行即可；

一個實現的例子

2.所有的參數可以通過隨機梯度下降法（SGD）同時優化，代替了複雜的貪婪優化過程；

3.具有大規模處理數據的能力，可以利用mini-batch和GPU加速；

4.可以作為一個模塊插入到現有的神經網絡模型中，並整體訓練。

在這種網絡中研究人員們使用了一種稱為soft binning function的函數，並將它用於DNDT中的分支操作。一個典型的soft binning函數可以得到輸入標量的二進位值，與Hard binning不同的是，這是一種可微的近似。這使得決策樹中的的參數是可導的，也就可以利用梯度下降法來進行訓練了。下式是MDMT中的一層神經元表示：

其中w為權重參數[1,2，。。。，n+1]，b表示為[0,-β1，-β2...-βn],代表了n個分支點。式中的τ代表了溫度因子，其趨向於0時將為生成one-hot編碼。下圖是不同τ作用下的soft binning函數：

其中x在[0,1]區間內，此時的分割點為0.33和0.66，三個圖分別代表了τ為1,0,1和0.01的情況，越小意味著分支越陡峭。其中，

o1 = x

o2 = 2x-0.33

o3 = 3x-0.99

在決策過程中，通過上式給出的二進位函數利用克羅內克內積來實現，下圖中顯示了DNDT在Iris數據集上的學習過程，上半部分描述了深度神經決策樹的運行過程，其中紅色表示為可訓練的變量，黑色數字為常量。下半部分作為對比顯示了先前決策樹的分類過程。

通過本文提出的方法，研究人員將決策樹的訓練過程轉換為了訓練二進位分支點和葉子分類器。同時由於前傳過程是可微的，所以所有的點都可以同時利用SGD的方法來訓練。由於可以利用與神經網絡類似的mini-batch,DNDT可以便捷的實例規模化。但目前存在的問題是克羅內克積的存在使得特徵的規模化不易實現。目前的解決方案是引入多棵樹來來訓練特徵集中的子特徵組合，避免了較「寬」的數據。

研究人員通過實驗驗證了中模型的有效性，在常見的14個數據集上（特別是Tabular類型的數據）取得了較好的結果。其中決策樹使用了超參數，「基尼」尺度和「best」分支；神經網絡使用了兩個隱藏層共50個神經元作為基準。而DNDT則使用了1最為分支點數目的超參數。

研究顯示DNDT模型隨著分割點的增加，整體激活的比重卻在下降，顯示了這種模型具有正則化的作用。

同時研究還顯示了分割點數量對於每一個特徵的影響；

並利用了GPU來對計算過程進行了加速。

在未來還會探索DNDT與CNN的結合與應用，並將SGD應用到整個模型的全局優化中去，並嘗試基於決策樹的遷移學習過程。

打開APP閱讀更多精彩內容

聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用，如有內容圖片侵權或者其他問題，請聯繫本站作侵刪。 侵權投訴

相關焦點

  • 不要小看樹模型
    選自towardsdatascience作者：Andre Ye機器之心編譯編輯：陳萍樹模型和神經網絡，像一枚硬幣的兩面。在某些情況下，樹模型的性能甚至優於神經網絡。由於神經網絡的複雜性，它們常常被認為是解決所有機器學習問題的「聖杯」。
  • Google雲計算AI平臺內置TabNet表格模型,可替代傳統決策樹算法
    Google在雲計算平臺新加入內置深度學習模型TabNet，用戶可以簡單地使用深度學習來處理表格資料，TabNet具有兩項優點，除了可解釋性之外，還提供高效的執行性能，Google提到，這個算法很適合用於零售、金融和保險業，實例像是預測信用評分、欺詐偵測和數值預測等應用。
  • 機器學習:不要低估樹模型的威力
    樹模型 VS 神經網絡 基於樹的方法通常優於神經網絡。本質上，將基於樹的方法和基於神經網絡的方法放在同一個類別中是因為，它們都通過逐步解構來處理問題，而不是像支持向量機或 Logistic 回歸那樣通過複雜邊界來分割整個數據集。
  • 人工智慧黑盒揭秘:深度神經網絡可視化技術
    但深度神經網絡又被稱為「黑盒」模型，多層隱藏結構，數據 / 特徵矢量化，海量決策關鍵元等因素讓模型使用者犯難：模型決策的依據是什麼？應該相信模型麼？特別是對於金融，醫藥，生物等關鍵型任務，深度學習模型的弱解釋性成為人工智慧項目落地的最大障礙。
  • 深度學習不是萬靈藥 神經網絡3D建模其實只是圖像識別
    隨著深度學習的大熱，許多研究都致力於如何從單張圖片生成3D模型。但近期一項研究表明，幾乎所有基於深度神經網絡的3D中重建工作，實際上並不是重建，而是圖像分類。深度學習並不是萬能的！ 深度學習並不是萬靈藥。 近幾年，隨著深度學習的大熱，許多研究攻克了如何從單張圖片生成3D模型。
  • 反之亦然,科學家開始用深度神經網絡解釋人類大腦
    老實說，在我的實驗室裡，之前沒有人用深層網絡做任何事情，"麻省理工學院神經科學家南希-坎維舍說，"而現在，他們中的大多數人反而常常去訓練神經網絡模型。"01深度網絡和視覺人工智慧裡的神經網絡是由相互連接的感知器構建的，感知器是一種生物神經元的簡化數學模型。在這種神經網絡裡至少有兩層感知器，一層是輸入層，一層是輸出層。
  • 普林、DeepMind新研究:結合深度學習和符號回歸,從深度模型中看見...
    符號模型緊湊，具備可解釋性和良好的泛化能力，但很難處理高維機器學習問題；深度模型擅長在高維空間中學習，但泛化性和可解釋性卻很差。那麼有沒有什麼辦法可以取二者之所長呢？這項研究做到了。如何將深度模型轉換為符號方程？來自普林斯頓、DeepMind 等機構的研究人員提出了一種解決方案：結合深度學習和符號回歸實現這一目標。
  • 人工智慧瓶頸之神經網絡的可解釋探討
    基於深度神經網絡的人工智慧系統主要面臨結果不可驗證和過程不可審查兩大安全問題。結果不可驗證指的是基於深度神經網絡的人工智慧系統輸出結果無法被判斷、預測，智能系統行為邊界難以掌握，導致系統不可控，本質上是深度神經網絡結果不可判讀。過程不可審查指的是系統決策背後的邏輯不明，代碼實現缺乏可信度，本質上是深度神經網絡的實現機理與決策邏輯難以理解。
  • 深度神經網絡,通過使用數學模型來處理圖像
    打開APP 深度神經網絡，通過使用數學模型來處理圖像 新經網 發表於 2020-12-16 10:22:58 　　它們具有看似複雜的結果，但也有可能被愚弄，範圍從相對無害-將動物誤識別為另一動物-到引導自動駕駛汽車的網絡將停車標誌誤解為指示停車標誌的潛在危險是可以安全進行的。
  • 深度神經網絡推理時間的正確測量方法
    網絡延遲是將深度網絡部署到生產環境中要考慮的重要因素之一。大多數實際應用程式都需要非常快的推理時間，從幾毫秒到一秒不等。但是，正確而有意義地測量神經網絡的推理時間或延遲的任務需要對網絡有深刻的理解。即使是經驗豐富的程式設計師也經常會犯一些常見的錯誤，從而導致延遲測量不準確。這些錯誤有可能會引發錯誤的決策和不必要的支出。
  • 自然語言處理中的卷積深度語義匹配模型簡介
    針對DSSM和C-DSSM存在的問題，華為的研究團隊提出了一些新的深度匹配模型，包括主題深度匹配模型、樹深度匹配模型和卷積網絡深度匹配模型這些模型的特點是可直接表示兩個文本的匹配關係，並在此基礎上能計算出最終的匹配值。2.
  • 超越蒙特卡洛樹搜索:北大提出深度交替網絡和長期評估圍棋模型
    在這種思路下，蒙特卡洛樹搜索（MCTS）（Gelly & Silver 2011）是最為流行的方法，它構建了一個廣泛而深入的搜索樹來模擬和評估每個落子位置的價值。利用這種方法構建的圍棋程序已經獲得了很大成功。AlphaGo 結合了監督學習與強化學習的優勢。通過訓練形成一個策略網絡，將棋盤上的局勢作為輸入信息，並對有所可行的落子位置形成一個概率分布。
  • 普林,DeepMind新研究:結合深度學習符號回歸,深度模型中看見宇宙
    符號模型緊湊，具備可解釋性和良好的泛化能力，但很難處理高維機器學習問題；深度模型擅長在高維空間中學習，但泛化性和可解釋性卻很差。那麼有沒有什麼辦法可以取二者之所長呢？這項研究做到了。如何將深度模型轉換為符號方程？
  • 什麼是人工神經網絡(ANN)?
    神經網絡和深度學習算法不需要特徵工程，只要訓練得當，就可以自動從圖像中提取特徵。但是，這並不意味著神經網絡可以替代其他機器學習技術。其他類型的算法需要較少的計算資源，並且較不複雜，這使得它們在嘗試解決不需要神經網絡的問題時更可取。
  • 神經網絡並不是尚方寶劍,我們需要正視深度 NLP 模型的泛化問題
    例如，就在去年，Yann LeCun 和 Christopher Manning 進行了一場引人注意的辯論（詳見雷鋒網 AI 科技評論文章 AI領域的蝙蝠俠大戰超人：LeCun 與 Manning 如何看待神經網絡中的結構設計），討論我們在深度學習框架中應該引入怎樣的固有先驗知識。Manning 認為，對於高階推理，以及利用較少的數據進行學習的任務，結構化偏置是十分必要的。
  • 阿里蓋坤團隊提出深層樹結構檢索模型
    更強大、更自由的模型仍然大有可為。基於樹搜索的深度推薦模型在這樣的背景下，蓋坤團隊希望通過新的匹配和推薦技術解開計算複雜度的枷鎖，允許在大規模語料庫上自由地使用各種模型。在論文中他們提出了新的基於樹搜索的深度推薦模型（tree-baseddeep recommendation model，TDM）。
  • 深度神經網絡語音 微軟或將正式發布此系列產品
    ，只採集了半小時大約500句的周迅原聲錄音，便通過深度定製的語音模型，惟妙惟肖地復原了周迅的聲音。微軟深度神經網絡是基於Azure雲的端到端語音合成系統，由前端、聲學模型和聲碼器三部分組成。 　　深度神經網絡模型是當前最先進的語音合成技術，但相應的主流
  • 清華大學圖神經網絡綜述:模型與應用
    機器之心專欄作者：PaperWeekly近年來，圖神經網絡的研究成為深度學習領域的熱點，機器之心曾介紹過清華大學朱文武等人綜述的圖網絡。近日，清華大學孫茂松組在 arXiv 上發布預印版綜述文章 Graph Neural Networks: A Review of Methods and Applications。
  • 聯想徐飛玉:深度神經網絡對人類來說還是黑盒子
    網易科技訊9月27日消息，近日，2019年The AI Summit舊金山站正式開幕，聯想集團副總裁、聯想研究院人工智慧實驗室負責人徐飛玉博士以「可解釋的人工智慧：歷史、挑戰、方法和展望」為主題進行了演講。
  • 如何用決策樹模型做數據分析?
    一什麼是決策樹？決策樹模型本質是一顆由多個判斷節點組成的樹。在樹的每個節點做參數判斷，進而在樹的最末枝(葉結點)能夠對所關心變量的取值作出最佳判斷。通常，一棵決策樹包含一個根結點，若干內部節點和若干葉結點，葉結點對應決策分類結果。分支做判斷，葉子下結論。我們看一個簡單的決策樹的模型，通過動物的一些特點來判斷它是否是魚類，在決策樹模型中，我們來看每一個節點是如何做判斷的。我們將所有要研究的動物作為樹最上端的起點，對它進行第一個判斷，是否能脫離水生存？如果判斷為是的話，它不是魚類。