深度卷積模糊系統—可解釋性深度學習?

2021-02-15 AI研習圖書館
A Fast Training Algorithm for Deep Convolutional Fuzzy Systems with Application to Stock Index Prediction深度卷積模糊系統的快速學習算法及其在股票指數預測中的應用

今天，為大家帶來一篇自詡神奇的文章，也可能是一種發文的思路？？

用蓋樓的方式構建深度模糊模型：從盲人摸象開始？

一、歷史回顧  1991年，多層模糊系統（hierarchical fuzzy systems），由Raju, Zhou和Kisner提出，而LeCun提出多層卷積神經網絡（deep convolutional neural networks --支撐當下AI泡沫的主力模型）是在1990年，兩者幾乎同時。在之後的十幾年中，兩者的命運差不多：一直有人在做，但形成不了主流。Raju的原始論文在google scholar上至今只有451次引用，LeCun的原始論文在最初的十幾年也很少被引用。直到2006年Hinton的新算法發表，人們才對多層神經網絡深入探討，結果一發不可收拾，形成了現在的AI泡沫。二、方法簡介用蓋樓的方式構建深度模糊模型：從盲人摸象開始？

其實，作者的思路很簡單：對於高維的輸入空間（想像成一頭大象），採取盲人摸象的方式，每個模糊子系統相當於一個盲人，在高維空間中只選擇少數幾個輸入變量作為其輸入，然後將其輸出（盲人對大象的理解）交給第二層的盲人（模糊子系統），這樣第一層盲人的任務就完成了；第二層盲人的工作方式和第一層的盲人一樣：每個第二層盲人選擇少數幾個第一層盲人的輸出作為其輸入，對其進行總結歸納，形成自己的輸出（對大象的理解），交給第三層的盲人，這樣第二層盲人的任務也就完成了；以此類推，想建多少層就建多少層，直到最後一層（單個盲人），給出最終的結論。

  這裡的關鍵是：每一層模糊子系統建好以後就不再改變了，像蓋樓一樣，第一層蓋好後就不變了，在其上面蓋第二層，建造方法和第一層一樣；第二層蓋好後也就不變了，在其上面蓋第三層，用同樣的建造方法；…；以此類推。由於每個模糊子系統只有少數幾個輸入變量，可以用WM方法快速設計，整個深度模糊系統也就快速的建成了。

三、與深度神經網絡比較眾所周知，支撐當下AI泡沫的深度神經網絡有兩大缺陷：（1）計算量龐大，因為有大量的參數需要循環迭代，不知道算多久才能收斂，所以將訓練好的模型封裝到用戶端還可以，但如果有新的數據需要學習，用戶端的簡單設備就做不到了；（2）模型不可解釋，知其然不知其所以然，用起來心裡沒譜；對於像自動駕駛這樣人命關天的應用場景，出事不可怕，可怕的是不知道如何改進，保證下一次不犯同樣的錯誤，因為模型不可解釋，誰也不知道問題出在哪裡。本文的深度模糊系統及其快速學習算法恰恰克服了這兩大缺陷：（1）由於WM方法只需要數據一次過，不用循環迭代，計算量很小，十幾層的深度模糊系統，構建起來非常迅速，在用戶端的簡單設備上（比如手機）也可以進行新數據的不斷學習；（2）深度模糊系統由簡單的模糊子系統串聯而成，每個模糊子系統就是一些簡單的IF-THEN規則，所以深度模糊系統就是這些簡單IF-THEN規則的首尾相接，一環套一環，非常容易理解，可解釋性很強；如果系統出錯，可以很容易查出是哪一條IF-THEN規則鏈出了問題，予以修正。四、應用於恒生指數的預測作者說：賺錢才是硬道理！然後，結合股票搞一下~~

然後，成功了！

下圖中的紅線是基於這套深度模糊模型及其快速學習算法的基金三年來（2015年8月31日至2018年8月31日）的價值曲線，藍線是香港恒生指數基金同一時期的價值曲線 --- 嗅到錢的銅臭味了吧：比指數基金回報高出一倍？
作者說：這只是模型和算法的初步嘗試，只用了四隻股票作為輔助變量，以後將大數據用上，將模型的深度加深，實現真正的深度模糊，打出醉拳的最高境界，又一臺印鈔機就這樣橫空出世了！具體細節詳見論文：「A Fast Training Algorithm for Deep Convolutional Fuzzy Systems with Application  to Stock Index Prediction（深度卷積模糊系統的快速學習算法及其在股票指數預測中的應用）」。

點擊閱讀原文，即可下載論文原文。

說實話，到底我也沒看出跟深度卷積有什麼關係？不過學科知識結合到位，有點意思，可以轉行，發文就完了...

相關焦點

  • 深度學習的可解釋性!
    實際上，我們可以從「可解釋性」和「完整性」這兩個方面來衡量一種解釋是否合理。「可解釋性」旨在通過一種人類能夠理解的方式描述系統的內部結構，它與人類的認知、知識和偏見息息相關；而「完整性」旨在通過一種精確的方式來描述系統的各個操作步驟（例如，剖析深度學習網絡中的數學操作和參數）。
  • 深度| 理解深度學習中的卷積
    有太多的公開課、教程在反覆傳頌卷積神經網絡的好，卻都沒有講什麼是「卷積」，似乎默認所有讀者都有相關基礎。這篇外文既友好又深入，所以翻譯了過來。文章高級部分通過流體力學量子力學等解釋卷積的做法在我看來有點激進，這些領域恐怕比卷積更深奧，所以只需簡略看看即可。以下是正文：卷積現在可能是深度學習中最重要的概念。正是靠著卷積和卷積神經網絡，深度學習才超越了幾乎其他所有的機器學習手段。
  • 深度神經網絡的灰色區域:可解釋性問題
    【編者按】在解決視覺、聽覺問題方面表現出色的深度學習系統中，分類器和特徵模塊都是自動學習的，神經網絡可解釋性問題就成了一個灰色區域，思考這個問題對神經網絡效率的保證是有必要的。在這篇博客文章中，機器學習PhD、軟體架構師Adnan Masood針對這個問題進行了多方面的反思。
  • 一文讀懂深度學習中的各種卷積
    研究學者 Kunlun Bai 發布了一篇介紹深度學習的卷積文章，用淺顯易懂的方式介紹了深度學習領域的各種卷積及其優勢。如果你聽說過深度學習中不同種類的卷積（比如 2D / 3D / 1x1 /轉置/擴張（Atrous）/空間可分/深度可分/平展/分組/混洗分組卷積），並且搞不清楚它們究竟是什麼意思，那麼這篇文章就是為你寫的，能幫你理解它們實際的工作方式。
  • 卷積有多少種?一文讀懂深度學習中的各種卷積
    ，但你知道深度學習領域的卷積究竟是什麼，又有多少種類嗎？研究學者 Kunlun Bai 近日發布一篇介紹深度學習的卷積文章，用淺顯易懂的方式介紹了深度學習領域的各種卷積及其優勢。鑑於原文過長，機器之心選擇其中部分內容進行介紹，2、4、5、9、11、12 節請參閱原文。
  • 卷積為什麼如此強大?理解深度學習中的卷積
    卷積現在可能是深度學習中最重要的概念。正是靠著卷積和卷積神經網絡，深度學習才超越了幾乎其他所有的機器學習手段。但卷積為什麼如此強大？它的原理是什麼？在這篇文章將講解卷積及相關概念，幫助你徹底地理解它。1.1 什麼是卷積？整篇文章都會探討這個問題，但先把握行文脈絡會很有幫助。那麼粗略來講，什麼是卷積呢？你可以把卷積想像成一種混合信息的手段。
  • 形象理解深度學習中八大類型卷積
    本文總結了深度學習中常用的八大類型的卷積，以非常形象的方式幫助你建立直覺理解，為你的深度學習提供有益的參考。分別是單通道卷積、多通道卷積、3D卷積、1 x 1卷積、轉置卷積、擴張卷積、可分離卷積、分組卷積。
  • 打開人工智慧黑箱:看最新16篇可解釋深度學習文章,帶您了解增強AI透明性
    而可解釋性AI在關於人類的很多應用方面是必需的，如醫療診斷、教育學習、政府決策等等。最近，關於深度學習的可解釋性，學者們做了大量的研究工作，專知整理關於深度學習可解釋性的最新一些文章，希望能給讀者提供一些參考和幫助。
  • 從全卷積網絡到大型卷積核:深度學習的語義分割全指南
    By路雪 2017年7月14日　　語義分割一直是計算機視覺中十分重要的領域，隨著深度學習的流行，語義分割任務也得到了大量的進步。本文首先闡釋何為語義分割，然後再從論文出發概述多種解決方案。　　在深度學習應用到計算機視覺領域之前，人們使用TextonForest和隨機森林分類器進行語義分割。卷積神經網絡（CNN）不僅對圖像識別有所幫助，也對語義分割領域的發展起到巨大的促進作用。　　語義分割任務最初流行的深度學習方法是圖像塊分類（patchclassification），即利用像素周圍的圖像塊對每一個像素進行獨立的分類。
  • 【學術論文】基於深度學習的圖像分類搜索系統
    深度學習是機器學習研究中的一個新的領域，其動機在於建立、模擬人腦進行分析學習的神經網絡，它模仿人腦的機制來解釋數據，例如圖像、聲音和文本。該系統基於Caffe深度學習框架，首先對數據集進行訓練分析構建深度學習網絡，提取數據集圖像特徵信息，得到數據對應的分類模型，然後以bvlc-imagenet訓練集模型為基礎，對目標圖像進行擴展應用，實現「以圖搜圖」Web應用。
  • 一文探討可解釋深度學習技術在醫療圖像診斷中的應用
    因此，在醫學、金融、自動駕駛等領域中深度學習方法尚未實現廣泛的推廣應用。可解釋性是指當人們在了解或解決一件事情的過程中，能夠獲得所需要的足夠的可以理解的信息。深度學習方法的可解釋性則是指能夠理解深度學習模型內部機制以及能夠理解深度學習模型的結果。關於 「可解釋性」 英文有兩個對應的單詞，分別是 「Explainability」 和「Interpretability」。
  • 深度學習元老Yann Lecun詳解卷積神經網絡
    Yann LeCun出生在法國，曾在多倫多大學跟隨深度學習鼻祖Geoffrey Hinton進行博士後研究。早在20世紀80年代末，Yann LeCun就作為貝爾實驗室的研究員提出了卷積網絡技術，並展示如何使用它來大幅度提高手寫識別能力。上世紀末本世紀初，當神經網絡失寵時Yann LeCun是少數幾名一直堅持的科學家之一。他於2003年成為紐約大學教授，並從此引領了深度學習的發展，目前任職於Facebook FAIR實驗室。
  • NIPS2018深度學習(18)|亮點: 貝葉斯深度學習;圖卷積(論文及代碼)
    Polytechnique Fédérale de Lausanne，RIKEN Center for AI Projecthttps://papers.nips.cc/paper/7862-slang-fast-structured-covariance-approximations-for-bayesian-deep-learning-with-natural-gradient.pdf在深度學習模型中
  • 8篇論文深入學習深度估計:深度預測;自我運動學習;觀看《冰雪奇緣...
    深度估計是一種計算機視覺任務，旨在從2D圖像中估計深度。這個任務輸入RGB圖像，輸出深度圖。深度圖包含了從視圖看圖像中的被攝物體距離的信息。深度估計的應用包括：平滑圖像的模糊部分、更好地渲染3D場景、自動駕駛、機器人抓取、機器人輔助手術、電影中的2D到3D的自動轉換以及3D計算機圖形學中的陰影映射等。在這篇指南中，我們將介紹幾篇通過深度學習來解決這些問題的論文。
  • 萬字長文帶你看盡深度學習中的各種卷積網絡
    如果你曾聽過深度學習的各種卷積網絡（例如 2D/3D/ 1x1 / 轉置 /空洞（擴張）/ 空間可分離 / 深度可分離 /扁平化 / 分組 / 混洗分組卷積）並疑惑它們到底都是什麼的話，你可以通過這篇文章了解它們實際的工作原理。在文中，我概括性地介紹了在深度學習中常見的幾種卷積，並採用了大家都能夠明白的方式來解釋它們。
  • 典型的深度學習算法(一):卷積神經網絡(CNN)
    通過上一篇文章，相信大家對深度學習的概念、原理已經有了大致了解，近期企通查將會對深度學習中的幾種典型算法進行介紹。在深度學習領域中，已經驗證的典型成熟算法有卷積神經網絡（CNN）、循環神經網絡（RNN）、生成對抗網絡（GAN）、深度強化學習（DRL）等，下面企通查將帶領大家對典型的深度學習算法之一——卷積神經網絡（CNN）一探究竟。
  • 深度學習的可解釋性研究(一):讓模型「說人話」
    非常開心本文成為 BIGSCity 興趣組的第一篇投稿，《深度學習的可解釋性研究》系列預計包含 3-4 篇內容，用儘可能淺顯的語言帶領大家了解可解釋性的概念與方法以及關於深度學習可解釋性工作的研究成果，不定期更新內容（歡迎催更）。可解釋性是什麼？
  • 深度學習之卷積神經網絡經典模型
    LeNet-5模型在CNN的應用中，文字識別系統所用的LeNet-5模型是非常經典的模型。LeNet-5模型是1998年，Yann LeCun教授提出的，它是第一個成功大規模應用在手寫數字識別問題的卷積神經網絡，在MNIST數據集中的正確率可以高達99.2%。下面詳細介紹一下LeNet-5模型工作的原理。
  • 萬字長文帶你看盡深度學習中的各種卷積網絡(下篇)
    該論文中，空洞卷積被用於系統地聚合多規模的上下文信息，而不需要損失解析度。該論文表明，其提出的模塊提高了當時（2016 年）最先進的語義分割系統的準確率。大家可以閱讀這篇論文獲得更多信息。 8. 可分離卷積 可分離卷積用於一些神經網絡架構，例如 MobileNet（該架構論文地址：https://arxiv.org/abs/1704.04861）。
  • 深度| 為什麼隨機性對於深度學習如此重要?
    在一個怡人的午後，我開始嘗試著用通俗易懂的語言向我媽媽解釋隨機性對於深度學習的重要性。儘管我媽媽還是對於深度學習一知半解，但是我認為我的努力部分成功了，我迷上了這種方式並將它應用在了我的實際工作中。我想將這篇稍具技術性的小文章送給在深度學習領域的實踐者，希望大家能夠對神經網絡內部的運行過程有更好的理解。