機器學習算法盤點:人工神經網絡、深度學習

2021-01-11 電子發燒友
機器學習算法盤點：人工神經網絡、深度學習

佚名 發表於 2016-08-01 16:26:33

　　機器學習無疑是當前數據分析領域的一個熱點內容。很多人在平時的工作中都或多或少會用到機器學習的算法。這裡我們將為您總結一下常見的機器學習算法，以供您在工作和學習中參考。

　　機器學習的算法很多。很多時候困惑人們都是，很多算法是一類算法，而有些算法又是從其他算法中延伸出來的。這裡，我們從兩個方面來給大家介紹，第一個方面是學習的方式，第二個方面是算法的類似性。

　　學習方式

　　根據數據類型的不同，對一個問題的建模有不同的方式。在機器學習或者人工智慧領域，人們首先會考慮算法的學習方式。在機器學習領域，有幾種主要的學習方式。將算法按照學習方式分類是一個不錯的想法，這樣可以讓人們在建模和算法選擇的時候考慮能根據輸入數據來選擇最合適的算法來獲得最好的結果。

　　監督式學習：

　　

　　在監督式學習下，輸入數據被稱為「訓練數據」，每組訓練數據有一個明確的標識或結果，如對防垃圾郵件系統中「垃圾郵件」「非垃圾郵件」，對手寫數字識別中的「1「，」2「，」3「，」4「等。在建立預測模型的時候，監督式學習建立一個學習過程，將預測結果與「訓練數據」的實際結果進行比較，不斷的調整預測模型，直到模型的預測結果達到一個預期的準確率。監督式學習的常見應用場景如分類問題和回歸問題。常見算法有邏輯回歸（Logistic Regression）和反向傳遞神經網絡（Back Propagation Neural Network）

　　非監督式學習：

　　

　　在非監督式學習中，數據並不被特別標識，學習模型是為了推斷出數據的一些內在結構。常見的應用場景包括關聯規則的學習以及聚類等。常見算法包括Apriori算法以及k-Means算法。

　　半監督式學習：

　　

　　在此學習方式下，輸入數據部分被標識，部分沒有被標識，這種學習模型可以用來進行預測，但是模型首先需要學習數據的內在結構以便合理的組織數據來進行預測。應用場景包括分類和回歸，算法包括一些對常用監督式學習算法的延伸，這些算法首先試圖對未標識數據進行建模，在此基礎上再對標識的數據進行預測。如圖論推理算法（Graph Inference）或者拉普拉斯支持向量機（Laplacian SVM.）等。

　　強化學習：

　　

　　在這種學習模式下，輸入數據作為對模型的反饋，不像監督模型那樣，輸入數據僅僅是作為一個檢查模型對錯的方式，在強化學習下，輸入數據直接反饋到模型，模型必須對此立刻作出調整。常見的應用場景包括動態系統以及機器人控制等。常見算法包括Q-Learning以及時間差學習（Temporal difference learning）

　　在企業數據應用的場景下， 人們最常用的可能就是監督式學習和非監督式學習的模型。 在圖像識別等領域，由於存在大量的非標識的數據和少量的可標識數據， 目前半監督式學習是一個很熱的話題。 而強化學習更多的應用在機器人控制及其他需要進行系統控制的領域。

　　算法類似性

　　根據算法的功能和形式的類似性，我們可以把算法分類，比如說基於樹的算法，基於神經網絡的算法等等。當然，機器學習的範圍非常龐大，有些算法很難明確歸類到某一類。而對於有些分類來說，同一分類的算法可以針對不同類型的問題。這裡，我們儘量把常用的算法按照最容易理解的方式進行分類。

　　回歸算法

　　

　　回歸算法是試圖採用對誤差的衡量來探索變量之間的關係的一類算法。回歸算法是統計機器學習的利器。在機器學習領域，人們說起回歸，有時候是指一類問題，有時候是指一類算法，這一點常常會使初學者有所困惑。常見的回歸算法包括：最小二乘法（Ordinary Least Square），邏輯回歸（Logistic Regression），逐步式回歸（Stepwise Regression），多元自適應回歸樣條（Multivariate Adaptive Regression Splines）以及本地散點平滑估計（Locally Estimated Scatterplot Smoothing）

　　基於實例的算法

　　

　　基於實例的算法常常用來對決策問題建立模型，這樣的模型常常先選取一批樣本數據，然後根據某些近似性把新數據與樣本數據進行比較。通過這種方式來尋找最佳的匹配。因此，基於實例的算法常常也被稱為「贏家通吃」學習或者「基於記憶的學習」。常見的算法包括 k-Nearest Neighbor（KNN）， 學習矢量量化（Learning Vector Quantization， LVQ），以及自組織映射算法（Self-Organizing Map，SOM

　　正則化方法

　　

　　正則化方法是其他算法（通常是回歸算法）的延伸，根據算法的複雜度對算法進行調整。正則化方法通常對簡單模型予以獎勵而對複雜算法予以懲罰。常見的算法包括：Ridge Regression， Least Absolute Shrinkage and Selection Operator（LASSO），以及彈性網絡（Elastic Net）。

　　決策樹學習

　　

　　決策樹算法根據數據的屬性採用樹狀結構建立決策模型， 決策樹模型常常用來解決分類和回歸問題。常見的算法包括：分類及回歸樹（Classification And Regression Tree， CART）， ID3？（Iterative Dichotomiser 3）， C4.5， Chi-squared Automatic Interaction Detection（CHAID）， Decision Stump， 隨機森林（Random Forest）， 多元自適應回歸樣條（MARS）以及梯度推進機（Gradient Boosting Machine， GBM）

　　貝葉斯方法

　　

　　貝葉斯方法算法是基於貝葉斯定理的一類算法，主要用來解決分類和回歸問題。常見算法包括：樸素貝葉斯算法，平均單依賴估計（Averaged One-Dependence Estimators， AODE），以及Bayesian Belief Network（BBN）。

　　基於核的算法

　　

　　基於核的算法中最著名的莫過於支持向量機（SVM）了。 基於核的算法把輸入數據映射到一個高階的向量空間， 在這些高階向量空間裡， 有些分類或者回歸問題能夠更容易的解決。 常見的基於核的算法包括：支持向量機（Support Vector Machine， SVM）， 徑向基函數（Radial Basis Function ，RBF）， 以及線性判別分析（Linear Discriminate Analysis ，LDA）等。

　　聚類算法

　　

　　聚類，就像回歸一樣，有時候人們描述的是一類問題，有時候描述的是一類算法。聚類算法通常按照中心點或者分層的方式對輸入數據進行歸併。所以的聚類算法都試圖找到數據的內在結構，以便按照最大的共同點將數據進行歸類。常見的聚類算法包括 k-Means算法以及期望最大化算法（Expectation Maximization， EM）。

　　關聯規則學習

　　

　　關聯規則學習通過尋找最能夠解釋數據變量之間關係的規則，來找出大量多元數據集中有用的關聯規則。常見算法包括 Apriori算法和Eclat算法等。

　　人工神經網絡

　　

　　人工神經網絡算法模擬生物神經網絡，是一類模式匹配算法。通常用於解決分類和回歸問題。人工神經網絡是機器學習的一個龐大的分支，有幾百種不同的算法。（其中深度學習就是其中的一類算法，我們會單獨討論），重要的人工神經網絡算法包括：感知器神經網絡（Perceptron Neural Network）， 反向傳遞（Back Propagation）， Hopfield網絡，自組織映射（Self-Organizing Map， SOM）。學習矢量量化（Learning Vector Quantization， LVQ）

　　深度學習

　　

　　深度學習算法是對人工神經網絡的發展。 在近期贏得了很多關注， 特別是百度也開始發力深度學習後， 更是在國內引起了很多關注。？ 在計算能力變得日益廉價的今天，深度學習試圖建立大得多也複雜得多的神經網絡。很多深度學習的算法是半監督式學習算法，用來處理存在少量未標識數據的大數據集。常見的深度學習算法包括：受限波爾茲曼機（Restricted Boltzmann Machine， RBN）， Deep Belief Networks（DBN），卷積網絡（Convolutional Network）， 堆棧式自動編碼器（Stacked Auto-encoders）。？

　　降低維度算法

　　

　　像聚類算法一樣，降低維度算法試圖分析數據的內在結構，不過降低維度算法是以非監督學習的方式試圖利用較少的信息來歸納或者解釋數據。這類算法可以用於高維數據的可視化或者用來簡化數據以便監督式學習使用。常見的算法包括：主成份分析（Principle Component Analysis， PCA），偏最小二乘回歸（Partial Least Square Regression，PLS）， Sammon映射，多維尺度（Multi-Dimensional Scaling， MDS）， ？投影追蹤（Projection Pursuit）等。

　　集成算法

　　

　　集成算法用一些相對較弱的學習模型獨立地就同樣的樣本進行訓練，然後把結果整合起來進行整體預測。集成算法的主要難點在於究竟集成哪些獨立的較弱的學習模型以及如何把學習結果整合起來。這是一類非常強大的算法，同時也非常流行。常見的算法包括：Boosting， Bootstrapped Aggregation（Bagging）， AdaBoost，堆疊泛化（Stacked Generalization， Blending），梯度推進機（Gradient Boosting Machine， GBM），隨機森林（Random Forest）。

打開APP閱讀更多精彩內容

聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用，如有內容圖片侵權或者其他問題，請聯繫本站作侵刪。 侵權投訴

相關焦點

  • 機器學習算法匯總:人工神經網絡、深度學習及其它
    算法類似性根據算法的功能和形式的類似性，我們可以把算法分類，比如說基於樹的算法，基於神經網絡的算法等等。當然，機器學習的範圍非常龐大，有些算法很難明確歸類到某一類。而對於有些分類來說，同一分類的算法可以針對不同類型的問題。這裡，我們儘量把常用的算法按照最容易理解的方式進行分類。
  • 盤點| 機器學習入門算法:從線性模型到神經網絡
    原標題：盤點 | 機器學習入門算法：從線性模型到神經網絡 選自Dataconomy 機器之心編譯 參與：王宇欣、吳攀、蔣思源幾十年來，機器學習實際上已經變成了一門獨立的領域。由於現代計算能力的進步，我們最近才能夠真正大規模地利用機器學習。而實際上機器學習是如何工作的呢？答案很簡單：算法（algorithm）。 機器學習是人工智慧（artificial intelligence）的一種，其本質上講，就是計算機可以在無需編程的情況下自己學習概念（concept）。
  • 深度學習:神經網絡算法的昨天、今天和明天
    而這些應用背後的核心算法就是深度學習（Deep Learning），也是機器學習（Machine Learning）領域最火熱的一個分支。和其他機器學習算法有很大不同，深度學習依賴大量數據的迭代訓練，進而發現數據中內在的特徵（Feature），然後給出結果。這些特徵中，有很多已經超越了人為定義的特徵的表達能力，因此得以讓深度學習在很多任務的表現上大大超越了其他機器學習算法，甚至超越了人類自己。
  • 人工智慧、機器學習、神經網絡和深度學習之間是什麼樣的關係?
    神經網絡(NeuralNetwork)簡單說就是機器學習眾多算法中的一類，設計的時候就是模仿人腦的處理方式，希望其可以按人類大腦的邏輯運行(儘管目前來說對人腦的研究仍不夠透徹)。神經網絡已經有很多年的歷史，但現在基本很少聽到了。飲鹿網(innov100)產業研究員認為神經網絡可以簡單的分為單層，雙層，以及多層網絡。
  • 金融領域裡的機器學習算法介紹:人工神經網絡
    人工智慧的發展在很大程度上是由神經網絡、深度學習和強化學習推動的。這些複雜的算法可以解決高度複雜的機器學習任務，如圖像分類、人臉識別、語音識別和自然語言處理等。這些複雜任務一般是非線性的，同時包含著大量的特徵輸入。我們下面我們將分幾天的時間對這些算法及其在金融領域的應用進行闡述。
  • 如今統治機器學習的深度神經網絡,也曾經歷過兩次低谷
    而將人工神經網絡演進到深度學習，並且是卷積神經網絡的第一個發明人和推廣者燕樂純，被遺忘在角落。為什麼說一次競賽的勝利就成為了深度學習乃至 AI 的歷史轉折點？深度學習所依附的神經網絡技術起源於上世紀50年代，那個時候還叫感知機（Perceptron）。在人工神經網絡領域中，感知機也被指為單層的人工神經網絡，儘管結構簡單，卻能夠學習並解決相當複雜的問題。雖然最初被認為有著良好的發展潛能，但感知機最終被證明存在著嚴重的不可逾越的問題：它只能學習線性可分函數。連簡單的異或（XOR映射）等線性不可分問題，都無能為力。
  • 推薦| 九本不容錯過的深度學習和神經網絡書籍
    選自aioptify機器之心編譯參與：微胖、李亞洲、蔣思源針對 30 多本深度學習和神經網絡書籍，我們（AI Optify 數據團隊）使用不同指標（比如，在線評價、打分、所涉主題、作者影響力、出版年份、社交媒體是否提及等）訓練機器學習算法，為每本書打分、排名。讀者可能會喜歡我們的推薦，因為這份榜單基於數據並且客觀。排名靠前的九本書如下。1.
  • 3D 列印造出人工神經網絡,UCLA團隊實現全光學機器學習
    研究團隊首先提出了一種全光學的深度學習框架——衍射深度神經網絡（Diffractive Deep Neural Network，D2NN），該架構採用基於深度學習算法的無源衍射層（passive diffractive layers）設計，經誤差反向傳播法（error back-propagation method）訓練後，能夠以接近光速的高速處理能力，實現多種機器學習的複雜功能
  • 什麼是人工神經網絡(ANN)?
    作者 | Ben Dickson編譯 | CDA數據分析師過去十年中最具影響力的技術之一是人工神經網絡，它是深度學習算法的基本組成部分，是人工智慧的前沿。神經網絡與其他機器學習技術人工神經網絡只是執行機器學習的幾種算法之一，而 機器學習是人工智慧的分支，它根據經驗來發展行為。還有許多其他機器學習技術，它們可以在數據中找到模式並執行諸如分類和預測之類的任務。其中一些技術包括回歸模型，支持向量機（SVM），k最近方法和決策樹。
  • 神經網絡和深度學習簡史(全)
    但是，這種災難性的形容的確可以用來描述深度學習在過去幾年中的異軍突起——顯著改善人們對解決人工智慧最難問題方法的駕馭能力，吸引工業巨人（比如谷歌等）的大量投資，研究論文的指數式增長（以及機器學習的研究生生源上升）。在聽了數節機器學習課堂，甚至在本科研究中使用它以後，我不禁好奇：這個新的「深度學習」會不會是一個幻想，抑或上世紀80年代已經研發出來的「人工智慧神經網絡」擴大版？
  • 深度學習進入晶片領域,揭秘寒武紀神經網絡處理器
    雖然神經網絡已成為模式識別等領域的主流算法，但用戶很多時候可能傾向於使用其他一些經典的機器學習算法。例如程序化交易中經常使用線性回歸這類可解釋性好、複雜度低的算法。在此背景下，寒武紀3號多用途機器學習處理器PuDianNao應運而生，當前已可支持k-最近鄰、k-均值、樸素貝葉斯、線性回歸、支持向量機、決策樹、神經網絡等近十種代表性機器學習算法。PuDianNao的主頻為1GHz，峰值性能達每秒10560億次基本操作，面積3.51mm2，功耗為0.596W（65nm工藝下）。
  • 極簡機器學習課程:使用Python構建和訓練一個完整的人工神經網絡
    而本文介紹的系列視頻，將帶領大家使用Python構建和訓練一個完整的人工神經網絡。1.數據+架構要想使用一種機器學習的方法，我們首先需要數據。機器學習中有大量的模型，本文訓練的是當前特別火的人工神經網絡。Ps：把數據放進模型之前，我們需要考慮數據單位間的差異。2.正向傳播上一節我們建立了神經網絡，這次我們將用Python程式語言來實現它。
  • 機器學習與人工智慧之六:人工神經網絡
    觀眾老爺是否還記得第一期的問題：我們人類是如何學習的？我們如何理解知識的？同樣信息在我們大腦中如何處理的？我們的文字和語言有什麼規律？我們看到的物體如何判斷的？我們對事物的關係如何理解的？我們的世界是什麼樣子的？為什麼可以用模型去擬合呢？那計算機又是如何進行學習的呢？同樣計算機可不可以模擬世界？
  • 模式識別與機器學習(教學大綱)|向量|貝葉斯|算法|神經網絡_網易訂閱
    以貝葉斯學習思想貫穿始終，並適時與其他重要知識點（如支持向量機、深度學習）等進行交叉和關聯，便於讀者在形成良好知識體系的同時保持對整個領域知識的把握。　　全書共14章和4個附錄，循序漸進地剖析模式識別與機器學習領域。
  • 機器學習算法集錦:從貝葉斯到深度學習及各自優缺點
    https://static.coggle.it/diagram/WHeBqDIrJRk-kDDY目錄正則化算法（Regularization Algorithms）集成算法（Ensemble Algorithms）決策樹算法（Decision Tree Algorithm）回歸（Regression）人工神經網絡（Artificial Neural Network
  • 機器學習與深度學習有什麼區別?
    隨著實驗的反覆進行，系統會不斷學習更新，最終能夠準確地判斷出哪些是貓，哪些不是貓。　什麼是深度學習？深度學習(DeepLearning，DL)屬於機器學習的子類。它的靈感來源於人類大腦的工作方式，是利用深度神經網絡來解決特徵表達的一種學習過程。深度神經網絡本身並非是一個全新的概念，可理解為包含多個隱含層的神經網絡結構。
  • 如何區分人工智慧、機器學習和深度學習?
    深度學習(Deep Learning)是一種機器學習的方法，它試圖使用包含複雜結構或由多重非線性變換構成的多個處理層（神經網絡）對數據進行高層抽象的算法。神經網絡是一組大致模仿人類大腦構造設計的算法，用於識別模式。神經網絡通過機器感知系統解釋傳感器數據，能夠對原始輸入進行標記或聚類等操作。
  • 前沿| 利用遺傳算法優化神經網絡:Uber提出深度學習訓練新方式
    許多人認為，SGD 算法有效計算梯度的能力對於這種訓練能力而言至關重要。但是，Uber 近日發布的五篇論文表明，神經進化（neuroevolution）這種利用遺傳算法的神經網絡優化策略，也是訓練深度神經網絡解決強化學習（RL）問題的有效方法。
  • 深度學習背後的基礎-神經網絡揭秘
    最近， 深度學習三傑獲得了計算機界最重要的圖靈獎， 它們的貢獻都集中在對深度學習的根據神經網絡的理論突破。 今天我們看到的所有和人工智慧有關的偉大成就， 從阿法狗到自動駕駛， 從海量人臉識別到對話機器人， 都可以歸功於人工神經網絡的迅速崛起。那麼對於不了解神經網絡的同學如何入門？ 神經網絡的技術為什麼偉大， 又是什麼讓它們這麼多年才姍姍走來?
  • 流行的機器學習算法總結,幫助你開啟機器學習算法學習之旅
    AI的ML領域是為實現非常精確的目標而創建的，它引入了多種算法，從而可以更順暢地進行數據處理和決策。什麼是機器學習算法？機器學習算法是任何模型背後的大腦，可讓機器學習並使其更智能。這些算法的工作方式是，為它們提供第一批數據，並且隨著時間的流逝和算法的準確性的提高，額外的數據也被引入到算法中。