私募工場每周活動集錦（歷史論壇）
編輯：私募工場，轉載請註明出處
機器學習的算法很多。很多時候困惑人們都是，很多算法是一類算法，而有些算法又是從其他算法中延伸出來的。這裡，我們從兩個方面來給大家介紹，第一個方面是學習的方式，第二個方面是算法的分類。
一、4大主要學習方式1.監督式學習
在監督式學習下，輸入數據被稱為「訓練數據」，每組訓練數據有一個明確的標識或結果，如對防垃圾郵件系統中「垃圾郵件」「非垃圾郵件」，對手寫數字識別中的「1「，」2「，」3「，」4「等。
在建立預測模型的時候，監督式學習建立一個學習過程，將預測結果與「訓練數據」的實際結果進行比較，不斷的調整預測模型，直到模型的預測結果達到一個預期的準確率。
監督式學習的常見應用場景如分類問題和回歸問題。常見算法有邏輯回歸（Logistic Regression）和反向傳遞神經網絡（Back Propagation Neural Network）。
2.強化學習在這種學習模式下，輸入數據作為對模型的反饋，不像監督模型那樣，輸入數據僅僅是作為一個檢查模型對錯的方式，在強化學習下，輸入數據直接反饋到模型，模型必須對此立刻作出調整。
常見的應用場景包括動態系統以及機器人控制等。常見算法包括Q-Learning以及時間差學習（Temporal difference learning）。
3. 非監督式學習在非監督式學習中，數據並不被特別標識，學習模型是為了推斷出數據的一些內在結構。常見的應用場景包括關聯規則的學習以及聚類等。常見算法包括Apriori算法以及k-Means算法。
4.半監督式學習在此學習方式下，輸入數據部分被標識，部分沒有被標識，這種學習模型可以用來進行預測，但是模型首先需要學習數據的內在結構以便合理的組織數據來進行預測。
應用場景包括分類和回歸，算法包括一些對常用監督式學習算法的延伸，這些算法首先試圖對未標識數據進行建模，在此基礎上再對標識的數據進行預測。如圖論推理算法（Graph Inference）或者拉普拉斯支持向量機（Laplacian SVM.）等。
二、13種常用算法
根據算法的功能和形式的類似性，我們可以把算法分類，比如說基於樹的算法，基於神經網絡的算法等等。當然，機器學習的範圍非常龐大，有些算法很難明確歸類到某一類。
1.回歸算法回歸算法是試圖採用對誤差的衡量來探索變量之間的關係的一類算法。回歸算法是統計機器學習的利器。在機器學習領域，人們說起回歸，有時候是指一類問題，有時候是指一類算法，這一點常常會使初學者有所困惑。
常見的回歸算法包括：最小二乘法（Ordinary Least Square），邏輯回歸（Logistic Regression），逐步式回歸（Stepwise Regression），多元自適應回歸樣條（Multivariate Adaptive Regression Splines）以及本地散點平滑估計（Locally Estimated Scatterplot Smoothing）。
2. 正則化方法
正則化方法是其他算法（通常是回歸算法）的延伸，根據算法的複雜度對算法進行調整。正則化方法通常對簡單模型予以獎勵而對複雜算法予以懲罰。
常見的算法包括：Ridge Regression， Least Absolute Shrinkage and Selection Operator（LASSO），以及彈性網絡（Elastic Net）。
3.決策樹學習決策樹算法根據數據的屬性採用樹狀結構建立決策模型， 決策樹模型常常用來解決分類和回歸問題。
常見的算法包括：分類及回歸樹（Classification And Regression Tree， CART）， ID3 (Iterative Dichotomiser 3)， C4.5， Chi-squared Automatic Interaction Detection(CHAID), Decision Stump, 隨機森林（Random Forest）， 多元自適應回歸樣條（MARS）以及梯度推進機（Gradient Boosting Machine， GBM）
4.基於實例的算法
基於實例的算法常常用來對決策問題建立模型，這樣的模型常常先選取一批樣本數據，然後根據某些近似性把新數據與樣本數據進行比較。通過這種方式來尋找最佳的匹配。因此，基於實例的算法常常也被稱為「贏家通吃」學習或者「基於記憶的學習」。
常見的算法包括 k-Nearest Neighbor(KNN), 學習矢量量化（Learning Vector Quantization， LVQ），以及自組織映射算法（Self-Organizing Map ， SOM）。
5.貝葉斯方法貝葉斯方法算法是基於貝葉斯定理的一類算法，主要用來解決分類和回歸問題。
常見算法包括：樸素貝葉斯算法，平均單依賴估計（Averaged One-Dependence Estimators， AODE），以及Bayesian Belief Network（BBN）。
6.聚類算法
聚類，就像回歸一樣，有時候人們描述的是一類問題，有時候描述的是一類算法。聚類算法通常按照中心點或者分層的方式對輸入數據進行歸併。所以的聚類算法都試圖找到數據的內在結構，以便按照最大的共同點將數據進行歸類。
常見的聚類算法包括 k-Means算法以及期望最大化算法（Expectation Maximization， EM）。
7.降低維度算法
像聚類算法一樣，降低維度算法試圖分析數據的內在結構，不過降低維度算法是以非監督學習的方式試圖利用較少的信息來歸納或者解釋數據。這類算法可以用於高維數據的可視化或者用來簡化數據以便監督式學習使用。
常見的算法包括：主成份分析（Principle Component Analysis， PCA），偏最小二乘回歸（Partial Least Square Regression，PLS）， Sammon映射，多維尺度（Multi-Dimensional Scaling, MDS）, 投影追蹤（Projection Pursuit）等。
8.關聯規則學習
關聯規則學習通過尋找最能夠解釋數據變量之間關係的規則，來找出大量多元數據集中有用的關聯規則。
常見算法包括 Apriori算法和Eclat算法等。
9.遺傳算法（genetic algorithm）遺傳算法模擬生物繁殖的突變、交換和達爾文的自然選擇（在每一生態環境中適者生存）。
它把問題可能的解編碼為一個向量，稱為個體，向量的每一個元素稱為基因，並利用目標函數（相應於自然選擇標準）對群體（個體的集合）中的每一個個體進行評價，根據評價值（適應度）對個體進行選擇、交換、變異等遺傳操作，從而得到新的群體。
遺傳算法適用於非常複雜和困難的環境，比如，帶有大量噪聲和無關數據、事物不斷更新、問題目標不能明顯和精確地定義，以及通過很長的執行過程才能確定當前行為的價值等。
10.人工神經網絡人工神經網絡算法模擬生物神經網絡，是一類模式匹配算法。通常用於解決分類和回歸問題。人工神經網絡是機器學習的一個龐大的分支，有幾百種不同的算法。
（其中深度學習就是其中的一類算法，我們會單獨討論），重要的人工神經網絡算法包括：感知器神經網絡（Perceptron Neural Network）, 反向傳遞（Back Propagation）， Hopfield網絡，自組織映射（Self-Organizing Map, SOM）。
深度學習算法是對人工神經網絡的發展。 在近期贏得了很多關注， 特別是百度也開始發力深度學習後， 更是在國內引起了很多關注。 在計算能力變得日益廉價的今天，深度學習試圖建立大得多也複雜得多的神經網絡。很多深度學習的算法是半監督式學習算法，用來處理存在少量未標識數據的大數據集。
常見的深度學習算法包括：受限波爾茲曼機（Restricted Boltzmann Machine， RBN）， Deep Belief Networks（DBN），卷積網絡（Convolutional Network）, 堆棧式自動編碼器（Stacked Auto-encoders）。
12.基於核的算法
基於核的算法中最著名的莫過於支持向量機（SVM）了。 基於核的算法把輸入數據映射到一個高階的向量空間， 在這些高階向量空間裡， 有些分類或者回歸問題能夠更容易的解決。
常見的基於核的算法包括：支持向量機（Support Vector Machine， SVM）， 徑向基函數（Radial Basis Function ，RBF)， 以及線性判別分析（Linear Discriminate Analysis ，LDA)等。
13.集成算法集成算法用一些相對較弱的學習模型獨立地就同樣的樣本進行訓練，然後把結果整合起來進行整體預測。集成算法的主要難點在於究竟集成哪些獨立的較弱的學習模型以及如何把學習結果整合起來。這是一類非常強大的算法，同時也非常流行。
常見的算法包括：Boosting， Bootstrapped Aggregation（Bagging）， AdaBoost，堆疊泛化（Stacked Generalization， Blending），梯度推進機（Gradient Boosting Machine, GBM），隨機森林（Random Forest），GBDT（Gradient Boosting Decision Tree）。
機器學習（Machine Learning）有不少有用的流程圖和機器學習算法表。 這裡只包括所發現的最全面的速查表。
三、27張機器學習速查表
神經網絡架構（NeuralNetwork Architectures）
來源：http://www.asimovinstitute.org/neural-network-zoo/
Microsoft Azure算法流程圖（Microsoft AzureAlgorithm Flowchart）
來源：https://docs.microsoft.com/en-us/azure/machine-learning/machine-learning-algorithm-cheat-sheet
SAS算法流程圖（SAS Algorithm Flowchart）
來源：http://blogs.sas.com/content/subconsciousmusings/2017/04/12/machine-learning-algorithm-use/
算法總結（AlgorithmSummary）
來源：http://machinelearningmastery.com/a-tour-of-machine-learning-algorithms/
來源: http://thinkbigdata.in/best-known-machine-learning-algorithms-infographic/
算法優缺點（AlgorithmPro/Con）
來源：https://blog.dataiku.com/machine-learning-explained-algorithms-are-your-friend
Python
當然Python有很多在線資源。 對於本節只包括所遇到的最好的速查表。
算法（Algorithms）
來源：https://www.analyticsvidhya.com/blog/2015/09/full-cheatsheet-machine-learning-algorithms/
Python基礎（Python Basics）
來源：http://datasciencefree.com/python.pdf
來源：https://www.datacamp.com/community/tutorials/python-data-science-cheat-sheet-basics#gs.0x1rxEA
Numpy
來源：https://www.dataquest.io/blog/numpy-cheat-sheet/
來源：http://datasciencefree.com/numpy.pdf
來源：https://www.datacamp.com/community/blog/python-numpy-cheat-sheet#gs.Nw3V6CE
來源：https://github.com/donnemartin/data-science-ipython-notebooks/blob/master/numpy/numpy.ipynb
Pandas
來源：http://datasciencefree.com/pandas.pdf
來源：https://www.datacamp.com/community/blog/python-pandas-cheat-sheet#gs.S4P4T=U
來源：https://github.com/donnemartin/data-science-ipython-notebooks/blob/master/pandas/pandas.ipynb
Matplotlib
來源：https://www.datacamp.com/community/blog/python-matplotlib-cheat-sheet
來源：https://github.com/donnemartin/data-science-ipython-notebooks/blob/master/matplotlib/matplotlib.ipynb
Scikit Learn
來源：http://peekaboo-vision.blogspot.de/2013/01/machine-learning-cheat-sheet-for-scikit.html
來源：http://peekaboo-vision.blogspot.de/2013/01/machine-learning-cheat-sheet-for-scikit.html
來源：https://github.com/rcompton/ml_cheat_sheet/blob/master/supervised_learning.ipynb
Tensorflow
來源：https://github.com/aymericdamien/TensorFlow-Examples/blob/master/notebooks/1_Introduction/basic_operations.ipynb
Pytorch
來源：https://github.com/bfortuner/pytorch-cheatsheet
數學（Math）
如果你真的想了解機器學習，那麼需要對統計（特別是概率）、線性代數和微積分的理解打下堅實的基礎。在本科期間我輔修數學，但是我肯定需要複習這些知識。 這些速查表提供了大多數需要了解最常見的機器學習算法背後的數學。
概率（Probability）
來源：http://www.wzchen.com/s/probability_cheatsheet.pdf
線性代數（Linear Algebra）
來源：https://minireference.com/static/tutorials/linear_algebra_in_4_pages.pdf
統計學（Statistics）
來源：http://web.mit.edu/~csvoss/Public/usabo/stats_handout.pdf
微積分（Calculus）
來源：http://tutorial.math.lamar.edu/getfile.aspx?file=B,41,N
私募工場ID：Funds-Works所載信息和資料均來源於公開渠道，對其真實性、準確性、充足性、完整性及其使用的適當性等不作任何擔保。在任何情況下，私募工場ID：Funds-Works所推送文章的信息、觀點等均不構成對任何人的投資建議，也不作為任何法律文件。一切與產品條款有關的信息均以產品合同為準。私募工場ID：Funds-Works不對任何人因使用私募工場ID：Funds-Works所推送文章/報告中的任何內容所引致的任何損失負任何責任。