機器之心報導
作者：蛋醬、小舟
機器學習怎麼入門最簡單？今年剛剛從哈佛大學統計專業畢業的 Danny Friedman 寫了一本「轉專業學生專用教材」，無基礎也可輕鬆入門，資源現已全部開放。
說起機器學習入門書，大概有成百上千種選擇。這些書籍大多是由具備豐富研究經驗的學者撰寫的，涵蓋各種主題。
俗話說「開卷有益」，但對於轉專業的初學者來說，這本新書或許更適合入門：
近日，一位畢業於哈佛大學的小哥根據自己的機器學習入門經歷，撰寫了一本《從零開始的機器學習》。
書籍地址：https://dafriedman97.github.io/mlbook/content/introduction.html
這本書涵蓋了機器學習領域最常見的方法，就像是一位機器學習工程師的工具箱，適用於入門級學習者。撰寫目的是為讀者提供獨立構建一些基本的機器學習算法的實踐指導，如果用工具箱類比的話，就是教會讀者具體使用一把螺絲刀、一盒捲尺。書中的每一章都對應一種機器學習方法。
作者 Danny Friedman 介紹說，學習一種方法的最佳方式就是從零開始（無論是從理論上還是代碼上），因此本書的宗旨也是提供這些推導過程。每章分為三個部分：首先是從「概念」上進行介紹，並且從數學層面演示推導過程；然後是「構造」部分，如何使用 Python 從零開始演示這些方法；最後的「實現」部分介紹了如何使用 Python 包應用這些方法，比如 scikit-learn、 statsmodels 和 tensorflow。
這本書面向的是機器學習領域的新人，或者是希望深入了解算法的學習者。閱讀書中的推論可能有助於以前不熟悉算法的讀者充分理解方法背後的原理，也能幫助有建模經驗的讀者了解不同算法如何建模，並觀察每種算法的優缺點。
章節介紹
在閱讀這本書的「概念」部分之前，讀者應該熟悉微積分的知識，有的部分可能會用到概率的知識（最大似然和貝葉斯定律）以及基礎的線性代數（矩陣運算和點積）。這部分還引用了一些常見的機器學習方法（附錄中有介紹），但「概念」部分不需要編程知識。
「構造」和「代碼」部分會用到一些 Python 的知識。「構造」部分需要了解對應內容部分，並熟悉 Python 的創建函數和類。這些「代碼」部分均不需要。
全書目錄如下：
1. 普通線性回歸（Ordinary Linear Regression）
最小化損失（The Loss-Minimization Perspective）
最大似然（The Likelihood-Maximization Perspective）
2. 線性回歸擴展（Linear Regression Extensions）
正則回歸（Regularized Regression）
貝葉斯回歸（Bayesian Regression）
廣義線性模型（Generalized Linear Models）
3. 判別分類（Discriminative Classification）
邏輯回歸（Logistic Regression）
感知器算法（The Perceptron Algorithm）
Fisher 線性判別（Fisher’s Linear Discriminant）
4. 生成分類（Generative Classification）
線性和二次判別分析、樸素貝葉斯 (Linear and Quadratic Discriminant Analysis、Naive Bayes)
5. 決策樹（Decision Trees）
回歸樹（Regression Trees）
分類樹（Classification Trees）
6. 基於樹的集成方法（Tree Ensemble Methods）
Bagging
隨機森林（Random Forests）
Boosting
7. 神經網絡（Neural Networks）
線性回歸是一種相對簡單的方法，用途極為廣泛，所以也是必學算法之一。
第一章介紹了普通線性回歸，第二章主要介紹了線性回歸的擴展。可以通過多種方式擴展線性回歸，以適應各種建模需求。正則回歸懲罰了回歸係數的大小，以避免過度擬合。這對於使用大量預測變量的模型尤其有效，貝葉斯回歸對回歸係數進行先驗分布，以便將關於這些參數的現有觀念與從新數據中獲得的信息相協調。最後，廣義線性模型（GLM）通過更改假定的誤差結構並允許期望值來擴展常規的線性回歸。目標變量是預測變量的非線性函數。
分類器是一種有監督的學習算法。它試圖識別觀察值對兩個或多個組之一的成員資格。換句話說，分類中的目標變量表示有限集而不是連續數的類。例如，檢測垃圾郵件或識別手寫數字。
第三章和第四章分別介紹了判別分類和生成分類。判別分類根據觀察變量的輸入變量直接對其進行建模。生成分類將輸入變量視為觀察類的函數。它首先對觀察值屬於給定類的先驗概率建模。然後計算觀察觀察值以其類為條件的輸入變量的概率。最後使用貝葉斯定律求解屬於給定類的後驗概率。邏輯回歸不是唯一的區分性分類器，書中還介紹了另外兩種：感知器算法和 Fisher 線性判別法。
第五章演示了如何構建決策樹。第一部分涵蓋了回歸任務，其中目標變量是定量的；第二部分涵蓋了分類任務，其中目標變量是分類的。
決策樹是用於回歸和分類的可解釋機器學習方法。樹根據所選預測變量的值迭代地拆分訓練數據的樣本。每次拆分的目的是創建兩個子樣本（即「孩子」）。其目標變量的 purity 高於其「父親」。對於分類任務，purity 意味著第一個孩子應該觀察一個類別，第二個孩子主要觀察另一個類別。對於回歸任務，purity 意味著第一個孩子的目標變量值應該較高，而第二個孩子的目標變量值應該較低。
以下是使用 penguins 數據集的分類決策樹的示例：
由於其高方差，決策樹通常無法達到與其他預測算法可比的精確度。在第五章中介紹了幾種最小化單個決策樹的方差的方法，例如剪枝或調整大小。第六章將介紹另一種方法：集成方法。集成方法結合了多個簡單模型的輸出，以創建具有較低方差的最終模型。書中在基於樹的學習器的背景下介紹集成方法，但集成方法也可以用於多種學習算法。在這本書中，作者討論了三種基於樹的集成方法：bagging、隨機森林和 boosting。
第七章介紹了神經網絡，一種功能強大且用途廣泛的模型，已成為機器學習中的一大熱門話題。儘管神經網絡的性能通常勝過其他模型，但神經網絡也不像想像中那麼複雜。相反，通過優化高度參數化和非線性的結構，神經網絡具有足夠的靈活性對其他模型難以檢測到的細微關係進行建模。
這一章按照如下結構展開：
1. 模型結構
概述
層與層之間的交互
激活函數
2. 優化
反向傳播
計算梯度
將結果與鏈式法則結合
3. 結合觀察值
一種新的表徵
梯度
其他資源推薦
此外，作者還推薦了三本經典的機器學習理論入門書籍，也都能在網絡上獲取免費資源：
1、《統計學習導論：基於 R 應用》
資源地址：http://faculty.marshall.usc.edu/gareth-james/ISL/
2、《統計學習的要素：數據挖掘、推理和預測》
資源地址：https://web.stanford.edu/~hastie/ElemStatLearn/
3、《模式識別與機器學習》
資源地址：https://www.microsoft.com/en-us/research/publication/pattern-recognition-machine-learning/