學好機器學習,這裡有你需要的一切

課程大綱

第一課：機器學習的數學基礎1 - 數學分析

 

1.  機器學習的一般方法和橫向比較

2.  數學是有用的：以SVD為例

3.  機器學習的角度看數學

4.  複習數學分析

5.  直觀解釋常數e

6.  導數/梯度

7.  隨機梯度下降

8.  Taylor展式的落地應用

9.  gini係數

10. 凸函數

11. Jensen不等式

12. 組合數與信息熵的關係

 

第二課：機器學習的數學基礎2 - 概率論與貝葉斯先驗

 

1.  概率論基礎

2.  古典概型

3.  貝葉斯公式

4.  先驗分布/後驗分布/共軛分布

5.  常見概率分布

6.  泊松分布和指數分布的物理意義

7.  協方差(矩陣)和相關係數

8.  獨立和不相關

9.  大數定律和中心極限定理的實踐意義

10.  深刻理解最大似然估計MLE和最大後驗估計MAP

11.  過擬合的數學原理與解決方案

 

第三課：機器學習的數學基礎3 - 矩陣和線性代數

 

1.  線性代數在數學科學中的地位

2.  馬爾科夫模型

3.  矩陣乘法的直觀表達

4.  狀態轉移矩陣

5.  矩陣和向量組

6.  特徵向量的思考和實踐計算

7.  QR分解

8.  對稱陣、正交陣、正定陣

9.  數據白化及其應用

10.  向量對向量求導

11.  標量對向量求導

12.  標量對矩陣求導

 

第四課：Python基礎1 - Python及其數學庫

 

1.  解釋器Python2.7與IDE：Anaconda/Pycharm

2.  Python基礎：列表/元組/字典/類/文件

3.  Taylor展式的代碼實現

4.  numpy/scipy/matplotlib/panda的介紹和典型使用

5.  多元高斯分布

6.  泊松分布、冪律分布

7.  典型圖像處理

8.  蝴蝶效應

9.  分形與可視化

 

第五課：Python基礎2 - 機器學習庫

 

1.  scikit-learn的介紹和典型使用

2.  損失函數的繪製

3.  多種數學曲線

4.  多項式擬合

5.  快速傅立葉變換FFT

6.  奇異值分解SVD

7.  Soble/Prewitt/Laplacian算子與卷積網絡

8.  卷積與(指數)移動平均線

9.  股票數據分析

 

第六課：Python基礎3 - 數據清洗和特徵選擇

 

1.  實際生產問題中算法和特徵的關係

2.  股票數據的特徵提取和應用

3.  一致性檢驗

4.  缺失數據的處理

5.  環境數據異常檢測和分析

6.  模糊數據查詢和數據校正方法、算法、應用

7.  樸素貝葉斯用於鳶尾花數據

8.  GaussianNB/MultinomialNB/BernoulliNB

9.  樸素貝葉斯用於18000+篇/Sogou新聞文本的分類

 

第七課： 回歸

 

1.  線性回歸

2.  Logistic/Softmax回歸

3.  廣義線性回歸

4.  L1/L2正則化

5.  Ridge與LASSO

6.  Elastic Net

7.  梯度下降算法：BGD與SGD

8.  特徵選擇與過擬合

 

第八課：Logistic回歸

 

1.  Sigmoid函數的直觀解釋

2.  Softmax回歸的概念源頭

3.  Logistic/Softmax回歸

4.  最大熵模型

5.  K-L散度

6.  損失函數

7.  Softmax回歸的實現與調參

 

第九課：回歸實踐

 

1.  機器學習sklearn庫介紹

2.  線性回歸代碼實現和調參

3.  Softmax回歸代碼實現和調參

4.  Ridge回歸/LASSO/Elastic Net

5.  Logistic/Softmax回歸

6.  廣告投入與銷售額回歸分析

7.  鳶尾花數據集的分類

8.  交叉驗證

9.  數據可視化

 

第十課：決策樹和隨機森林

 

1.  熵、聯合熵、條件熵、KL散度、互信息

2.  最大似然估計與最大熵模型

3.  ID3、C4.5、CART詳解

4.  決策樹的正則化

5.  預剪枝和後剪枝

6.  Bagging

7.  隨機森林

8.  不平衡數據集的處理

9.  利用隨機森林做特徵選擇

10. 使用隨機森林計算樣本相似度

11. 數據異常值檢測

 

第十一課：隨機森林實踐

 

1.  隨機森林與特徵選擇

2.  決策樹應用於回歸

3.  多標記的決策樹回歸

4.  決策樹和隨機森林的可視化

5.  葡萄酒數據集的決策樹/隨機森林分類

6.  波士頓房價預測

 

第十二課：提升

 

1.  提升為什麼有效

2.  梯度提升決策樹GBDT

3.  XGBoost算法詳解

4.  Adaboost算法

5.  加法模型與指數損失

 

第十三課：提升實踐

 

1.  Adaboost用於蘑菇數據分類

2. Adaboost與隨機森林的比較

3.  XGBoost庫介紹

4.  Taylor展式與學習算法

5.  KAGGLE簡介

6.  泰坦尼克乘客存活率估計

 

第十四課：SVM

 

1.  線性可分支持向量機

2.  軟間隔的改進

3.  損失函數的理解

4.  核函數的原理和選擇

5.  SMO算法

6.  支持向量回歸SVR

 

第十五課：SVM實踐

 

1.  libSVM代碼庫介紹

2.  原始數據和特徵提取

3.  葡萄酒數據分類

4.  數字圖像的手寫體識別

5.  SVR用於時間序列曲線預測

6.  SVM、Logistic回歸、隨機森林三者的橫向比較

 

第十六課：聚類（上）

 

1.  各種相似度度量及其相互關係

2.  Jaccard相似度和準確率、召回率

3.  Pearson相關係數與餘弦相似度

4.  K-means與K-Medoids及變種

5.  AP算法(Sci07)/LPA算法及其應用

 

第十七課：聚類（下）

 

1.  密度聚類DBSCAN/DensityPeak(Sci14)

2.  DensityPeak(Sci14)

3.  譜聚類SC

4.  聚類評價AMI/ARI/Silhouette

5.  LPA算法及其應用

 

第十八課：聚類實踐

 

1.  K-Means++算法原理和實現

2.  向量量化VQ及圖像近似

3.  併查集的實踐應用

4.  密度聚類的代碼實現

5.  譜聚類用於圖片分割

 

第十九課：EM算法

 

1.  最大似然估計

2.  Jensen不等式

3.  樸素理解EM算法

4.  精確推導EM算法

5.  EM算法的深入理解

6.  混合高斯分布

7.  主題模型pLSA

 

第二十課：EM算法實踐

 

1.  多元高斯分布的EM實現

2.  分類結果的數據可視化

3.  EM與聚類的比較

4.  Dirichlet過程EM

5.  三維及等高線等圖件的繪製

6.  主題模型pLSA與EM算法

 

 第二十一課：主題模型LDA

 

1.  貝葉斯學派的模型認識

2.  Beta分布與二項分布

3.  共軛先驗分布

4.  Dirichlet分布

5.  Laplace平滑

6.  Gibbs採樣詳解

 

第二十二課：LDA實踐

 

1.  網絡爬蟲的原理和代碼實現

2.  停止詞和高頻詞

3.  動手自己實現LDA

4.  LDA開源包的使用和過程分析

5.  Metropolis-Hastings算法

6.  MCMC

7.  LDA與word2vec的比較

8.  TextRank算法與實踐

 

第二十三課：隱馬爾科夫模型HMM

 

1.  概率計算問題

2.  前向/後向算法

3.  HMM的參數學習

4.  Baum-Welch算法詳解

5.  Viterbi算法詳解

6.  隱馬爾科夫模型的應用優劣比較

 

第二十四課：HMM實踐

 

1.  動手自己實現HMM用於中文分詞

2.  多個語言分詞開源包的使用和過程分析

3.  文件數據格式UFT-8、Unicode

4.  停止詞和標點符號對分詞的影響

5.  前向後向算法計算概率溢出的解決方案

6.  發現新詞和分詞效果分析

7.  高斯混合模型HMM

8.  GMM-HMM用於股票數據特徵提取