向AI轉型的程式設計師都關注了這個號👇👇👇
大數據挖掘DT機器學習 公眾號： datayx
1 特徵工程是什麼？有這麼一句話在業界廣泛流傳：數據和特徵決定了機器學習的上限，而模型和算法只是逼近這個上限而已。那特徵工程到底是什麼呢？顧名思義，其本質是一項工程活動，目的是最大限度地從原始數據中提取特徵以供算法和模型使用。通過總結和歸納，人們認為特徵工程包括以下方面：
特徵處理是特徵工程的核心部分，sklearn提供了較為完整的特徵處理方法，包括數據預處理，特徵選擇，降維等。首次接觸到sklearn，通常會被其豐富且方便的算法模型庫吸引，但是這裡介紹的特徵處理庫也十分強大！
本文中使用sklearn中的IRIS（鳶尾花）數據集
http://scikit-learn.org/stable/modules/generated/sklearn.datasets.load_iris.html#sklearn.datasets.load_iris
來對特徵處理功能進行說明。IRIS數據集由Fisher在1936年整理，包含4個特徵（Sepal.Length（花萼長度）、Sepal.Width（花萼寬度）、Petal.Length（花瓣長度）、Petal.Width（花瓣寬度）），特徵值都為正浮點數，單位為釐米。目標值為鳶尾花的分類（Iris Setosa（山鳶尾）、Iris Versicolour（雜色鳶尾），Iris Virginica（維吉尼亞鳶尾））。導入IRIS數據集的代碼如下：
1 from sklearn.datasets import load_iris
2
3 #導入IRIS數據集
4 iris = load_iris()
5
6 #特徵矩陣
7 iris.data
8
9 #目標向量
10 iris.target
通過特徵提取，我們能得到未經處理的特徵，這時的特徵可能有以下問題：
不屬於同一量綱：即特徵的規格不一樣，不能夠放在一起比較。無量綱化可以解決這一問題。
信息冗餘：對於某些定量特徵，其包含的有效信息為區間劃分，例如學習成績，假若只關心「及格」或不「及格」，那麼需要將定量的考分，轉換成「1」和「0」表示及格和未及格。二值化可以解決這一問題。
定性特徵不能直接使用：某些機器學習算法和模型只能接受定量特徵的輸入，那麼需要將定性特徵轉換為定量特徵。最簡單的方式是為每一種定性值指定一個定量值，但是這種方式過於靈活，增加了調參的工作。通常使用啞編碼的方式將定性特徵轉換為定量特徵：http://www.ats.ucla.edu/stat/mult_pkg/faq/general/dummy.htm
假設有N種定性值，則將這一個特徵擴展為N種特徵，當原始特徵值為第i種定性值時，第i個擴展特徵賦值為1，其他擴展特徵賦值為0。啞編碼的方式相比直接指定的方式，不用增加調參的工作，對於線性模型來說，使用啞編碼後的特徵可達到非線性的效果。
存在缺失值：缺失值需要補充。
信息利用率低：不同的機器學習算法和模型對數據中信息的利用是不同的，之前提到在線性模型中，使用對定性特徵啞編碼可以達到非線性的效果。類似地，對定量變量多項式化，或者進行其他的轉換，都能達到非線性的效果。
我們使用sklearn中的preproccessing庫來進行數據預處理，可以覆蓋以上問題的解決方案。
2.1 無量綱化無量綱化使不同規格的數據轉換到同一規格。常見的無量綱化方法有標準化和區間縮放法。標準化的前提是特徵值服從正態分布，標準化後，其轉換成標準正態分布。區間縮放法利用了邊界值信息，將特徵的取值區間縮放到某個特點的範圍，例如[0, 1]等。
2.1.1 標準化標準化需要計算特徵的均值和標準差，公式表達為：
使用preproccessing庫的StandardScaler類對數據進行標準化的代碼如下：
1 from sklearn.preprocessing import StandardScaler
2
3 #標準化，返回值為標準化後的數據
4 StandardScaler().fit_transform(iris.data)
區間縮放法的思路有多種，常見的一種為利用兩個最值進行縮放，公式表達為：
使用preproccessing庫的MinMaxScaler類對數據進行區間縮放的代碼如下：
3 特徵選擇當數據預處理完成後，我們需要選擇有意義的特徵輸入機器學習的算法和模型進行訓練。通常來說，從兩個方面考慮來選擇特徵：
根據特徵選擇的形式又可以將特徵選擇方法分為3種：
Filter：過濾法，按照發散性或者相關性對各個特徵進行評分，設定閾值或者待選擇閾值的個數，選擇特徵。
Wrapper：包裝法，根據目標函數（通常是預測效果評分），每次選擇若干特徵，或者排除若干特徵。
Embedded：嵌入法，先使用某些機器學習的算法和模型進行訓練，得到各個特徵的權值係數，根據係數從大到小選擇特徵。類似於Filter方法，但是是通過訓練來確定特徵的優劣。
我們使用sklearn中的feature_selection庫來進行特徵選擇。
3.1 Filter3.1.1 方差選擇法使用方差選擇法，先要計算各個特徵的方差，然後根據閾值，選擇方差大於閾值的特徵。使用feature_selection庫的VarianceThreshold類來選擇特徵的代碼如下：
4 降維當特徵選擇完成後，可以直接訓練模型了，但是可能由於特徵矩陣過大，導致計算量大，訓練時間長的問題，因此降低特徵矩陣維度也是必不可少的。常見的降維方法除了以上提到的基於L1懲罰項的模型以外，另外還有主成分分析法（PCA）和線性判別分析（LDA），線性判別分析本身也是一個分類模型。PCA和LDA有很多的相似點，其本質是要將原始的樣本映射到維度更低的樣本空間中，但是PCA和LDA的映射目標不一樣：PCA是為了讓映射後的樣本具有最大的發散性；而LDA是為了讓映射後的樣本有最好的分類性能。
http://www.cnblogs.com/LeftNotEasy/archive/2011/01/08/lda-and-pca-machine-learning.html
所以說PCA是一種無監督的降維方法，而LDA是一種有監督的降維方法。
4.1 主成分分析法（PCA）使用decomposition庫的PCA類選擇特徵的代碼如下：
1 from sklearn.decomposition import PCA
2
3 #主成分分析法，返回降維後的數據
4 #參數n_components為主成分數目
5 PCA(n_components=2).fit_transform(iris.data)
使用lda庫的LDA類選擇特徵的代碼如下：
1 from sklearn.lda import LDA
2
3 #線性判別分析法，返回降維後的數據
4 #參數n_components為降維後的維數
5 LDA(n_components=2).fit_transform(iris.data, iris.target)
5 總結
再讓我們回歸一下本文開始的特徵工程的思維導圖，我們可以使用sklearn完成幾乎所有特徵處理的工作，而且不管是數據預處理，還是特徵選擇，抑或降維，它們都是通過某個類的方法fit_transform完成的，fit_transform要不只帶一個參數：特徵矩陣，要不帶兩個參數：特徵矩陣加目標向量。這些難道都是巧合嗎？還是故意設計成這樣？方法fit_transform中有fit這一單詞，它和訓練模型的fit方法有關聯嗎？
閱讀過本文的人還看了以下：
用戶貸款風險預測：Stacking模型融合
機器學習比賽大殺器----模型融合(stacking & blending)
卷積神經網絡VGG16這麼簡單，為什麼沒人能說清？
基於LSTM搭建文本情感分類的深度學習模型:準確率95%
《統計學習方法》中每一章的算法實現一遍
圖像處理--知識點整理
《21個項目玩轉深度學習：基於TensorFlow的實踐詳解》完整版PDF+附書代碼
大神總結的機器學習的數學基礎，掌握這些足夠
《用python寫網絡爬蟲》完整版+源碼
KDD CUP 2018 前4 名解決方案公開: AI預測空氣品質
【項目.源碼】深度學習實現任意風格任意內容的極速風格遷移
【項目.源碼】深度學習視覺計算輔助良品檢驗,如何做布匹疵點識別？
不斷更新資源
深度學習、機器學習、數據分析、python
搜索公眾號添加： datayx
長按圖片，識別二維碼，點關注