特徵工程 特徵處理

前言：本文介紹了特徵處理中的特徵縮放、選擇和降維，並用代碼演示特徵縮放中的標準化法和區間縮放法。

特徵縮放

特徵值縮放：

特徵值的縮放‐‐標準化法：

標準化法按照標準正態分布將一列上的值進行標準化，即為求z值，axis = 0 代表是軸的方向，取列方向上的值。

特徵值的縮放‐‐區間縮放法：

特徵值的歸一化：

歸一化即將一行特徵的坐標轉換成一個不含量綱(單位)的「單位向量」。

L1 和 L2 範式也會用於回歸問題的正則化，L1範式的分母是向量各元素絕對值的和，可用於特徵選擇，L2範式的分母是向量各元素平方和的開方，可用於防止過擬合。

定量特徵的二值化：

缺失特徵值的彌補計算：

創建多項式特徵：

基於線性的特徵建立的模型不能探尋兩個因子間是否存在交互關係，因而平方展開多項式，獲取更多的特徵，如：x1*x2 交互項特徵構建模型，可以分析出兩個因子的交互作用對目標的影響。

特徵選擇

特徵選擇：

數據預處理變換後 ，可以得到很多的特徵，選擇對於學習任務有幫助的特徵，降低模型運行的時間和提升效率，例如：在處理文本內容時，當文本內容較多，會發生「維度災難」；過多的維度會造成模型的可解釋性變差。

特徵選擇方法1‐‐方差選擇法：

特徵選擇方法2‐‐皮爾森相關係數法：

特徵選擇方法3‐‐基於森林的特徵選擇：

特徵選擇方法4‐‐遞歸特徵消除法:

特徵降維

線性判別分析法(LDA):

上面兩張圖將二維數據投影到一維的一條直線上，右圖投影后紅色和藍色兩類樣本更為集中，且中心距更大。當然在實際應用中，我們的數據是多個類別的，我們的原始數據一般也是超過二維的，投影后的也一般不是直線，而是一個低維的超平面。

主成分分析法(PCA)：

主成成分分析將鳶尾花數據集中的四個特徵轉換為兩個重要的特徵，並可以將特徵轉換成二維的數據在平面上進行展示。

代碼演示-量綱縮放

演示內容：量綱的特徵縮放

兩種方法：標準化縮放法和區間縮放法

每種方法有兩個例子：簡單二維矩陣和iris數據集

公眾號回覆：「量綱縮放」 獲取代碼