數據挖掘:基於R語言的實戰 | 第8章:決策樹

第8章我們繼續來介紹數據挖掘中常用的有監督方法——決策樹模型。首先，本章對決策樹做了一個簡單的介紹，然後講解其建模過程，接著討論該模型的優缺點。本章的最後提供了一個使用R語言建立決策樹模型的案例，並給出了詳細的代碼及注釋。

8.1節簡單介紹了決策樹模型。它是一種根據自變量的值不斷進行遞歸劃分以預測因變量的方法。當因變量為分類變量時，我們稱相應的決策樹為分類樹；當因變量為連續變量時，相應地稱為回歸樹。從全樣本開始（根節點），對於某一自變量的一個取值，我們可以將樣本分成兩個部分（子節點），一部分樣本該自變量大於等於該值，另一部分樣本該自變量小於該值。對於這兩部分樣本，我們對因變量賦予相同的預測值，但是這樣的預測效果顯然是比較差的。所以再從這兩個節點出發，選擇一個自變量和取值繼續劃分樣本，直至不能再劃分為止。不可再進行劃分的節點稱為葉節點。樣本中的每個觀測最終都會落到一個葉節點中，且對一個葉節點中的所有樣本，決策樹對其賦予相同的預測值。這樣一棵決策樹就形成了。

8.2節詳細介紹了決策樹的建模過程。通常情況下，我們首先根據訓練集生成一棵深度足夠大且葉節點數量足夠多的決策樹，然後進行剪枝操作，以防止過擬合。一般而言，這一過程要解決的問題有四個：一是決定某節點是葉節點還是繼續劃分，二是需要劃分的節點，如何選擇劃分規則，三是葉節點的預測值如何確定，四是怎麼剪枝。這一節詳細介紹了分類樹和回歸樹的建模過程。包括判斷節點是否需要繼續劃分的不純度概念及其度量（分類樹中的基尼係數、熵和回歸樹中的方差），評估性能使用的錯分率（分類樹）和均方誤差（回歸樹），葉節點預測值的確定方法以及決策樹剪枝方法。

8.3節介紹了決策樹的優缺點。其優點一是可以直接處理定類變量，二是建模過程只考慮自變量取值的大小順序而不使用具體取值，因此無須考慮對定序變量或連續變量進行轉換，三是由於只考慮自變量取值的大小順序，決策樹對於自變量的測量誤差或異常值是穩健的，四是通過替代劃分規則，決策樹可以有效處理自變量的缺失值，五是決策樹所產生的預測規則可解釋性很好，六是根據每次劃分時不純度的下降程度以及每個自變量對該次劃分的貢獻，可以定義自變量的重要程度，從而進行變量選擇。決策樹的缺點，一是每個非葉節點在劃分時，僅考慮一個自變量，無法發現基於多個變量組合的劃分規則，二是為每個非葉節點選擇劃分規則時，僅考慮當前節點的結果，因此只能達到局部最優，三是因為決策樹是局部貪婪的，其結構很不穩定，容易受到訓練集和測試集隨機分割的差異的影響。

8.4節給出了一個使用R語言建立決策樹的案例，使用的是移動運營商數據，案例給出了代碼和詳細的注釋，方便同學們動手操作，快來學習吧！