從拍腦袋下決定到科學做選擇——決策樹模型-TY聊思維5

2020-12-05 TY聊思維

今天是TY聊思維的第五篇,今天我們要聊的模型是決策樹。

關於選擇或者決策的重要性,相信大家都有充分的認知。一旦選擇完畢,就代表你走了不同的路徑,也沒有再回頭的機會了。

選擇之於個人的重要性,有句雞湯說的好——選擇大於努力。

決策之於企業的重要性,美國著名管理學家西蒙也有過相關表述——管理就是決策。

先考慮以下幾種場景:

場景1:你面臨一個關於自己的較為複雜的決策,需要在方案A和方案B中間做個選擇,到底是該選A呢,還是選B呢?A有A的好,B有B的妙,很難簡單迅速的下定決心。

場景2:你們公司要上馬一個項目,有好幾種可行性方案,但哪種是最優呢?每個方案都有成功的概率,也有失敗的風險,也非常難以決策。

所以,如果以上兩種場景在你身邊經常出現,或者你想在遇到以上情況的時候能夠選擇or決策的更加科學,那就來了解下「決策樹」這個模型吧。

什麼是決策樹?

百度百科對於決策樹的定義如下:「決策樹分析法是一種運用概率與圖論中的樹對決策中的不同方案進行比較,從而獲得最優方案的風險型決策方法。」 由於這種決策分支畫成圖形很像一棵樹的枝幹,故稱決策樹

復旦大學鬱文教授給過一個更加學術的定義:「決策樹用圖形表示決策過程的連續性,展示隨著時間的推移將發生的自然或邏輯的的進展,系統地呈現決策者將面對的各種選擇與不確定性,最終系統地進行歸納並進行決策」

有的小夥伴看著肯定比較枯燥,最簡單的理解就是顧名思義:決策樹就是用於輔助決策的一種樹狀模型。通過這個模型,大家可以在面對未來不確定事件時,能夠基於一定的規則,通過系統與合理的方式給出最佳決策方案(而不是拍腦袋)。

決策樹長什麼樣?

如圖,這就是一個最基礎的決策樹模型了。

決策樹模型的詳細解釋

如上圖,大家可以看到,決策樹模型中涉及到的元素包括:決策節點;方案分枝;機會節點;概率分枝;結果節點等5個元素。

接下來,我們就一一解釋一下每個元素的含義。

1、決策節點:

代表你需要做決策(選擇)的時間點,用表示。一般一個決策樹只有一個決策節點,就是你想做決策的那個事件(點),比如:該去讀研還是去找工作;這項技術是對外採購還是自主研發,等等。

2、方案分枝:

是由決策節點延伸出的分枝,對應於該決策節點可以選擇的各種決策方案。由決策節點延伸出的分枝應包含該決策節點所有可做的選擇。

方案分枝就是你要做決策的那個選項,比如:方案分枝1-讀研;方案分枝2-找工作,等等。

3、機會節點:

也稱為事件節點,代表發生不確定性事件的時間點,用○表示。

4、概率分枝:

由機會節點延伸出的分枝,對應於該不確定性事件中各種可能出現的結果。比如,考研有考上、考不上兩種結果。找工作,可能有找到好工作、中等工作以及不太滿意的工作三種結果等。

每個可能出現的結果都伴隨著一個相應的可能性(概率),如上圖中標明的0.1、0.9等。

由機會節點延伸出的概率分枝應互斥,同時又應窮舉該不確定性事件所有可能的結果(完備) 。因此每個機會節點中所有分枝相伴的概率求和必為1

5、結果節點:

在決策節點或機會節點分枝的尾端,用△表示,對應於該條路徑,或決策方案可能的結果,這個分枝終端需要給其一個數值。

以上是針對模型中一些元素的詳細解釋。

接下來,我們詳細的來聊一下,如何畫決策樹,並用決策樹進行方案選擇。

如何應用——決策樹的畫法

應用決策樹有如下四步:

一、提出決策問題,明確決策目標。

考慮清楚要決策的問題是什麼,同時有哪些中可選方案。

二、理清楚需要做決策的時間或邏輯線,以及每個決定的概率分布。

三、畫決策樹:

首先確定決策點,決策點一般用「口」表示,然後以決策點引出若干條直線,代表各個備選方案。這些直線稱為方案枝,方案枝後面連接一個「○」稱為機會點,從機會點畫出的各條直線稱為概率分枝,代表將來不同的狀態,概率分枝後面的數值代表不同方案在不同狀態下可能獲得的收益值。

四、決策樹的求解。

畫出決策樹後,按照繪製決策樹相反的程序,即從右向左逐步後退,根據預期值分層進行決策。

具體的畫法,我們這裡採用引用鬱文教授課件中的內容來進行舉例。

案例《小柔的暑期實習》

小柔在復旦大學管理學院就讀MBA,她現在在考慮關於明年暑期實習的事情。現在,她面臨多個包含不確定性的選擇。

1、小柔的前老闆John Mason許諾第二年夏季提供一份為期12周的實習工作,薪水為$12000,招聘期限到10月底有效

2、小柔在一次論壇上偶遇了Vanessa

Parker,一個投資銀行權益部的副總裁,她願意考慮明年夏天僱用小柔的可能性,希望在她公司於11月中旬進行暑期招聘計劃時,與她直接聯繫。

3、學院在每年1月和2月會舉辦公司春季招聘會。

假設你是小柔,在不考慮人情、實習公司的背景,僅考慮收入的情況下,你該怎麼決策?

到了10月底,你到底接不接受前老闆的邀約呢?

如果你拒絕了前老闆的邀約,那萬一投資銀行又去不成怎麼辦?

到底是投資銀行的實習薪水高,還是參加暑期招聘的薪水高呢?

接下來,我們就利用決策樹模型,來構建一個決策路徑。

一、提出決策問題,明確決策目標。

在本案例中,首當其中的就是要決定是否接受10月份的前老闆提供的實習機會,面臨的選擇就是接受和不接受兩種。

同樣的,11月份也會面臨申請實習成功和不成功兩種可能;申請成功後還要考慮是接受亦或者拒絕。

二、理清楚時間或邏輯線,以及每個決定的概率分布。

如圖,經過梳理,用下圖表示整個決策過程就更加清晰了。

有的小夥伴可能問,那每個機會的概率從哪來呢?——那就需要你利用自己的經驗或者市場調研數據了。

三、畫決策樹

我們利用決策樹的框架,從左至右,按照時間的推移以及邏輯的進展開始畫決策樹。

1、按時間與邏輯順序列出所需要做的決策,列出每個決策的所有選擇

2、列出所有不確定性事件(機會),列出每個事件中所有可能的結果

3、給出不確定性事件中各可能結果出現的概率。

最終得到的結果如下圖所示。

四、決策樹的求解。

1、給每一個結果節點賦值,在這裡案例中,就是把薪水的情況填制到結果節點中。如紅字所示。

2、利用結果節點的數據以及每個概率分枝的概率,採用期望值法,也就是加權平均的方法,求得每個機會節點的期望值,並將結果標註與機會節點旁邊。

比如,D=E節點的期望值結果就是:

21600*0.05+16800*0.25+12000*0.4+6000*0.25+0*0.05=1080+4200+4800+1500=11580。

這個結果的含義就是如果參加招聘會的話,平均的回報是11580元。

3、將結果填寫入D/E點處,繼續利用此方式反推。經過計算可得:

C=14000

B=14000*0.6+11580*0.4=8400+4632=13032。

4、最終決策:

選擇期望值最優的決策分枝作為該點的決策,並將該最優期望值進行標註,同時在捨去的備選方案枝上,用「=」記號隔斷

利用B的結果跟A另外一個方案分枝對比,最終可知,在10月份面臨決策時,最優的決策應該選擇拒絕john提供的實習機會。然後在得到vanessa提供的實習機會時,接受該機會。

說明:

1、在求解過程中,一般是從分枝終端開始計算,然後向決策樹的初始節點「反向」 推進,這一過程被稱為決策樹的「反向推進,這過程被稱為決策樹的反向求解法。

2、根據「小柔」的這個案例,最初,這個決策是相對比較複雜和不清晰的,通過梳理以及使用決策樹模型進行,問題就清晰了很多。

所以,當我們在解決一個複雜問題時,第一步往往需要將這個問題分解成一系列較小的子問題,決策樹提供了這樣的一個分解後再串聯的過程

使用決策樹模型的前提

1、決策者應具有明確的目標,且擁有兩個以上的可行備用方案。

2、不同行動方案在不同自然狀態下的損益值可以計算出來。

3、存在兩種以上決策者無法控制的自然狀態時,依舊能估計出不同的自然狀態發生概率。

決策樹模型的優點及不足

決策樹法是管理人員和決策分析人員經常採用的一種行之有效的決策工具。

它具有下列優點:

1.決策樹列出了決策問題的全部可行方案和可能出現的各種自然狀態,以及各可行方法在各種不同狀態下的期望值。

2.能直觀地顯示整個決策問題在時間和決策順序上不同階段的決策過程。

3.在應用於複雜的多階段決策時,階段明顯,層次清楚,便於決策機構集體研究,可以周密地思考各種因素,有利於作出正確的決策。

當然,決策樹法也不是十全十美的,它也有缺點,比如:

1、使用範圍有限,無法適用於一些不能用數量表示的決策;

2、對各種方案的出現概率的確定有時主觀性較大,可能導致決策失誤;

等等

決策樹可用於的領域

決策樹主要應用於個人或企業的決策過程,尤其是涉及到風險決策的時候。

一、個人:

比如就業;生病後的治療方案;某個生意的投資金額等。

二、企業:

比如:投標決策,分析投高中低中的哪個方案最有利。

比如:技術研發決策等等。

三、也可以用於城市管理、社會治理等方面。

四、模型與技術的結合

隨著技術的進步,現在大數據領域涉及到決策的部分,基本都採用了決策樹模型。將決策樹的理念,方法用於機器學習、深度學習中,比如輔助銀行判斷某個客戶是不是高風險客戶;

我們將在下一篇中,摘錄2個涉及到個人和企業的案例,以方面大家更好的理解。

當然,大家還可以自行搜索研究下。

動手用模型

關於決策樹模型,就講解到這裡,下面就是更加重要的【應用】了

1、請按照本文中案例的內容,忽略我的解答過程,自己動手畫一畫。

2、從網上搜一個相關的決策樹的例題,嘗試著解答解答試試。

3、等工具練習的熟練後,請考慮一個目前你面臨的涉及到決策的事件,然後採取決策樹模型,進行分析下吧。

【任何模型,只看不用,等於沒學,所以務必嘗試著用一下】

好了,以上基本就是決策樹模型的重點內容了。

致謝:本文引用了部分復旦大學管理學院鬱文教授的課件內容,在此表示感謝!~

PS:你有哪個想聊的思維模型,或者有什麼意見和建議,歡迎通過

評論、私信,進行交流溝通。

如果你覺得喜歡,歡迎收藏,轉發,或者打賞(如果有這麼個按鍵的話,哈哈)

TY聊思維,一起學點思維模型,讓我們共同走在成長的路上。下期見!~

相關焦點

  • 新零售第一步:從改變便利店店長的「拍腦袋」決策開始
    8月7日,一位來自見福便利店的店長鄭藝輝對經濟觀察網表示,數位化改變了他一直以來「拍腦袋」決策的工作方式。鄭藝輝2011年加入廈門見福連鎖管理有限公司(下稱「見福」),現任廈門市思明區一家見福便利店的店長。他所在的企業,是福建規模較大的便利店品牌,根據中國連鎖經營協會數據顯示,見福的門店增長率高達46%。
  • 樹模型(一)——樹的構造
    在分類樹中,即主要針對目標變量是離散變量(一般為二元變量)的情形,樹模型的普遍使用是源於其構造方法成熟且相對簡單,易於從概念上理解。一棵樹的構建可以簡單理解為多個判斷規則的多路徑分類,根據單個樣本分到其中一類。
  • 從決策樹到隨機森林:樹型算法的原理與實現
    基於樹(Tree based)的學習算法在數據科學競賽中是相當常見的。這些算法給預測模型賦予了準確性、穩定性以及易解釋性。和線性模型不同,它們對非線性關係也能進行很好的映射。常見的基於樹的模型有:決策樹(decision trees)、隨機森林(random forest)和提升樹(boosted trees)。
  • 深度神經決策樹:深度神經網絡和樹模型結合的新模型
    深度神經決策樹:深度神經網絡和樹模型結合的新模型 工程師郭婷 發表於 2018-08-19 09:14:44 近日,來自愛丁堡大學的研究人員提出了一種結合深度神經網絡和樹模型的新型模型
  • 進化決策樹:當機器學習從生物學中汲取靈感時
    目前已有幾種方法可用於克服這些問題:剪枝:首先,構建一顆完整的決策樹,即每片葉子中的所有實例都屬於同一類。然後刪除「不重要」的節點或子樹,以減小樹的大小。組合樹:構建不同的樹,並通過特定規則(一般是投票計數)選擇最終的分類結果。值得注意的是,這會導致決策樹的可解釋性降低。因此,有必要探索生成樹模型的其它方法。
  • 使用Scikit-Learn了解決策樹分類
    決策樹在現實生活數據分類中的應用。創建一個管道,並使用GridSearchCV為分類任務選擇最佳參數。決策樹決策樹(以下簡稱DT)算法的思想是學習一組if/else問題來進行決策。為了便於理解,讓我們從一個非常簡單的機器學習數據集來開始,根據不同的天氣條件,我們決定是否玩戶外遊戲 。根據定義,只有一個類的數據集的Gini雜質為0。建立決策樹時,我們的想法是選擇具有最少Gini雜質的特徵作為根節點,依此類推。在這裡,我們看到根據4個特徵(Outlook, Temperature, Humidity, Wind),決定是否打網球。
  • 關於「樹」的算法:現實生活中的決策樹
    樹的結構給了我們開發算法的靈感,並再將其反饋到機器,讓它們學習我們希望它們學習的東西,以解決現實生活中的問題。這些基於樹的學習算法被認為是最好和最常用的監督學習方法之一:決策樹、隨機森林、梯度提升等方法在各種數據科學問題中得到了廣泛應用。對於每一個機器學習的初學者來說,學習這些算法並將其用於建模非常重要。
  • 基於Python的決策樹分類器與剪枝
    決策樹很適合處理不同數據類型的變量。決策樹算法在決定每個節點的拆分時考慮了所有可能的變量,可以獲得最大加權不純度增益的變量被用作特定節點的決策變量。在上面的例子中,使用「性別」作為決策變量的加權不純度增益是0.4,但是,假設使用「年級」作為決策變量,加權不純度增益0.56,算法將使用「年級」作為創建第一個分割的決策變量。
  • 機器學習中決策樹的原理與算法 | 科普
    名字中的樹,顧名思義,就是模型的結構是樹形結構,樹形結構的主要優點就是可讀性較強,分類速度較快。樹是由軀幹和葉子組成,決策樹中的有向邊和結點與之對應,其中結點也有兩種類型,一種是內部結點,一種是葉結點。上面的介紹的都是從字面上可以理解出的一些概念,性質上來講,決策樹是一個預測模型,它代表的是對象屬性與對象值之間的一種映射關係。
  • Python機器學習sklearn模塊——決策樹
    決策樹可以用來解決分類與回歸問題,是一種非線性模型;一課決策樹一般包含一個根節點、若干個內部節點和若干個葉節點;生產決策樹最關鍵的是如何選擇最優劃分屬性,我們希望分支節點所包含的樣本近可能的屬於同一類別,即節點的「純度」越來越高;而評估樣本集合純度的常用指標有信息增益、增益率和基尼指數;決策樹容易出現過擬合狀況,因為它們可以通過精確的描述每個訓練樣本的 特徵而構建出複雜的決策樹
  • 以鳶尾花數據集為例,用Python對決策樹進行分類
    分類樹到三種花種之一的分類(鳶尾花數據集)如何使用分類樹要使用分類樹,請從根節點(棕色)開始,然後一直進行分類,直到到達葉(終端)節點。使用下圖中的分類樹,想像有一朵花,花瓣長4.5釐米,然後對其進行分類。從根節點開始,首先設置第一個問題,「花瓣長度(cm)是否≤2.45」?
  • 科學決策和創造性應對是化危為機的根本方法
    科學決策是科學執政、合理行政的基礎,是執政興國的重要方式和方法,是在當前國內外不確定環境下,發展高質量經濟,防範化解各類經濟社會風險,實現「十四五」良好開局的關鍵。當前,新冠肺炎疫情全球大流行,經濟全球化遭遇逆流,世界進入動蕩變革期,我國發展面臨的內外環境發生深刻複雜變化,科學決策和創造性應對顯得尤為重要和迫切。中央經濟工作會議指出,疫情變化和外部環境存在諸多不確定性,我國經濟恢復基礎尚不牢固。
  • 機器學習|決策樹的生成過程是怎樣?(一)
    本文筆者將用具體例子講述決策樹的構建過程,分析:決策樹生成過程中有什麼樣的問題?一、基本概念決策樹的定義:首先,決策樹是一種有監督的分類算法——即給定X,Y值,構建X,Y的映射關係。不同於線性回歸等是多項式,決策樹是一種樹形的結構,一般由根節點、父節點、子節點、葉子節點構成如圖所示。
  • 風險社會中的科學決策問題
    但是,維根斯坦是讓他的天才服務於狹隘的心胸了,他從未想過包容性的問題,沒有準備去將理性主義與經驗主義統合到實證研究之中。這樣做的結果是,以往科學家曾經擁有的所有理論抱負都淪喪了,在貌似科學的活動中,不再有知識生產的追求。
  • SKlearn實現鳶尾花分類:決策樹
    決策樹簡介決策樹是一種特殊的樹形結構,一般由節點和有向邊組成。其中,節點表示特徵、屬性或者一個類。而有向邊包含有判斷條件。如圖所示,決策樹從根節點開始延伸,經過不同的判斷條件後,到達不同的子節點。而上層子節點又可以作為父節點被進一步劃分為下層子節點。
  • 機器學習之決策樹在sklearn中的實現
    小夥伴們大家好~o( ̄▽ ̄)ブ,首先聲明一下,我的開發環境是Jupyter lab,所用的庫和版本大家參考:Python 3.7.1(你的版本至少要3.4以上Scikit-learn 0.20.0 (你的版本至少要0.20Graphviz 0.8.4 (沒有畫不出決策樹哦,安裝代碼conda install python-graphviz
  • 機器學習實戰:決策樹原來這麼簡單
    這一篇中,我們來講解監督學習中經常用到的算法,決策樹。本文章節1、決策樹介紹2、信息熵是啥3、決策樹與信息熵怎麼結合4、決策樹的剪枝5、決策樹的算法有哪些6、sklearn決策樹參數介紹7、決策樹實戰決策樹介紹決策樹是啥?
  • 教你如何做特徵選擇
    :1、為什麼要做特徵選擇在有限的樣本數目下,用大量的特徵來設計分類器計算開銷太大而且分類性能差。總結以及注意點這篇文章中最後提到了一點就是用特徵選擇的一點Trap。個人的理解是這樣的,特徵選擇不同於特徵提取,特徵和模型是分不開,選擇不同的特徵訓練出的模型是不同的。在機器學習=模型+策略+算法的框架下,特徵選擇就是模型選擇的一部分,是分不開的。這樣文章最後提到的特徵選擇和交叉驗證就好理解了,是先進行分組還是先進行特徵選擇。
  • 美團技術解析:自動駕駛中的決策規划算法概述
    有限狀態機模型 自動駕駛車輛最開始的決策模型為有限狀態機模型[6],車輛根據當前環境選擇合適的駕駛行為,如停車、換道、超車、避讓、緩慢行駛等模式,狀態機模型通過構建有限的有向連通圖來描述不同的駕駛狀態以及狀態之間的轉移關係,從而根據駕駛狀態的遷移反應式地生成駕駛動作。
  • 決策樹,回歸樹,自動分類,三種自動化學習方法
    自動機器學習,將統計學、機器學習、深度學習結合到一起,從而可以讓神經網絡能夠應用於各種不同數據類型。今天介紹我所了解的三種自動化學習方法,分別是autoclassification(自動分類)、decisiontree(決策樹)、classificationlogisticregression(回歸樹)。因為原始數據的類別太多,不能構建直觀的學習模型。