模型預測-概念梳理

2021-02-19 SofarSoso
1. 混淆矩陣

對模型預測涉及的兩個內容，真實值（Actual Values）和預測值（Predicted Values）進行統計，放在R裡，即是table 對真實值和預測值的展示；

一般，我們經常涉及的是二分類情況下的混淆矩陣：

Actual<-c(1,1,0,0,1,1,1)
Predicted<-c(1,0,1,1,0,1,1)
table(Actual,Predicted)
      Predicted
Actual 0 1
     0 0 2
     1 2 3

2. TP/TN/FP/FN（英文縮寫）

這裡的評價即預測+真實的縮寫，所謂預測即T/F，真實即P/N；

TP-true positive 真陽性

TN-true negative 真陰性

FP-false positive 假陽性（也稱Type I Error）

FN-false negative 假陰性（也稱Type II Error）

3. Accuracy/Precision/Sensitivity/Specificity/F1-Score

4. AUC & ROC

ROC（Receiver Operator Characteristic）一般在二分類問題中對分類器進行評價；

AUC(Area Under Curve)ROC曲線的曲線下面積；

一般，分類器輸出的結果為score，設定閾值後，基於score是否大於閾值，可進行類似0/1判定，基於預測值和實際值，即計算得到此分類器該閾值的Sensitivity（真陽性率）和1-Specificity（假陽性率）。

library(pROC)
plot(roc(response,predictor),print.auc=TRUE,plot=TRUE,legacy.axes=T)


【參考】：

1.https://www.analyticsvidhya.com/blog/2020/12/decluttering-the-performance-measures-of-classification-models/

相關焦點

  • 序列推薦模型梳理(Sequential Recommendation)
    序列推薦的模型，隨著整個CS research領域的發展，也是一直在不斷變化。從最開始的Markov chain，到後來的RNN，CNN模型，以及現在流行的transformer。每個時期的序列推薦模型，基本上也是對應著該時期用的比較多的NLP模型。本文梳理了序列推薦模型的發展變化，幫助大家理清楚序列推薦系統的設計思路。
  • 模型預測控制介紹
    本文主要是一些概念性的基礎，未涉及具體算法和前沿方法，適合對MPC有略微了解的小夥伴複習梳理。尿素裝置合成段的控制在各種石化和化工廠中食品加工機電系統暖通空調系統(樓宇控制)目標函數：狀態跟蹤 計算最優控制序列實施序列的第一個元素（多變量是向量）LQR和MPC：當預測時域趨於無窮且忽略約束時，MPC等價於LQR。
  • 設計中的概念模型——以豆瓣FM為例
    對於產品的「概念模型」最早提出以及在設計中的作用，幾乎都是幾個心理學背景的專家在討論（如 Norman），這一點不難理解，概念模型的形成依賴用戶的認知過程，其表徵形式反映用戶對產品的認知操作結構，這一知識系統構建天然地與認知心理學研究相關。但似乎這一概念及其作用並沒有被太多設計者意識到。作為一篇介紹概念模型在設計中應用和舉例說明的文章，暫不對這一概念內涵和演進做系統梳理。
  • 用Skater來解讀預測性模型:解密模型的隱秘
    在第一篇裡，我會從把模型可解釋性作為一個理論概念來深入探討，並對Skater做了一個高層的概述。在第二篇裡，我會給出一個關於Skater目前支持的模型的更詳細的解釋，以及Skater的發展路線圖。什麼是模型可解釋性？
  • 8 篇論文梳理 BERT 相關模型
    本文通過8篇論文梳理了BERT相關論文，並分析了BERT在各種任務中的效用。 BERT 自從在 arXiv 上發表以來獲得了很大的成功和關注，打開了 NLP 中 2-Stage 的潘多拉魔盒。
  • 當模型預測控制遇見機器學習
    本文將不使用任何讓人敬而遠之的公式，試圖通過自然語言深入淺出的討論，當模型預測控制遇見機器學習，它們會擦出怎樣的思想火花。ML跟MPC一樣，都是預測，只不過ML的預測是基於數據（Data-based），而MPC的預測是基於物理模型（Model-based or Physics-based）。機器學習方法可以分為如下幾種類別：監督學習：從給定的訓練數據集中學習出一個函數，當新的數據到來時，可以根據這個函數預測結果。
  • DSGE模型的條件預測
    DSGE模型可以預測嗎？ 當然可以！ 人們已經發現動態隨機一般均衡（DSGE）模型，可用來進行預測，參見Adolfson et al（2006），但還有一些直接拿來就能預測的模型，例如ARIMA，因子模型，VAR，B-VAR，FA-VAR以及其它模型，這些模型具有優越的預測性能。
  • 李稻葵的宏觀經濟預測模型
    他基於中國宏觀經濟計量模型所得出的預測，讓20餘位國內頂級經濟學家眼前一亮。　　該模型預測，全年GDP增長預測為8.6%，呈現逐漸下滑態勢；城市居民的價格指數增幅也出現較大幅度的下滑，到第三、第四季度將分別降到負0.81%和負0.62%；M1與M2連續下滑，到年底降到10%以下。關於GDP增長速度減緩的預測得到了多數學者的認同。　　「經濟分析不能單靠模型。」
  • 梳理數百個問題後,我總結出10個數據科學面試必掌握概念……
    在梳理了數百個數據科學面試問題之後，本文總結出了10個最常出現的深度學習概念。話不多說，讓我們開始吧！2.代價函數（Cost Function）神經網絡的代價函數類似於其他機器學習模型的成本函數。它衡量的是神經網絡的預測值與實際值相比有多「好」。代價函數與模型的質量成反比——模型質量越高，代價函數越低，反之亦然。代價函數是最優化值。通過縮小神經網絡的代價函數，可以獲得模型的最佳權重和參數，從而最大程度地發揮模型的性能。
  • 梳理地震預測指標 推進科學預測地震
    為深化會商制度改革，不斷完善、提高會商研判的水平和實效，按照《全國震情會商制度改革指導方案》要求，四川省地震局於8月26日至28日組織開展川滇地區地震預測指標研討和集中梳理工作，來自雲南、甘肅、青海、廣西等省的專家參加研討，四川省地震預報研究中心和測繪工程院的預報人員參與集中梳理。
  • 預測模型的選擇的一些考量
    預測模型的選擇是個複雜過程，需要考慮多方面的因素，再配以職業判斷。計劃軟體往往按照特定的指標判斷預測模型的優劣，但很難綜合考慮多種因素，特別是歷史數據沒有反映的信息。這就是對計劃軟體建議的模型，有經驗的計劃人員總是戒心重重的原因了。在選擇合適的預測模型時，我們首先要看預測準確度。
  • LIME:一種解釋模型預測的方法
    在機器學習的許多應用中，用戶常常被要求信任幫助他們進行決策的模型（model）。一位醫生肯定不能只是因為「模型這樣說」就給病人動手術。甚至從 Netflix 上選擇一部電影觀看時，我們在決定將幾個小時託付給模型的決策之前也需要給予其特定程度的信任。儘管許多機器學習模型都是黑箱，理解模型預測背後的基本原理將肯定有助於用戶決定什麼時候可以信任或不可以信任它們的預測。
  • 數據建模中分類與預測模型
    因此，本文基於上期數據預處理部分之後，介紹如何在清洗過後的數據基礎之上建立分類與預測模型，為此種模型的構建方法進行簡單介紹，輔助投資者對自身分析邏輯中的分析框架進行量化分析，方便其多元化的交易分析。　　一、分類與預測的介紹　　數據建模中分類與預測模型主要是尋求合適的分類模型並在此基礎之上進行未來預測。
  • 時間序列的LSTM模型預測——基於Keras
    那麼面對時間序列的預測問題，我們可以用傳統的ARIMA模型，也可以用基於時間序列分解的STL模型或者Facebook開源的Prophet模型。在機器學習或者人工智慧大熱的現在，深度學習等機器學習方法也可以用於時間序列的預測。今天介紹的就是如何基於Keras和Python，實現時間序列的LSTM模型預測。
  • 星巴克財務預測估值模型-2020.4
    1近期新增估值模型目錄兆易創新財務預測估值模型恆瑞醫藥財務預測估值模型嗶哩嗶哩財務預測估值模型美的集團財務預測估值模型>美團財務預測估值模型資產評估機構收益法評估模型東方財富財務預測估值模型順豐控股財務預測估值模型德勤諮詢-企業併購財務預測估值模版寧德時代財務預測估值模型
  • ARIMA模型:全國考研人數預測
    本文選用R語言為基礎分析語言，選取1995-2020年全國碩士研究生報名人數，擬結合ARIMA模型對未來五年的研究生考試報名人數進行預測。ARIMA模型，又稱整合移動平均自回歸模型（移動也可稱作滑動），是時間序列預測分析的主要模型之一。
  • 俄建預測新冠病毒傳播數學模型
    俄羅斯薩馬拉州科羅廖夫國立研究大學新聞處通報稱，該大學研究人員建立了病毒性疾病暴髮式傳播的數學模型，可預測冠狀病毒傳染病的進一步蔓延。　　此前，薩馬拉大學與巴塞隆納自治大學根據多項係數開發出危險病毒性傳染病擴散的數學模型。
  • 用ROC曲線解析預測模型
    最具吸引力的目標之一是利用數據資產的力量來創建能夠預測各種結果的機器學習模型。通過定義明確的模型，可以確定能夠預測結果的最重要影響因素，為戰略假設開發有價值的洞察力，甚至可以通過友好的用戶界面將模型的邏輯實現到軟體應用程式中。然而，在任何這種魔法發生之前，我們需要知道模型創建的預測是否有益！
  • 狀態空間模型在價格預測方面的應用
    拋去交易模型的負面因素，利用簡單的模型對價格及價格趨勢進行預測，作為交易行動的參考，還是具有一定的優勢。二、狀態空間模型狀態空間模型是一種在進行時間序列預測時經常使用的數學模型，例如在大氣環境預測、水文環境預測、經濟預測等多領域中進行使用。
  • 卷積神經網絡預測模型:提前24個月預測ENSO
    因為只有足夠的數據量，卷積神經網絡才可以訓練出一個比較好的模型，否則會導致很多問題，訓練出來模型的性能也不會好。」羅京佳解釋。卷積神經網絡助力 ENSO預報時效延長人工智慧領域有一個普遍使用的方法——遷移學習，是針對小樣本數據的一種訓練方法。