【機器學習基礎】用Python畫出幾種常見機器學習二分類損失函數

2021-03-02 機器學習初學者

在二分類的監督學習中，支持向量機、邏輯斯諦回歸與最大熵模型、提升方法各自使用合頁損失函數、邏輯斯諦損失函數、指數損失函數，分別寫為：

這 3 種損失函數都是 0-1 損失函數的上界，具有相似的形狀。(見下圖，由代碼生成）

import numpy as npimport mathimport matplotlib.pyplot as pltplt.rcParams['font.sans-serif'] = ['SimHei']plt.rcParams['axes.unicode_minus'] = Falseplt.figure(figsize=(10,8))x = np.linspace(start=-1, stop=2, num=1001, dtype=np.float)logi = np.log(1 + np.exp(-x)) / math.log(2)boost = np.exp(-x)y_01 = x < 0y_hinge = 1.0 - xy_hinge[y_hinge < 0] = 0
plt.plot(x, y_01, 'g-', mec='k', label='（0/1損失）0/1 Loss', lw=2)plt.plot(x, y_hinge, 'b-', mec='k', label='（合頁損失）Hinge Loss', lw=2)plt.plot(x, boost, 'm--', mec='k', label='（指數損失）Adaboost Loss', lw=2)plt.plot(x, logi, 'r-', mec='k', label='（邏輯斯諦損失）Logistic Loss', lw=2)plt.grid(True, ls='--')plt.legend(loc='upper right',fontsize=15)plt.xlabel('函數間隔:$yf(x)$',fontsize=20)plt.title('損失函數',fontsize=20)plt.show()
獲取一折本站知識星球優惠券，複製連結直接打開：
https://t.zsxq.com/y7uvZF6
本站qq群704220115。
加入微信群請掃碼：

相關焦點

  • 機器學習-損失函數
    機器學習-損失函數來源：劉帝偉 （中國統計網特邀認證作者）
  • 如何畫出幾種常見二分類損失函數(附代碼)
    在二分類的監督學習中，支持向量機、邏輯斯諦回歸與最大熵模型、提升方法各自使用合頁損失函數、邏輯斯諦損失函數、指數損失函數，分別寫為：
  • 機器學習中常用的5種回歸損失函數
    「損失函數」是機器學習優化中至關重要的一部分。L1、L2損失函數相信大多數人都早已不陌生。
  • 【損失函數】常見的損失函數(loss function)總結
    常見的損失函數以及其優缺點如下：0-1損失函數(zero-one loss)0-1損失是指預測值和目標值不相等為1， 否則為0:特點：(1)0-1損失函數直接對應分類判斷錯誤的個數，但是它是一個非凸函數，不太適用.(2)感知機就是用的這種損失函數。
  • 機器學習常見的損失函數以及何時使用它們
    每一個機器學習工程師都應該知道機器學習中這些常見的損失函數以及何時使用它們。在數學優化和決策理論中，損失函數或成本函數將一個或多個變量的值映射為一個實數，該實數直觀地表示與該事件相關的一些「成本」。所以損失函數被用於評估模型的性能，通常人們想要損失函數最小化。廣義地說，損失函數根據應用場景可以分為兩大類：分類問題和回歸問題。在分類問題中，任務是預測問題所處理的所有類的各自概率。相反，在回歸問題中，任務是預測一組給定的獨立特徵對學習算法的連續值。
  • Python機器學習算法中的7個損失函數的詳細指南
    損失函數是我們喜歡使用的機器學習算法的核心。但大多數初學者和愛好者不清楚如何以及在何處使用它們。它們並不難理解，反而可以增強你對機器學習算法的理解。那麼，什麼是損失函數，你如何理解它們的意義?在本文中，我將討論機器學習中使用的7種常見損失函數，並解釋每種函數的使用方法。
  • 機器學習常用損失函數小結
    本文將介紹機器學習、深度學習中分類與回歸常用的幾種損失函數，包括均方差損失 Mean Squared Loss、平均絕對誤差損失 Mean Absolute Error Loss、Huber Loss、分位數損失 Quantile Loss、交叉熵損失函數 Cross Entropy Loss、Hinge 損失 Hinge Loss。
  • 機器學習中常用的5種回歸損失函數,你都用過嗎?
    「損失函數」是機器學習優化中至關重要的一部分。L1、L2損失函數相信大多數人都早已不陌生。那你了解Huber損失、Log-Cosh損失、以及常用於計算預測區間的分位數損失麼？這些可都是機器學習大牛最常用的回歸損失函數哦！機器學習中所有的算法都需要最大化或最小化一個函數，這個函數被稱為「目標函數」。其中，我們一般把最小化的一類函數，稱為「損失函數」。
  • 機器學習資料 | 4個步驟,就能承包全部機器學習路徑?這個禮包厲害了!
    python已經成為機器學習的第一語言，眾多機器學習的框架都支持python API，所以學習機器學習，python語言是繞不過去了。監督學習涉及到標註數據，計算機可以使用所提供的數據來識別新的樣本，分為分類和回歸兩種類型。
  • 機器學習中的 7 大損失函數實戰總結(附 Python 代碼)
    它們並不難理解，反而可以增強你對機器學習算法的理解。那麼，什麼是損失函數，你如何理解它們的意義?在本文中，我將討論機器學習中使用的7種常見損失函數，並解釋每種函數的使用方法。目錄什麼是損失函數？假設你在山頂，需要下山。你如何決定走哪個方向？
  • 機器學習從業者必知的5種回歸損失函數
    本文就帶領大家學習不同的損失函數，以及它們如何在數據科學和機器學習中幫助我們。損失函數可以大體分為兩種類型：分類損失和回歸損失。在本文，我們先重點看看回歸損失函數，在後面的文章會繼續分享其它的損失函數類型。本文所有代碼地址見文末。
  • 機器學習中常見4種學習方法、13種算法和27張速查表
    在非監督式學習中，數據並不被特別標識，學習模型是為了推斷出數據的一些內在結構。常見的應用場景包括關聯規則的學習以及聚類等。常見算法包括Apriori算法以及k-Means算法。4.半監督式學習二、13種常用算法根據算法的功能和形式的類似性，我們可以把算法分類，比如說基於樹的算法，基於神經網絡的算法等等。當然，機器學習的範圍非常龐大，有些算法很難明確歸類到某一類。1.回歸算法
  • 機器學習筆記——機器學習實戰之準備(一)
    https://zhuanlan.zhihu.com/linga目錄機器學習簡單概述機器學習的主要任務學習機器學習的原因python語言優勢1.1  何謂機器學習簡單的說，機器學習就是把無序的數據變換成有用的信息。
  • 常見的損失函數(loss function)總結
    不同的模型用的損失函數一般也不一樣。損失函數分為經驗風險損失函數和結構風險損失函數。經驗風險損失函數指預測結果和實際結果的差別，結構風險損失函數是指經驗風險損失函數加上正則項。常見的損失函數以及其優缺點如下：1. 0-1損失函數(zero-one loss)0-1損失是指預測值和目標值不相等為1， 否則為0:特點：(1)0-1損失函數直接對應分類判斷錯誤的個數，但是它是一個非凸函數，不太適用.
  • 【sklearn機器學習】——應用機器學習的建議
    本文以Bremen大學機器學習課程的教程為基礎的。總結了使用機器學習解決新問題的一些建議。包括：可視化數據的方法選擇一個適合當前問題的機器學習方法鑑別和解決過擬合和欠擬合問題處理大資料庫問題（注意：不是非常小的）不同損失函數的利弊本文以 Andrew Ng 的《Advice for applying Machine Learning》為基礎。這個筆記的目的是用一個互動的方法解釋這些觀點。
  • 文本分類的14種算法
    這種簡單的文本分類練習，不同算法的性能分層還是比較明顯的。知識總結1.機器學習、集成學習和深度學習：1)機器學習泛指所有的使機器通過建立和調整模型從而實現特定功能的算法。2)深度學習是運用了多層的人工神經網絡(ANN)的機器學習方法。3)集成學習是指通過將多個弱分類器的分類結果進行整合，獲得比單個弱分類器更好效果的機器學習方法。集成學習和深度學習屬於機器學習。2.集成學習的bagging和boosting思想：bagging中的各個弱分類器取值是相互獨立的、無關的，常使用有放回抽樣實現。
  • 機器學習經典損失函數比較
    這篇文章將介紹各種不同的損失函數，並幫助我們理解每種函數的優劣和適用範圍。 由於機器學習的任務不同，損失函數一般分為分類和回歸兩類，回歸會預測給出一個數值結果而分類則會給出一個標籤。這篇文章主要集中於回歸損失函數的分析。
  • 李沐:從頭開始介紹機器學習,眼花繚亂的機器學習應用
    有了這些，Jeol利用TensorFlow寫了一個分類器。對於不按常理出牌的Jeol，面試官一臉黑線。而且這個分類器不是總是對的。顯然，用原子彈殺雞了。為什麼不直接寫幾行簡單而且保證結果正確的Python代碼呢？當然，這裡有很多一個簡單Python腳本不能分類的例子，即使簡單的3歲小孩解決起來毫無壓力。
  • GitHub | 機器學習&深度學習&nlp&cv從入門到深入全套資源分享
    && FocalLoss 對樣本不平衡的權重調節和減低損失值 && focal_loss 多類別和二分類 Pytorch代碼實現 && 多分類focal loss及其tensorflow實現堪比Focal Loss！
  • 【機器學習基礎】Python機器學習入門指南(全)
    1 機器學習概論機器學習是關於計算機基於數據分布，學習構建出概率統計模型，並運用模型對數據進行分析與預測的方法。按照學習數據分布的方式的不同，主要可以分為監督學習和非監督學習：1.1 監督學習從有標註的數據(x為變量特徵空間, y為標籤)中，通過選擇的模型及確定的學習策略，再用合適算法計算後學習到最優模型，並用模型預測的過程。