簡單粗暴理解與實現機器學習之邏輯回歸:邏輯回歸介紹、應用場景...

2020-12-14 AI科技大本營

作者 | 汪雯琦

責編 | Carol

來源 | CSDN 博客

學習目標

知道邏輯回歸的損失函數知道邏輯回歸的優化方法知道sigmoid函數知道邏輯回歸的應用場景應用LogisticRegression實現邏輯回歸預測知道精確率、召回率指標的區別知道如何解決樣本不均衡情況下的評估了解ROC曲線的意義說明AUC指標大小應用classification_report實現精確率、召回率計算應用roc_auc_score實現指標計算

邏輯回歸介紹

邏輯回歸（Logistic Regression）是機器學習中的一種分類模型，邏輯回歸是一種分類算法，雖然名字中帶有回歸，但是它與回歸之間有一定的聯繫。由於算法的簡單和高效，在實際中應用非常廣泛。

邏輯回歸的應用場景：

廣告點擊率是否為垃圾郵件是否患病金融詐騙虛假帳號看到上面的例子，我們可以發現其中的特點，那就是都屬於兩個類別之間的判斷。邏輯回歸就是解決二分類問題的利器。

邏輯回歸的原理

要想掌握邏輯回歸，必須掌握兩點：

邏輯回歸中，其輸入值是什麼如何判斷邏輯回歸的輸出1、輸入

邏輯回歸的輸入就是一個線性回歸的結果。

2、激活函數

sigmoid函數

判斷標準回歸的結果輸入到sigmoid函數當中輸出結果：[0, 1]區間中的一個概率值，默認為0.5為閾值

邏輯回歸最終的分類是通過屬於某個類別的概率值來判斷是否屬於某個類別，並且這個類別默認標記為1(正例),另外的一個類別會標記為0(反例)。（方便損失計算）

輸出結果解釋(重要)：假設有兩個類別A，B，並且假設我們的概率值為屬於A(1)這個類別的概率值。現在有一個樣本的輸入到邏輯回歸輸出結果0.6，那麼這個概率值超過0.5，意味著我們訓練或者預測的結果就是A(1)類別。那麼反之，如果得出結果為0.3那麼，訓練或者預測結果就為B(0)類別。

所以接下來我們回憶之前的線性回歸預測結果我們用均方誤差衡量，那如果對於邏輯回歸，我們預測的結果不對該怎麼去衡量這個損失呢？我們來看這樣一張圖。

那麼如何去衡量邏輯回歸的預測結果與真實結果的差異呢？

損失以及優化

1、損失

邏輯回歸的損失，稱之為對數似然損失，公式如下：

分開類別：

怎麼理解單個的式子呢？這個要根據log的函數圖像來理解

綜合完整損失函數

看到這個式子，其實跟我們講的信息熵類似。

接下來我們就帶入上面那個例子來計算一遍，就能理解意義了。

我們已經知道，log§, P值越大，結果越小，所以我們可以對著這個損失的式子去分析

2、優化

同樣使用梯度下降優化算法，去減少損失函數的值。這樣去更新邏輯回歸前面對應算法的權重參數，提升原本屬於1類別的概率，降低原本是0類別的概率。

【end】

原力計劃

《原力計劃【第二季】- 學習力挑戰》正式開始！即日起至 3月21日，千萬流量支持原創作者！更有專屬【勳章】等你來挑戰

Python數據清理終極指南（2020版）無需3D運動數據訓練，最新人體姿勢估計方法達到SOTA | CVPR 2020前端 Webpack 工程化的最佳實踐如何與亦敵亦友的 說拜拜？大神原來是這麼做的！從哈希函數、哈希衝突、開散列出發，一文告訴你哈希思想與哈希表構造到底是什麼！羅永浩欲直播帶貨，京東說可以幫忙聯繫

相關焦點

  • ...實現機器學習之邏輯回歸:邏輯回歸介紹、應用場景、原理、損失...
    作者 | 汪雯琦責編 | Carol來源 | CSDN 博客學習目標知道邏輯回歸的損失函數知道邏輯回歸的優化方法知道sigmoid函數知道邏輯回歸的應用場景應用LogisticRegression實現邏輯回歸預測知道精確率、召回率指標的區別知道如何解決樣本不均衡情況下的評估了解
  • 邏輯回歸介紹與應用
    一、邏輯回歸簡介邏輯回歸又稱Logistic回歸分析，是一種廣義的線性回歸分析模型，常用於數據挖掘、疾病自動診斷、經濟預測等領域。邏輯回歸從本質來說屬於二分類問題。二分類問題是指預測的y值只有兩個取值（0或1）。
  • 數據科學&機器學習的筆記1:分類、線性回歸和邏輯回歸
    這課兩周內把前四章基礎的東西講完了，數據導入和簡單數據預處理之類的，比我想像中快，我還比較期待後面能學到新東西。第五章開了個頭，講的是「選擇和評價模型」，大抵是介紹機器學習中的常用模型，分清遇到不同數據分析需求時適用的模型。令我失望的是，真的真的只是講了一下模型的種類，告訴你模型可以用來做什麼，連一點點原理都沒有涉及。
  • 乾貨|簡單理解邏輯回歸基礎
    二、二元分類而分類問題中最簡單的是二元分類，顧名思義，就是輸出值只有兩個，就像上面那個例子，結果只有好瓜和壞瓜，不會輸出「不好不壞的」這種莫名其妙的瓜。目前的話，我們就先姑且認為我們通過一個神奇的函數把線性回歸變成了用於解決分類問題的邏輯回歸。像之前一樣，我們讓x0=1，可以得到：
  • 邏輯回歸算法學習與思考
    from http://blog.csdn.net/dongtingzhizi本文是作者對於邏輯回歸算法的學習和思考，主要介紹：邏輯回歸的算法介紹、邏輯回歸的數學原理、邏輯回歸的實際應用、邏輯回歸的總結以及網絡安全場景預測，歡迎大家參考討論。
  • 邏輯回歸實現情感分析
    X以及特徵的標籤Y目標是儘可能地減小損失值將特徵X輸入給prediction function，將實現特徵X輸出為預測標籤Y_hat當標籤Y和預測值Y_hat差異值較小時，可以實現從特徵到標籤的最佳映射
  • 文科生都能看懂的機器學習教程:梯度下降、線性回歸、邏輯回歸
    現在，機器學習這麼火，想入行的人越來越多，然而被搞糊塗的人也越來越多。因為大眾很難理解機器學習是幹嗎的？那些神秘拗口的概念，比如邏輯回歸、梯度下降到底是什麼？j　　一個23歲的藥物學專業的學生說，當他去參加機器學習培訓課程的時候，感覺自己就家裡那位不懂現代科技的奶奶。
  • 邏輯回歸(Logistic Regression) 模型簡介
    （Logistic Regression）是機器學習中的一種分類模型，由於算法的簡單和高效，在實際中應用非常廣泛。本文作為美團機器學習InAction系列中的一篇，主要關注邏輯回歸算法的數學模型和參數求解方法，最後也會簡單討論下邏輯回歸和貝葉斯分類的關係，以及在多分類問題上的推廣。
  • 各種機器學習算法的應用場景分別是什麼(比如樸素貝葉斯、決策樹、K 近鄰、SVM、邏輯回歸最大熵模型)?
    原因如下：第一個是因為數據：做To C生意的客戶積累的用戶多，數據也多，滿足機器學習建模對數據量的要求。金融、媒體、零售積累了大量C端用戶的數據；第二個是因為場景：這些領域的客戶有些大量可以使用機器學習建模的場景，也是國內工業界最早嘗試將機器學習引入到實際的建模場景中的。2.
  • 機器學習入門3 ——感知器和邏輯回歸
    此外，我們將討論感知器算法的兄弟，邏輯回歸。有監督和無監督算法在機器學習中，有兩種通用的算法。在上一篇文章中我們討論了回歸和分類。這兩種方法均屬於有監督學習算法的大範圍之內，監督學習算法是兩類機器學習算法之一。 另一類算法稱為無監督算法。
  • 機器學習——邏輯回歸
    23max_x = max(train_x[:, 1])[0, 0] 24plt.xlabel('X1'); plt.ylabel('X2')  25plt.show()運行python腳本畫出來的測試數據的散點圖如圖3所示：圖3 測試數據散點圖從圖3中，可以看出測試數據基本可以通過一條直線進行分隔，下邊筆者的邏輯回歸
  • 硬核乾貨|如何利用邏輯回歸模型,實現用戶增長?
    因此，我們就引出今天的主題：技術派是如何利用邏輯回歸模型實現用戶增長的——這也是增長三部曲的最後一部。雖然在當下，深度學習模型已經成為時尚，但邏輯回歸仍然堅守在第一線，靠的就是其高時效性與高準確度性。有想挑戰的同學，推薦的建模工具有SPSS和python，如果是初學者的話，建議使用SPSS，操作簡單，不需要編程能力，網上有大量的邏輯回歸模型的教學視頻，快的一周，慢的一個月怎麼也玩明白了。
  • 邏輯回歸算法介紹及其參數講解
    算法介紹邏輯回歸是一種廣義線性回歸（generalizedlinear model），因此與多重線性回歸分析有很多相同之處
  • 邏輯回歸,很有邏輯
    最後，簡單談談邏輯回歸、Softmax 回歸和卷積神經網絡的關係。再來看看 Softmax 回歸。它是一種多項邏輯回歸，即響應變量的取值大於兩類。假設共有 K > 2 類，每個樣本點的響應變量 y_i 的取值為 1 到 K 之間的某一個值。多項邏輯回歸的應用更加廣泛，比如在手寫數字識別中，一共有 0 到 9 是個數字，因此一共可以有 10 類。
  • 7分鐘搞懂邏輯回歸的來龍去脈
    邏輯回歸（Logistic Regression）是一種統計機器學習方法，簡單易用，卻涉及很多知識點。正所謂麻雀雖小，五臟俱全。大多數教程都是從定義和原理出發，來講解邏輯回歸，容易顯得晦澀難懂。本文將結合實例和圖示，幫助讀者在7分鐘內搞懂邏輯回歸算法。功能邏輯回歸一般用於二分類任務，並能給出兩個類的相應概率。常見的應用包括垃圾郵件判別、銀行判斷是否給用戶貸款等等。當然，二分類問題可以擴展到多分類問題。
  • 教程丨機器學習算法:從頭開始構建邏輯回歸模型
    邏輯回歸是繼線性回歸之後最著名的機器學習算法。在很多方面，線性回歸和邏輯回歸是相似的，不過最大的區別在於它們的用途，線性回歸算法用於預測，但邏輯回歸用於分類任務。分類任務很常見，比如把電子郵件分為垃圾郵件和非垃圾郵件、把腫瘤分為惡性或者良性、把網站分為危險站點或正常站點，機器學習算法就可以完成這些任務。
  • 用Python實現機器學習算法:邏輯回歸
    邏輯回歸
  • 【流式機器學習二】淺談FTRL算法(流式邏輯回歸算法)
    點擊藍字關注這個神奇的公眾號～背景信息可以先看前篇：【流式機器學習一】流式計算的認知1.開篇先聊下對於流式算法的一些看法，流式算法就是要實時的去更新模型，所以從易實現的角度分析FTRL算法是由Google提出，目前在online learning這個層面有非常好表現的算法，可以理解為是流計算中的邏輯回歸算法，目前FTRL在廣告投放、商品推薦等實時計算場景被廣泛應用。下面就介紹下FTRL的具體計算流程。
  • 廣義線性模型與邏輯回歸
    分類問題是機器學習中常見的一種方法，本文將以二分類為切入點，引出邏輯回歸模型。
  • 多分類邏輯回歸(Multinomial Logistic Regression)
    前言分類從結果的數量上可以簡單的劃分為：其中二分類是最常見且使用最多的分類場景，解決二分類的算法有很多，比如：多分類中比如：改進版的KNN、改進版的貝葉斯、改進版的SVM等多類別的邏輯回歸囉嗦了這麼多，其實就是為了說這個多分類的邏輯回歸。