Overfitting——過猶不及

2021-03-02 數據思維

一友讀北大管院大數據課程，昨日問起一題，關於數據分析中的overfitting來，與之答惑之後，思之良多，overfitting：過度擬合，亦或是「過猶不及」，或是「一葉障目」，或是「管中窺豹」。現實中，很多事情莫不如此，中庸之道，或許真的挺好。

以回歸模型來解釋過度擬合問題，下圖非常直觀的說明了這個問題：

一般來講，建模有兩個用途，一是解釋當前樣本的特徵，換句話說就是用最簡練的話來對這個樣本群進行概述；或者另外一個樣本是否應該屬於這個樣本群；再就是預測未來的某個樣本發生的概率。那麼，通過上圖我們可以看出，underfitting：能夠描述樣本群的特徵，但比較粗糙，精度不夠，用咱們統計專業術語來講，就是信度很高，效度不夠，置信區間太大；overfitting：表面上看起來，對於數據的擬合度很高，似乎效度很高，但是，這個藍色線條的數學表達式，恐怕是較為複雜，我們用它解釋起來，也非常費勁，其實，更為可怕的是，它的預測準確性很弱。

統計，真的是和生活息息相關，我們從小受到的教育，很多時候是非黑即白，小時候的抗戰電影尤為如此，英雄，濃眉大眼，浩然正氣（沒想到你朱時茂這濃眉大眼的也會叛變革命）；敵人賊眉鼠眼，身軀佝僂。但現實世界中，除了黑白定性，還有黑白之間的定量——灰。在黑白的世界裡，英雄活得很累，壞蛋活得更累，英雄被描寫成高大全，容不得半點道德瑕疵，而壞蛋被扣上這頂「壞蛋」的帽子之後，其所具備的其它優點也被掩蓋了。郭德綱吃大蒜，只是口氣不太好聞，但人家說得相聲還是蠻有意思的嘛！幹嘛總是去聞那種味道而放棄聽有趣的相聲呢？

最後，引用一下尊敬的王靜龍老師幾頁PPT作為結束：

一起大數據：

數據分析& 挖掘愛好者學習、交流、分享社區。


（掃碼訪問 http://www.17bigdata.com）

微博：一起大數據 http://weibo.com/17bigdata

投稿& 諮詢& 求職& 招聘& 交流 請聯繫 QQ：23683716 微信：L23683716

相關焦點

  • 中國教育最大的問題:Overfitting
    如果訓練誤差太小，將會導致模型出現overfitting（過度擬合）現象，使得模型在面對新的輸入（訓練集中沒有的輸入）情況下，輸出誤差很大。由此，發展出了很多的相關技術和方法，比如正則化、模型選擇、Lasso 等，有關技術細節，本文不做深入探討。在機器學習領域，目前已經是一個理論基石：Overfitting將導致generilization（泛化）能力下降。
  • 通俗化過擬合(overfitting)與 欠擬合(underfitting)
    首先來談談什麼是擬合（fitting）？形象的說，擬合就是把平面上一系列的點，用一條光滑的曲線連接起來。因為這條曲線有無數種可能，從而有各種擬合方法。擬合的曲線一般可以用函數表示，根據這個函數的不同有不同的擬合名字。如下圖：
  • 過擬合(Overfitting) 與 Dropout
    一、過擬合(Overfitting)Overfitting 也被稱為過度學習，過度擬合。 它是機器學習中常見的問題。 舉個Classification（分類）的例子。過擬合圖中黑色曲線是正常模型，綠色曲線就是overfitting模型。
  • 臺灣大學林軒田機器學習基石課程學習筆記13 -- Hazard of Overfitting
    即當VC Dimension很大的時候，這種對訓練樣本擬合過分好的情況稱之為過擬合（overfitting）。另一方面，在bad generation和overfitting的關係可以理解為：overfitting是VC Dimension過大的一個過程，bad generation是overfitting的結果。
  • 深度學習基礎(十一):使用TensorFlow 了解overfitting 與underfitting[過擬合與欠擬合]
    如果訓練誤差總是無法降低，預測的準確率很低，我們會稱這種情況為欠擬合(underfitting)；而如果訓練誤差很低時，在訓練資料的表現很好，但是卻在在測試集上無法獲得較好的結果，則會稱這種情況為過擬合(overfitting)。
  • 「過猶不及.」
    The one with two necks would have been overkill.（沒必要買）【適用場合】overkill 什麼意思呀？一般這個詞只在口語當中用，帶有一定貶義色彩。當某個東西超過了需要的量，你會覺得效果還更差了。過頭了，過火了； 所以我今天節目的標題叫做：過猶不及。
  • Tim Bontemps:In a fitting end to an u
    In a fitting end to an ugly quarter, Terry Rozier flings in a 3-pointer from 30 feet at the buzzer, and Boston goes… https://t.co/dTYv4brCJr
  • 適可而止,過猶不及!
    過猶不及！人人都在絞盡腦汁，拼命爭取，幾人懂得適可而止，過猶不及？
  • 愛情的世界裡「過猶不及」
    其實一段感情最好的狀態毫無疑問是「勢均力敵」，當然沒有感情是能夠完全做到的，男孩本來就應該多一些付出，但是付出總該有個度，不能對方要什麼你就給什麼，需知人是有貪慾的，過猶不及，如果她想要的你給不了，那就不要去招惹。而對於女孩而言，多一些理性的索求，少一些無理的需要，過猶不及，即使今天你獲得的，未來可能也會失去。
  • 過猶不及,事緩則圓
    的確，過猶不及，事緩則圓。恰到好處是為人大智慧。行事不可任心，說話不可任口。《易經》有言：亂之所生也，則言語以為階。禍亂的初始，往往是從言語不當引起的。做人，應謹記：過猶不及，事緩則圓，適可而止。貪功急進，往往力不從心，獨木難支；過度攫取，資源匱乏，後續難繼，緣必早盡。唯有循序漸進，不斷調適，才可能達成所願，成為人生贏家。
  • 過猶不及
    積極心理學專題第14期 作者 | 安慰記準諮詢師餘泳藍編輯 | 安慰記店長王瑞1過猶不及【本期聲音】歡迎大家留言自己對於「過猶不及」的看法，你的快樂負載了嗎？
  • 你知道成語「過猶不及」的來歷嗎?
    「過猶不及」這個成語大家相信都知道，但它出自什麼典故，可能知道的人就不多了。這句話最早是出自於《論語.先進第十一》，原文是——子貢問：師與商也孰賢？子曰：師也過，商也不及。曰：然則師愈與？子曰：過猶不及。
  • 凡事不能太過,過猶不及
    凡事不能大過，過猶不及，也正是說的這樣一個道理，只要我們能把握一個度，完美是可以做到的，而做到完美的同時也懂得了如何保持完美——凡事不能太過，要懂得知足。如此，我們做任何事都會理性對待，讓自己的心進入一種全新境界，能夠笑對人生，在知足心理作用下，相信世界上沒有解決不了的問題，也懂得做任何事都不要貪得無厭，將「凡事不可太過，過猶不及」牢牢記在心裡，並付諸實施，給自己留有了足夠的餘地，絕不會庸人自擾，生活自然而然也是輕鬆自在，幸福無比。
  • 超模為你還原真實的Fitting
    一般到米蘭最忙的時候就是第一天，但慶幸的是有司機可以載我們，不知道省去了多少麻煩，不然每次趕電車fitting 、casting、走秀真的是「被趕路、找路、迷路支配的恐懼」。
  • [TV English] 適可而止,過猶不及
    從字面意思上來看，它指的是「一點點就夠了」，引申義更接近於「過猶不及」。Don't use too much hot pepper. A little goes a long way.又或者：A little hot pepper goes a long way.但這句話在引申之後也可以起到提醒別人「適可而止」的作用。
  • 過猶不及,凡事適度最好
    今天早課，我們繼續學習星雲大師的開示：過猶不及，凡事適度最好生活需要適度。世上的事做不盡，世上的財佔不完，人的生命是有限的，不要一味地向前拼，拼過頭了就沒意義了。我們做事要有張有弛，要有停頓，要有節制，要會善待自己，涵養自己。無相禪師行腳時，突然口渴，便四處尋找水源，這時看到有一個青年在池塘裡踩水車，無相禪師就向青年討了一杯水喝。
  • 每天學點國學:過猶不及
    子曰：「過猶不及。」【譯文】子貢問道： 「顓孫師和卜商誰更能幹？ 孔子說： 「顓孫師能幹過了頭，卜商有點趕不上。 子貢問道： "既然這樣，那麼是不是說顓孫師比卜商更強一些？ 孔子說： 「做事過了頭，和趕不上是一樣的。 然則： 既然如此，那麼.逾：勝過，超過.猶：如同。【見解】凡事皆有度，真理向前邁進一步，哪怕是一小步，就會成為謬誤。
  • Above,on與over的區別,如何理解over and over again中的over?
    不論是英語學習還是看歐美大片時，經常會聽到關於「在……上面」的表達，有時用over，有時用above，有時又用on……它們的用法之間到底有什麼區別呢？Above,on,over均可表示「在……上面」，那麼到底是上面的哪個位置？
  • 關心則亂，過猶不及
    回到對孩子中考高考成績與升學的關注，作家長或長輩的，關心出些主意即可，這有時已經讓自己心境難平，過於關心地想代替孩兒主張，那定是過猶不及
  • 戈森定律：欲望適可而止，情感過猶不及
    這定律是告訴我們，凡事過猶不及，掌握一個度很重要。就如上述所講的例子一樣，當一個人口渴時，總會覺得第一杯水最解渴，而後的水所起到的解渴作用逐次遞減，直到最後產生厭煩。總結：戈森定律用最簡單的話來解讀就是:欲望適可而止，凡事過猶不及。