關於異常值(Outlier),你真的了解嗎?

2020-12-05 InsightfulScience
更多精彩www.graphpad-prism.cn

在我們分析數據時,有時會發現一個值與其他值相差甚遠。這類值稱為 「異常值」,通常來說這個術語沒有嚴格定義。在Prism的非線性回歸中,異常值是遠離穩健回歸定義的最佳擬合曲線的點。

01為什麼會產生異常值?你需要先思考…

當你遇到異常值時,先不要急著把它從分析中刪掉。可以先嘗試問自己如下↓問題:

1)輸入到計算機的值是否正確?如果是數據輸入有誤,先修正;

2)試驗是否存在問題?比如,如果你注意到一根試管中的樣本看起來很有趣,你可以用它作為排除該試管中樣本所產生的值的理由,而無需執行任何計算;

3)是否由生物多樣性引起的?如果每個值是來自不同的人或動物,那麼異常值的存在可能是正確的。這類異常值,不是因為試驗錯誤,而是因為那個人的操作可能與其他人不同。這或許是你數據中最令人興奮的發現!

如果你對以上三個問題的回答均為「否」,那麼還有兩種可能:

4)異常值是由於偶然因素造成的。在此情況下,你應在分析中保留該值。該值與其他值來自相同的分布,因此應包括在內;

5)異常值是因為一個錯誤造成的。如錯誤的移液、電壓尖峰、過濾器中的孔洞等。由於在分析中包含錯誤值會使結果無效,此時是需要刪除的。也就是說,該值來自於不同於其他值的群體,並且具有誤導性。

當然,問題是你永遠不能確定這些可能性中哪一個是正確的。

02異常值並非總是「壞」點

非線性回歸通常可與實驗數據一起使用,其中,X為變量(例如,時間或濃度)或在實驗中調整的某些其他變量。由於所有分散都是由實驗誤差造成,而且我們幾乎確定這由實驗誤差造成,所以,剔除所有極端異常值很有意義的。

在其他情況下,每個數據點均可表示不同的個體。在此情況下,異常值可能不是由實驗錯誤造成,而是由生物變異引起的,或者是模型中未包含的其他變量的差異。此時,異常值的存在可能成為研究中最有意義的發現。儘管在此情況下,ROUT異常值方法標記異常值可能很重要,但是在未深入思考(或進行實驗)就自動排除這些異常值的情況下,就是大錯特錯了。

在質量控制分析中,異常值可告訴你失控的過程。在未先了解該數值遠離其他數值的原因時,不得刪除異常值,異常值可能告訴你某些重要的信息。

03何時需要剔除異常值?

像線性回歸一樣,非線性回歸假設理想曲線周圍的數據分散遵循高斯或正態分布。異常值可能違反了這一假設,並使非線性回歸結果無效。為處理異常值,Prism提供了自動異常值剔除功能:

?何時可以使用自動異常值剔除功能

我們在做實驗的時候難免會出現錯誤,這時可能會導致錯誤的值產生--異常值。即使是單個異常值也可能影響平方和計算,並導致誤導性的結果。有些同學可能會認為隨意剔除異常值是作假行為。其實那種通過特殊方式剔除「異常值」 ,特別是只剔除妨礙獲得想要結果的異常值時,才是作假行為。另外,留下以供分析的數據中的異常值也是一種作假,因為它可能會產生無效結果。

?何時不建議使用自動異常值剔除功能

1. 擬合錯誤模型時,異常值消除會產生誤導;

2. 數據點不獨立時,剔除異常值會產生誤導;

3. 所選加權因子不正確時,剔除異常值會產生誤導;

04Prism如何助你快速處理異常值?

在數據分析的過程中,我們需要首先識別異常值,然後判斷異常值是否需要剔除。GraphPad Prism專為這一問題提供了專業解決方法 - 穩健回歸和ROUT法,大家可以到GraphPad中國官網找到官方中文用戶指南具體了解如何操作~

相關焦點

  • Python數據清洗(三):異常值識別與處理
    異常值也稱為離群點,就是那些遠離絕大多數樣本點的特殊群體,通常這樣的數據點在數據集中都表現出不合理的特性。如果忽視這些異常值,在某些建模場景下就會導致結論的錯誤(如線性回歸模型、K均值聚類等),所以在數據的探索過程中,有必要識別出這些異常值並處理好它們。
  • 關於愛滋病,你真的了解嗎?
    關於愛滋病,你真的了解嗎?了解,預防,消除歧視!來源:人民日報客戶端原標題:《關於愛滋病,你真的了解嗎?》
  • 在數據中查找異常值的5種方法總結及示例解釋
    10年AER上關於中國主題的Articles專輯、AEA公布2017-19年度最受關注的十大研究話題, 給你的選題方向,2020年中文Top期刊重點選題方向, 寫論文就寫這些。,這40個微觀資料庫夠你博士畢業了, 反正憑著這些庫成了教授,Python, Stata, R軟體史上最全快捷鍵合輯!,關於(模糊)斷點回歸設計的100篇精選Articles專輯!,關於雙重差分法DID的32篇精選Articles專輯!
  • 箱形圖為什麼能檢測到異常值?
    在各種領域也經常被使用,常見於品質管理,快速識別異常值。箱形圖最大的優點就是不受異常值的影響,能夠準確穩定地描繪出數據的離散分布情況,同時也利於數據的清洗。想要搞懂箱形圖,那麼一定要了解...數據示例如下圖:BDP箱形圖結果:從上圖可以清晰的找出異常點,例如第二季度北京分公司的銷售額為22147元,該值比上限10759元還要大,所以定義為異常值。
  • 世界愛滋病毒日:你真的了解愛滋病嗎?
    世界愛滋病毒日:你真的了解愛滋病嗎? 今天 世界愛滋病毒日 關於愛滋病
  • 我的世界:海洋生物知多少,關於海豚的特性,你真的都了解嗎?
    ,它還有著浩瀚的海洋生物系統,今天就和大家聊一聊關於海豚的幾個遊戲設定!我的世界:海洋生物知多少,關於海豚的特性,你真的都了解嗎?外貌關於海豚的樣子其實剛開始的時候,海豚並不是我們現在所看到的樣子,海豚第一次出現是在17年的mc年度盛會宣傳片當中,當時官方有公布當時的截圖,海豚最初的樣子是有脖子的這個細節可以在官方的宣傳片上面看得到,但是現在我們在遊戲當中發現的海豚都是沒有脖子的,這一點你注意到了嗎?
  • 這些傳言是真的嗎?帶你了解關於珊瑚的小秘密
    人們對於珊瑚的喜愛由來已久了,但是真正了解珊瑚的人也不是太多,因此對於珊瑚的各種傳言也就不絕於耳際了,今天我們就來探討一下比較常見的幾個傳言吧。1、珊瑚是動物的屍體變成的珠寶我們知道,珊瑚是由珊瑚蟲形成的,它們在海中吸收二氧化碳與鈣,日後分泌出石灰石作為它們身體的骨骼,當珊瑚蟲死亡以後它們的屍體堆積起來,繼而在大海中石化,成為我們今天看到的形形色色的珊瑚,因此,「珊瑚是動物的屍體變成的」這一傳言是真的。
  • 關於雁蕩山,你真的了解嗎?
    你們了解雁蕩山嗎知道雁蕩山為何會被評為世界地質公園嗎?小編帶你一步步了解雁蕩山作為世界地質公園的魅力吧!雁蕩山世界地質公園東臨樂清灣,距溫州市70千米,距杭州市300千米。雁蕩山是一座有故事的山,她的一山一石記錄了億年前的一座復活型破火山演化的歷史。
  • 關於運動飲料,你真的了解嗎?
    原標題:關於運動飲料,你真的了解嗎? 但是,現在的飲料種類琳琅滿目,讓許多對運動飲料知識並不太了解的跑友,不知道去如何選擇,這也是十分頭疼的一件事。 因此,今天我們帶大家來認識下什麼才是真正的運動飲料。 什麼是運動飲料?
  • 你真的了解「水」嗎?這些關於水的秘密將顛覆你的認知!
    但你真的了解水嗎?有一些關於水的現象至今都無法解釋。五、水的產生關於地球上的水是如何產生的科學界有很多種看法,但至今都沒發下定論,有的認為地球形成的時候就有水了,瑞典斯德哥爾摩大學做了一項關於水的研究發現水其實由兩種液體組成,而且分離不出來,這讓我們對水的產生又有了更大的疑惑。
  • 關於我們腳下的這顆星球,你真的了解嗎?
    這個過程花了10至2000萬年,並且我們仍然沒有對它有一個完整的了解。(早期太陽系是一片混沌)差不多這個時候,太陽系還年輕且混亂,一個巨大的物體,大約和火星一樣大,和我們的家園相撞。所造成的影響十分劇烈,並且,如果當初的撞擊物更巨大,它可能摧毀地球。
  • 你真的了解美國嗎?關於美國,你可能並不知道的5個有趣的事實
    一提起美國,大家對它都有不同的印象,有好也有壞,但是我們無法全面地了解這個國家。今天,小編就給大家說說5條關於美國的冷知識,你都知道嗎?它們那裡有很多的商品,都是有增值銷售稅的,因此在最後結帳的時候,你要必須要支付高於商品價格標籤。藥店就是「便利店」當你去美國旅行,走進一家藥店,就會發現一排又一排的走道充滿了藥品、玩具、化妝品、衣服甚至雜貨!而這的確是美國特色,要知道在其它國家,藥店的主要特色就是出售藥物,或者一些保健品。
  • 你真的了解銳度嗎?銳度越大越好?關於銳度你必須了解
    那麼你有沒有在自身上找找原因?你真的了解銳度嗎?知道如何提升照片銳度嗎?本文就來聊一聊銳度。一、什麼是銳度?銳度(acutance),有時也叫做清晰度,簡單來說,就是描述邊界處影像信息過渡的快慢,高反差的過渡速度非常快,可以形成非常明確的邊緣,而低反差存在一定的過渡緩衝,表現在成像上就是模糊的邊緣。
  • 北鬥七星你真的了解嗎
    星河萬裡印長空,七星北鬥指乾坤;大家應該都知道北鬥七星,也就是所謂的勺子星,但是你真的了解北鬥七星嗎?所以講到這在南半球的朋友,就不用了通過北鬥七星來找北了,因為你在某些緯度根本就看不到北鬥七星,即使看到了北鬥七星,你基本也是找不到北極星的。
  • 魚的記憶真的只有七秒?關於記憶力你了解多少
    喜歡刨根問底的較真妹就在想,魚的記憶真的只有七秒?關於記憶力還有哪些冷知識呢?下面就讓較真妹帶著大家一探究竟吧!關於記憶力的這些冷知識大家掌握了嗎?快快分享給身邊的小夥伴吧~「全民較真」小程序,幫你了解更多健康知識。只需三步,就可以隨時查看使用!第一步:點擊上方任一題目,跳轉較真小程序頁面。
  • 你真的了解洗衣粉嗎?
    在日常生活中我們更是離不開洗衣粉,但你真的了解洗衣粉嗎?下面就讓我們一起來揭開洗衣粉的神秘面紗吧!洗衣粉的英文是Washing powder,是一種鹼性的合成洗滌劑,是用於洗衣服的化學製劑,合成洗滌劑是以表面活性劑為主要成份,並配有適量不同作用的助洗劑。洗衣粉的成分洗衣粉的成分共有五大類:活性成分、助洗成分、緩衝成分、增效成分、輔助成分。
  • 關於太陽,你真的了解它嗎?我們又該如何去研究?
    本文參加百家號科學#了不起的天文航天# 系列徵文快速地思索一番光學天文學就會讓你想像到這一研究多是在晚上發生的。難道這不就是各種恆星和星系出現的時刻嗎?然而,這個假設至少犯了一個明顯的錯誤:地球似乎靠近的是一個非常值得被研究的行星。
  • 漲姿勢|你真的了解北極熊嗎?
    漲姿勢|你真的了解北極熊嗎?不過,雖然北極熊的不少動畫形象都具有超高的知名度,但是,美國生命科學網想告訴你,關於它們,你了解的可能並不多。本文為編譯,有部分刪節。來源:news.yahoo.com1.
  • 你以為,你真的了解太空棉嗎?
    # 你以為你真的了解太空棉嗎 #