R語言中存在一些null-able values,當我們進行數據分析時,理解這些值是非常重要的。
通常來說,R語言中存在:
這四種數據類型在R中都有相應的函數用以判斷。
NANA即Not available,是一個長度為1的邏輯常數,通常代表缺失值。NA可以被強制轉換為任意其他數據類型的向量。
> a <- NA
> class(a)
[1] "logical"
> length(a)
[1] 1可以採用is.na()進行判斷。另外,NA和「NA」不可以互換。
NULLNULL是一個對象(object),當表達式或函數產生無定義的值或者導入數據類型未知的數據時就會返回NULL。
> b <- NULL
> class(b)
[1] "NULL"
> length(b)
[1] 0可以採用is.null()進行判斷。
NaNNaN即Not A Number,是一個長度為1的邏輯值向量。
> c <- NaN
> class(c)
[1] "numeric"
> length(c)
[1] 1
> is.finite(c)
[1] FALSE可以採用is.nan()進行判斷。另外,我們可以採用is.finite()或is.infinite()函數來判斷元素是有限的還是無限的,而對NaN進行判斷返回的結果都是False。
Inf/-InfInf即Infinity無窮大,通常代表一個很大的數或以0為除數的運算結果,Inf說明數據並沒有缺失(NA)。
> d <- Inf
> class(d)
[1] "numeric"
> length(d)
[1] 1可以採用is.finite()或is.finite()進行判斷。
缺失值NA的處理理解完四種類型數值以後,我們來看看該採取什麼方法來處理最常見的缺失值NA。
小白學統計在推文《有缺失值怎麼辦?系列之二:如何處理缺失值》裡說「處理缺失值最好的方式是什麼?答案是:沒有最好的方式。或者說,最好的方式只有一個,預防缺失,儘量不要缺失。」
1 直接刪除法在缺失數很少且數據量很大的時候,直接刪除法的效率很高,而且通常對結果的影響不會太大。
如數據框df共有1000行數據,有10行包含NA,不妨直接採用函數na.omit()來去掉帶有NA的行,也可以使用tidyr包的drop_na()函數來指定去除哪一列的NA。
drop_na(df,X1) # 去除X1列的NA
2 填充法用其他數值填充數據框中的缺失值NA。
2.1 df[is.na(df)]df[is.na(df)] = 0
2.2 replace_na()使用tidyr包的replace_na()函數。
replace_na(df$X1,5) # 把df的X1列中的NA填充為5
2.3 fill()使用tidyr包的fill()函數將上/下一行的數值填充至選定列中NA。
fill(df,X1,.direction = "up") # 將NA下一行的值填充到df的X1列中的NA除此之外,類似原理的填充法還有均值填充法(用該變量的其餘數值的均值來填充)、LOCF(last observation carried forward)、BOCF(baseline observation carried forward)、WOCF(worst observation carried forward)等。
3 虛擬變量法當分類自變量出現NA時,把缺失值單獨作為新的一類。
在性別中,只有男和女兩類,虛擬變量的話以女性為0,男性為1。如果出現了缺失值,可以把缺失值賦值為2,單獨作為一類。由於將缺失值賦值,在統計時就不會把它當做缺失值刪除,避免了由於這一個變量缺失而導致整個觀測值被刪除的情況。
4 回歸填補法假定有身高和體重兩個變量,要填補體重的缺失值,我們可以把體重作為因變量,建立體重對身高的回歸方程,然後根據身高的非缺失值,預測體重的缺失值。
參考資料:
謝俊飛《R語言中特殊值NaN、Inf 、NA、NULL》https://www.jianshu.com/p/9cf36b084e83《R null values: NULL, NA, NaN, Inf》https://www.r-bloggers.com/2018/07/r-null-values-null-na-nan-inf/小白學統計《有缺失值怎麼辦?系列之二:如何處理缺失值》https://mp.weixin.qq.com/s/G8NJdID9w6YxVp4JDNKO9Q