經管學苑
（ID：jingguan100）
由南開大學數量經濟研究所所長王群勇教授及其學術團隊主辦，旨在定期與大家分享計量經濟學的相關理論及軟體使用技巧，覆蓋經濟學、管理學、社會學、政治學等學科，為廣大學友提供優質學術內容掃碼關注
▲長按二維碼關注
文章來源：經管之家（ID：jgjgedu）
作者：徐定德
拿到一份數據，或者在看到國內外某個學者的文章有想法而自己手裡的數據剛好符合這個想法可以做時，在整理好數據後不要急於建模。一定要對數據做缺失值處理、異常值處理。在數據預處理的基礎上再進一步建模，否則可能得到錯誤的結果。
承接心得1，數據預處理怎麼做。一是缺失值的處理。我個人有幾個看法：一是數據樣本量足夠大，在刪除缺失值樣本的情況下不影響估計總體情況，可考慮刪除缺失值；二是數據樣本量本身不大的情況下，可從以下兩點考慮：1是採用缺失值替換，SPSS中具體操作為「轉換」菜單下的「替換缺失值」功能，裡面有5種替換的方法。若數據樣本量不大，同質性比較強，可考慮總體均值替換方法，如數據來自不同的總體（如我做農戶調研不同村的數據），可考慮以一個小總體的均值作為替換（如我以一個村的均值替換缺失值）。2是根據原始問卷結合客觀實際自行推斷估計一個缺失值的樣本值，或者以一個類似家庭的值補充缺失值。
承接心得1，數據預處理第二點異常值的處理。我大概學了兩門統計軟體SPSS和Stata，SPSS用的時間久些，熟悉一下，Stata最近才學，不是太熟。關於這點我結合著來說。
關於異常值的處理可分為兩點，一是怎麼判定一個值是異常值，二是怎麼去處理。判定異常值的方法我個人認為常用的有兩點：
1是描述性統計分析，看均值、標準差和最大最小值。一般情況下，若標準差遠遠大於均值，可粗略判定數據存在異常值。
2是通過做指標的箱圖判定，箱圖上加「*」的個案即為異常個案。
發現了異常值，接下來說怎麼處理的問題。大概有三種方法：一是正偏態分布數據取對數處理。我做農戶微觀實證研究，很多時候得到的數據（如收入）都有很大的異常值，數據呈正偏態分布，這種我一般是取對數處理數據。若原始數據中還有0，取對數ln(0)沒意義，我就取ln(x+1)處理；二是樣本量足夠大刪除異常值樣本；三是從stata裡學到的，對數據做結尾或者縮尾處理。這裡的結尾處理其實就是同第二個方法，在樣本量足夠大的情況下刪除首尾1%-5%的樣本。縮尾指的是人為改變異常值大小。如有一組數據，均值為50，存在幾個異常值，都是500多（我這麼說有點誇張，大概是這個意思），縮尾處理就是將這幾個500多的數據人為改為均值+3標準差左右數據大小，如改為100。
總結而言，我個人認為做數據變換的方式比較好，數據變換後再做圖或描述性統計看數據分布情況，再剔除個別極端異常值。
如何做好回歸分析。經過多次實戰，以及看了N多視頻，上了N多課，看了N多專業的書。我個人總結做回歸的步奏如下：
1是承接心得1-3，對數據進行預處理，替換缺失值和處理異常值；
2是將單個自變量分別與因變量做散點圖和做回歸，判定其趨勢，並做好記錄（尤其是係數正負號，要特別記錄）；
3是自變量和因變量一起做相關係數，看各個變量相關關係強弱，為下一步檢驗多重共線性做準備；
4是自變量多重共線性診斷。若變量存在多重共線性，可採用主成分回歸，即先將存在多重共線性的變量做主成分分析合併為1個變量，然後再將合併成的新變量和其餘自變量一起納入模型做回歸；
5是做殘差圖，看殘差圖分布是否均勻（一般在+-3個單位之間均勻分布就比較好）；
6是報告相應結果。
看到論壇上有網友問為什麼他（她）老師不建議採用後向步進法處理變量多重共線性。記得張文彤老師說過他有個同學做過一個研究，即採用後向步進法剔除變量的方式去做回歸，得到的結果犯錯的機率比較大。張老師也不建議用這個方法處理多重共線性。處理多重共線性比較好的方法是做主成分回歸。
有個朋友問我在報到回歸結果時用未標準化的回歸係數好，還是用標準化後的回歸係數好。我個人覺得這個問題仁者見仁智者見智，要看想表達什麼。具體而言，如果想表達在其它條件不變的情況下，自變量X每變化1個單位，因變量變化多少個單位，這種情況用未標準化回歸係數就好；如果想比較各個自變量對因變量影響的相對大小，即判斷相對而言，哪個變量對因變量影響更大。這時需要消除量綱的影響，看標準化後的回歸係數。
這是投稿一篇SSCI外審專家提出的意見。我做的是無序多分類logistic回歸模型。因變量分了5類，有一類個數比較多，達到300多，有1-2類個案比較少，只有30左右。專家提到了要做穩健性檢驗。這個用stata軟體編程加一個robust即可解決問題。不知道在SPSS裡面怎麼做。歡迎知道的朋友一起討論下。我個人認為這是一個好問題的。不做穩健性檢驗模型可能受一些極端值的影響，結果不穩定。可能本來顯著的變量剔除1-2個樣本後就變得不顯著了。所以做回歸分析穩健性檢驗也比較重要。
如果有可能，我希望在後面的心得中附上實際操作的步奏圖和解釋的。看看有沒有人需要這個。不然可能說的一些東西需要的人能看明白，但還是不清楚怎麼做。希望和大家一起交流學習。