美國大選最重要的一天——選舉日(Election Day)已經結束,但所有選票尚未統計完畢,這場年度美劇已經兩次大反轉,紅了又藍,藍中帶紅。
這次選舉的激烈程度超乎想像。川普和拜登、紅藍兩黨、白人中老年男性和少數族裔青年女性,川大智勝和登雲股份,甚至於太平洋對岸微信群裡的兩撥圍觀群眾,都吵得不可開交。
鐵鏽三州(賓夕法尼亞、密西根、威斯康辛)中後兩者的結果塵埃落定,亞利桑那的14票基本已歸拜登,焦點已經落在270-264=6票的內華達州,而目前開票86%的內華達,拜登仍保持0.6個點的領先。一旦內華達落入拜登陣營,川普就得開始打包行李搬家走人。
但是,特不靠譜團隊準備「最後一搏」,聲稱選舉結果存在大量問題,要求差距小於1個百分點的威斯康辛州重新計票、暫停重審密西根州的計票。共和黨一方最終選擇訴至最高法庭,會否改變結局也未可知。
但無論誰勝誰負,這次的最大輸家之一,一定有美國的民調機構們。他們猜中了開頭,但沒有猜中過程,也不知道能不能猜中結尾。
在2016年之後,民調機構這次錯得更離譜了嗎?
1824年的總統選舉,哈裡斯堡賓州人報(The Harrisburg Pennsylvanian)對路過的行人做了訪問調查,詢問他們會支持亞當斯還是傑克遜,這是歷史上第一次「民意調查」。在近200年間,民調機構的存在為指明和預測大選的結果提供了有效的證據。
但在2016年,幾乎所有民調都看好希拉蕊的情況下,川普意外翻盤,讓民調的可信度畫上問號。
在今年選舉日前,三大民調機構紛紛給出了自己的選舉地圖和預測數據,均認為拜登將以300-350張左右的選舉人票入主白宮。這次,他們又錯了。
RCP:預測拜登拿下319張選舉人票
資料來源:RealClear Politics,大七環
FiveThirtyEight:預測拜登拿下348張選舉人票
資料來源:FiveThirtyEight,大七環
270 to win:預測拜登拿下351張選舉人票
資料來源:270 to win-Map Based on Polls (No Toss-ups),大七環
實際上,川普在計票開始的前12個小時都來勢洶洶,表現超出預期,而即使拜登後半程有翻盤之勢,兩者也始終勢均力敵。
令民調機構們更為恐慌的是,他們不僅押錯了選舉人票,連四年前用來「挽尊」的普選率也與真實數字差距甚遠。當時,即使錯誤預判希拉蕊會取得勝利,但民調預測普選中希拉蕊領先3.3%,和真實數字2.1%非常接近。
11月2日,三家匯總各方民調的中立機構270 to win,538和RealClear Politics公布了對近期民調的統計數據,拜登在全國領先8個點左右。但實際上,截至11月5日中午,這個數字的實際值僅有2.5%,與預測結果整整相差6個點。
權威中立非盈利機構民調統計,至11月2日
資料來源:公開資料整理,大七環
美國大選奉行選舉人團制度,對50個州採取勝者全得的策略。對於傳統的「鐵票州」來說,事先的民調沒有太大意義。只有搖擺州的傾向會對最終的結果起到決定性作用。
莉莉安統計了一下,在大選前一周,各個搖擺州的民調數量都在10份以上,而在最重要的佛羅裡達、賓夕法尼亞和北卡羅萊納州,甚至在一周內出現了20份以上的民調。
但數量不意味著質量,民調在搖擺州的失準,對於最後的判斷是致命的。
民調結果顯示拜登能在大選中輕鬆拿下11個搖擺州中的8個,包括起決定性作用的佛羅裡達州和賓夕法尼亞州。
但事實上,四年前的噩夢再度上演。
川普在保住了擁有傳統優勢的俄亥俄、愛荷華和德克薩斯外,還勢如破竹地拿下了重磅搖擺州佛羅裡達州。而在其他搖擺州,都開始了與拜登長達兩天的拉鋸戰。
平均來看,在各個搖擺州,民調對拜登的優勢都出現了5%以上的高估。這甚至超出了四年前的差值。
民調與實際結果差距(截至11/5中午)
資料來源:公開資料整理,大七環
民調偏誤(實際川普得票率增加值)
資料來源:公開資料整理,大七環
但我們也要注意,仍有民調機構總給出「萬藍叢中一點紅」,比如Trafalgar這家被標註了「共和黨民調」的機構。它在2016年對最終結果的預測相對準確,今年,Trafalgar對共和黨非常看好,在大部分搖擺州都給出了川普領先2-5%的預測,這使得其更接近真實投票數據,比如其在佛州給出的民調數據(川普領先2.1%),和大選結果(川普領先3.4%)非常接近。
但正因為這家民調對川普的支持率估計一直高於平均,往往被指責具有黨派色彩。同樣遭遇的還有Rasmussen,這也是同樣被打上了紅黨標籤的民調機構。部分研究機構,例如經濟學人雜誌,在分析討論的時候認為這類民調「存在偏差」而棄之不用。
Trafalgar預測結果
資料來源:公開資料整理,大七環
但是具有民主黨色彩的民調機構,如PPP(Public Policy Polling)等卻並沒有面臨這樣的質疑和嘲諷。正是這種機構和媒體的偏見,使得民調染藍越來越嚴重,預測結果也越來越偏離現實。
但從結果看,唱唱反調,對最後預測的準確性未嘗不是好事。
為了預測誰將入主白宮,不同的學者、機構、企業紛紛出招,從調研到建模不一而足。從PredictIt這樣的博彩機構,彭博社、經濟學人這樣的研究類機構,到佛羅裡達大學教授Michael McDonald、美國大學教授Alan Lichtman等專家學者,紛紛在事先對今天的結果做出了預判。民調已經失準,那麼其他預測是否正確呢?
數字時代,更多的信息湧入,這個預測的黑箱該如何設計?怎樣才能輸出可信的預測?
第一類是正統民調派,這次的結果再次證明了他們的不靠譜。
第二類是硬核技術流。
「經濟學人」(Economist)雜誌綜合各州、全國民調數據和各類經濟指標數據,通過模型預測選舉人票分布和兩黨勝率。他們推測拜登獲勝的概率高達96%,其拿到選舉人的票數在253-415之間,他們給出的最終預測數字是356票。
經濟學人預測結果資料來源:Economist,大七環
彭博社(Bloomberg)同樣構建了自己的模型,對總統、兩會的選舉結果做了預判,至11月2日,他們推斷民主黨橫掃的概率高達32%,而拜登當選的概率則有64%。
彭博社預測結果
資料來源:Bloomberg,大七環
最近,中國的一家機構「圖勝科技」給出了極其複雜的理論模型,號稱「運用到神經網絡BP算法和聯合假設檢驗,綜合多項先進算法技術搭建的大選預測模型」,從經濟、就業、民調、疫情等多個角度,預測拜登當選的概率達78.8%。
圖勝科技預測模型
資料來源:圖勝科技,大七環
事實證明,理論派們的模型越複雜,可能離現實也更遙遠。
第三類是社會分析派。
美國大學(American University)的歷史學教授Allan Lichtman號稱在預測總統選舉上「四十年未嘗一敗」,他通過對每位競選者提出13個問題,包括政黨授權、競爭、謀求連任、第三黨、經濟、政策、社會、軍事外交等多個方面,如果這13點中有半數是肯定答案,則其會當選。在今年,他認為川普僅在4個問題上收穫正面答案,因此連任無望。
幾十年的精準判斷,在今年也許會馬失前蹄。
Allan Lichtman教授
在大量「藍潮」的預判中,還有一群研究者始終堅信川普將贏得選舉。
2016年在中外媒體對希拉蕊一片看好之聲中,部分研究人員通過判斷中國義烏市競選商品銷量作為美國總統選舉勝敗的預測指標正確判斷了川普獲勝,「義烏指數」在今年仍然另闢蹊徑預測川普將連任成功,但似乎這次不能再出奇制勝。
事實上,今年由於疫情,這一指數本身具有偏誤。第一,共和黨和民主黨選舉活動舉辦方式完全不同,前者人山人海而後者則採取社交距離;第二,進出口貿易受限,銷售數據可能有失真的危險。即使最後「義烏指數」的信奉者們正確預測了結局,但也只能說有湊巧的成分。
特不靠譜的民調機構已經努力變得靠譜了。
《文學文摘》雜誌(Literary Digest)在1916到1932年的5屆均成功預言了大選的結局。1936年,老牌民調機構馬失前蹄,而令其錯誤判斷結果的原因,就是其樣本選擇的偏誤。《文學文摘》的調研對象是雜誌的讀者,但在當時,能夠訂閱雜誌的對象都是高收入的人群,他們對羅斯福的社會經濟政策高度不滿,使得調查結果具有極大的偏誤,最終讓這份民調失準。
《文學文摘》雜誌
而同年,蓋洛普成立美國民意調查所,其作為新興調查機構不斷調整自己的抽樣方法來提高精度,更為準確地對大選結果做出了預判。在民調出現後的近兩百年中,技術的變遷和理論的進步,使得民調機構不斷修正自己的抽樣方法、採訪方式、統計方式、數據清洗等技術手段,來提高預測的精度。
在2016年的慘敗之後,民調機構更是付出了大量的努力來校正自己的結果。他們充分考量了樣本的多樣性,以更好地模擬全樣本。在2016年的一部分民調中,擁有大學學歷的人數佔比達45%,而實際美國人口中大學畢業生的比重僅有28%,過多的高學歷人群樣本導致對川普支持率的低估。所以今年,民調機構對於不同特徵人群,尤其是對不同教育程度人群的採樣更加全面,以彌補四年前的缺陷。
同樣,民調機構的調研方式因過於老舊,導致採訪對象過於單一而被攻擊,所以他們這次更多採取了線上、線下結合等方式,改變多年不變的電話調研的傳統。
電話訪談因為對象選擇單一而飽受攻擊
圖片來源:Photo by Paul Hanaoka on Unsplash
除此之外,由於單一民調可能具有傾向性,還誕生了諸如270towin這樣的第三方機構,對各家民調進行整合和再統計,希望能給出更為確切的結果。
但是,方法的不斷改進並沒有改變民調越來越失準的現實,特不靠譜的如果不是民調的方法,那到底是什麼呢?
第一,模型不是萬能的,不存在能完全刻畫現實的模型。
我們必須承認,現實太過複雜,抽樣樣本永遠無法代替全樣本。模型本身刻畫的是規律性、一致性,而決定現實的往往是偶然性和擾動項。
莉莉安有幸參與了上周的世界頂尖科學家論壇,諾貝爾經濟學獎得主Lars Peter Hansen就針對建模提出了質疑,如何把現實推導到模型的過程中,各種問題層出不窮,Hansen提出的三重不確定性,風險(risk)、模糊性(ambiguity)和錯誤設定(misspecification)。
Lars Peter Hansen教授
圖片來源:Flickr
風險指給定概率模型後未來結果可能存在擾動;模糊性指模型選擇有不確定性,難以判斷不同模型的準確性;而錯誤設定則指模型本身存在缺陷。
即使抽樣設計已近完美,準確地反映了全樣本的特徵,但在最後真實投票中,突發事件和「十月驚奇」們可能臨時性地改變人們的選擇,比如亨特·拜登的硬碟事件。
另一個嚴重的問題是不同的人群回答問題的概率並不一致,1980年「害羞的裡根選民」和四年前「壓抑的川普選民」一樣,接受調查的意願較低,或者並不願意公開承認自己的政治傾向。然而抽樣設計並不能解決這一問題,這一缺陷使得民調無法真實反映現實。
第二,人心的失準比模型的失準更嚴重。
今年,不同民調的數據差異非常懸殊,不同傾向的民調機構之間的差值超過10個點。對於分化的民調數據,不同分析機構、媒體或者普通民眾在選擇相信哪份民調時往往有先入為主的問題。
三州民調拜登領先點數分布,10/25-11/2
資料來源:公開資料整理,大七環
當自身對民主黨的執政理念更為信奉,或者對民主黨候選人更為崇拜,又或者是對川普有著更多惡感時,是否會對另一方的數據、民調視而不見呢?
比如在經濟學人的網站上,你無法搜索到Trafalgar和Rasmussen這兩家偏紅民調的數據。而在保守派媒體福克斯(Fox)的新聞裡,你也無法看到PPP、CNN這類偏藍民調中拜登大幅領先的數據。
自身的立場決定了你會相信什麼樣的民調和預測,並不斷尋找證據來論證自己的判斷。在對民調數據進行解讀時,需要站在更為中立的立場,用客觀的視角去判斷結果。
第三,美國社會的分化與撕裂才是特不靠譜的根本原因。
當下美國社會的分化,或者說世界的分化越來越嚴重。兩黨的價值觀越來越對立,各自陣營對對方的偏見和誤解也日益加深。
佛洛依德(Floyed)事件和隨之而來的「黑命貴」運動(Black Lives Matter);美股的一路狂飆和高淨值人群財富的增長;人山人海的共和黨選舉活動,而嚴格保持社交距離的民主黨選舉活動;以及大選日的夜晚,白宮外爆發的激烈對抗……無一不是撕裂的美國的縮影。
從選舉結果的變化上,也可見一斑。將選舉的結果和各郡自2016年的變化疊加在一起看,我們可以發現,這四年間藍州更藍,紅州更紅,沿海區域和內陸區域,城市和鄉村在政治觀念、意識形態上變得更加壁壘分明。
2020年選舉結果及變化傾向
、資料來源:New York Times,大七環
分化的兩派更加勢均力敵,互相撕扯,誰都沒有絕對的優勢。這使得中間派的決定性作用越來越強,而最難判斷的永遠是最後0.1%。
而一人一票和選舉人團制度,將每州微小的差距放大,比如威斯康辛州,拜登僅領先0.6個點,卻勝者通吃拿下了全部10張選舉人票。這種機制使得結果的偶然性越來越大,一點極小的擾動,就可能改變最終的結局。
四年之後,即使技術仍然難有寸進,即使依然「特不靠譜」,民調也依然會繼續。
但特不靠譜的並不是民調的技術或者方法本身,而是這個社會的裂痕難以彌合。在分裂的現實中,更需要大膽取證,小心求證,對於任何缺乏證據的片面之詞要更加謹慎,對於微小的偶然性事件也應當給予足夠的關注。
對於民調機構,對於美國的政客,對於即將上任的總統來說,與其說是修正預測選舉結果的方法,他們要做的,是如何和這個撕裂的美國共處。
點擊「閱讀原文」或後臺回復「都市圈」查看更多都市圈原創文章,歡迎關注微信公眾號「大七環」