如何做好社會科學研究中的比較研究？如何避免量化研究的謬誤？

2020-08-27 政文觀止Poliview

查爾斯·蒂利（Charles Tilly）

如果我們相信課本並學習相關主題的論文，那麼我們就可以發現幾乎所有有效的比較中都是在尋找變化：通過檢視實例之間的系統差異來建立具有一種以上形式現象強度或變化特徵的原理的比較。事實上，充足多樣的種類之間存在非常個體化、統一化和全方位的對比。對尋找變化的比較來說，其優勢是有限的：在這個模型中，一個成功的比較生成了一個原則並且這一原則能很快適用於對新的案例分析。此外，在新的證據基礎上，它相對容易被證實、證偽或者修正。

案例研究

然而不幸的是，這些迷人之處雖然吸引著社會科學家，但也使得他們陷入到一些存在嚴重技術濫用的陷阱當中。在&34;（Great Blender）濫用的例子中，我們可以通過出現在統計手冊平行列中這一神奇的事實將數百個民族國家作為分析樣本，使之具備可比性，然後進行多元回歸分析或者因子分析來分辨發展、現代性、政治動蕩或者其他被平等定義的全球性概念的維度。在&34;（Ersatz Laboratory）的濫用例子中，調查團隊以不同的國家為研究對象，將一張共同的問卷翻譯成多種當地語言，在不同的國家內詢問受訪者個體或家庭層面可能進行比較的變量，在此基礎上將他們回答的結果編碼並進行標準化分類，然後將信息匯聚到一起，在跨文化差異研究中控制變量Z，分析變量X和變量Y之間的關係。我們不要忘記&34;（Cultural Checkerboard）的濫用，受聘的研究生通過閱讀大量的民族志和專著，記錄每一個&34;中父親的居住地、嬰兒的早期斷奶、男性青春期儀式、習俗和其他幾十種文化特徵，然後將他們的判斷輸入到&34;（Hollerith cards）當中，這樣一些人就可以運用統計分析來決定哪些&34;與剩下的社會最像或者哪一部分的文化特徵一起發生了變化。我們在檢視將社會變革視為一種&34;這一錯誤的觀點時，遇到了一些充斥謬誤的例子，但我無意再給你們加上任何沉悶的例子了。

民族志與定性研究

持允而論，並不是所有的量化比較都是在濫用真理。儘管量化方法會存在誤導這一弱點，但是比如對國家層面的收入分析能讓我們從精確的視角來觀察世界範圍內經濟活動的差異。如果人口學家沒有發明對關鍵比例的描述以及將對許多國家相對可比的測量方式進行標準化處理，那麼我們就會更難理解世界範圍內人口的變化。儘管人口普查有許多缺點，但它仍然是研究勞動力參與、生活條件、家庭結構以及年齡分布等國際差異的精確證據來源。從原則上來講，對混合數據的管理促成了統計，在許多不同的國家進行可比的調查（包括人口普查），對民族志上的觀察對象進行編碼提供了有意義的系統差異，抑制了我們自身將每天的生活作為衡量整個世界尺度的誘惑。比如，對時間—預算調查研究的國際標準化始於1960年代，說清楚了西方發達國家特別是美國公民用電視取代工作的時間有多廣。這是一個重要的現象，量化比較更能證明這一點。

因此，我並非認為量化研究無用，而是想說以量化研究為基礎的國際比較是沒有意義的，因為調查和民族志總是會出現造假的狀況。此外，我想說尋求差異的比較會在以下程度上變得更加危險和無用。

（1）研究的論據是鬆散指定的或未經說明的；比如探索發展（鬆散指定）和政治參與（鬆散指定）之間一般關係的研究。

（2）各單位之間的關係不同於所研究論點中規定的關係；比如該論點規定了一個發展序列，而數據只涉及到在同一時間點上觀察到的國家樣本。

（3）這些比較涉及許多單位，而這些變量對所提出問題的可比性不確定；例如，對工業化和家庭結構的研究使用了《聯合國人口年鑑》中所有國家的觀察值。

（4）它們將許多具有獨立性的單位同測量特徵之間的關係視為不確定的關係；例如，比利時、盧森堡、荷蘭、德意志聯邦共和國、瑞士、法國和列支敦斯登，然而在對這種關係的分析中似乎是單獨的情況。

（5）令人關切的是，許多衡量特徵之間的關係與所要檢視論點的可比性並不確定；比如，用全國選舉中投票的人口比例來衡量政治參與的強度，而不考慮註冊選民身份規定的變化或選舉作為獲得或失去權力的一種方式的實際意義。

（6）對這些特徵的測量結合了不同層級的加總，而這些加總與被檢驗的結論相關性不同；例如一些觀察（如國家軍隊的規模）指的是國家，而另一些觀察（如犯罪率）指的是個體層面事件的聚合。

（7）衡量這些特徵取決於對這些單位總體結構並不熟悉的人的判斷；比如學生助理將來自多個國家的頭銜分為12個相同的類別。

（8）所討論的判斷將複雜、具體的觀察化約成簡單、抽象的分類；例如這些學生必須判斷反對黨是否存在。

（9）分析程序將有關單元的觀測值與假設的模型進行比較（a）一個定義好的因變量；（b）這些變量具有依賴觀察的特徵；（c）這些特徵之間具有線性協變的關係；比如，研究者通過對聯合國內成員國未轉化的變量進行多元回歸分析來預估社會特徵之間的關係。

以積極的情緒來說，這些規定產生了以下有效比較的規則：（1）規範你的論點；（2）你觀察的單元要與你的論點相一致；（3）確保你的單元在你論點的範圍內可比；（4）要麼觀察你經過審慎思考認為它們是相互獨立的單位，要麼在論證和分析證據過程中特別考慮它們的相互依賴性；（5）確保你的測量與你觀點的範圍密切一致；（6）要麼將所有測量都聚合到同一層級，要麼按照聚合層級細分觀點和分析（7）當編碼的變量包括重要的信息時，一定要自己親手編碼，並特別小心地檢測它的信度；（8）最小化並且延緩將細節縮略成抽象類別；如果可能的話，讓減少的部分成為分析本身的一部分；（9）採用或者設計與你觀點邏輯密切一致的模型。

從積極的一面來說，這些原則看上去很像普通研究者之間的共識。然而很少的比較研究能達到這些標準，相反許多研究都遠未能達到。執行正確的規定和測量的努力似乎嚇到了一大批從事比較社會研究的學者。這是我發的牢騷。

文獻來源：Charles Tilly. Big Structures, Large Processes, Huge Comparisons. New York: Russell Sage Foundation, pp.116-119.

譯文：楊端程

相關焦點

  • 如何做好比較政治學研究
    無論自然科學還是社會科學，比較都是一個最核心的方法。政治學也毫不例外地強調比較方法的運用。事實上，比較政治學作為政治學中的一個分支一直處於政治學中的核心。但是，相比國際政治（含國際政治經濟學），比較政治學恐怕是我國的政治學學科體系中最為薄弱的環節。對於我國的比較政治學中存在的問題，學界已經有相當的探討。
  • 喬曉春：規範科學的社會科學研究，如何用數據說話
    來源：中國婦女報8月14日，北京大學喬曉春教授在山東女子學院舉行題為「如何做規範、科學的社會科學研究——以性別研究為例」的網絡視頻講座。喬曉春教授認為：社會科學研究者要知道如何用數據說話，學會和用好研究方法。「用數據說話」有一定規矩，需要遵循一定的程序，包括發現問題、提出假設、收集數據、分析數據、檢驗假設和得出結論。
  • 如何用量化方法進行用戶研究
    量化–發問卷作者最近剛完成了畢業論文初稿，做的課題是關於電子紅包的用戶研究，研究影響用戶使用紅包的因素。整個採用了問卷調查+實證研究的模式，簡單點來說就是發量表型問卷後分析數據，進行一些探索性或者驗證性的分析，從而得出一些深層次上的用戶研究的結論。這個方法最大的有點是：量化。把具體的問題用量表（即常見的1-5分打分）方式量化，進行深層次分析，讓很多用戶「說」出自己也沒意識到的對產品的看法和觀點。
  • 社會科學研究方法大梳理!
    比如別敦榮和彭陽紅將研究方法分為：理論思辨、經驗總結、歷史研究、調查研究、比較研究、數學分析、質的研究和個案研究；在國內，根據劉良華對研究方法的分類大體上有三個基本類型：實證研究（量化的、質化的）、思辨研究（又稱理論研究）、實踐研究（常以教育對策、教育反思、教育改革形式顯現）。
  • 計算社會科學:一種新研究範式
    迥異於傳統小數據無論是一般意義上的社會科學，還是計算社會科學，其量化研究都奠基於數據資料。單從名稱上看，「大數據」好像是在強調比傳統量化數據具有更大數量/規模，但二者之間在數據的性質上、與研究的關係上均存在質的差異。一方面，兩種數據的性質決然不同。
  • 賀雪峰:理論資源與經驗研究——如何才能寫出一篇好的社會科學博士...
    因此，進行社會科學研究的前提是學習社會科學理論與方法，在掌握了現有主要社會理論與方法的基礎上再來開展社會科學研究，才可能做出創新性的真正好的研究來。問題是如何掌握社會科學的理論與方法，怎樣才能掌握社會科學的理論與方法？
  • 大數據時代的社會科學研究新範式
    傳統研究方法往往通過主觀判斷或科學抽樣對資料的代表性和誤差因素進行控制，在此基礎上構建量化描述、假設檢驗、參數估計等一系列方法體系。而大數據的總體逼近特徵不僅是對數據資源的擴展，其理論基礎和技術構架更為社會科學發展提供了結構性變革的可能性。
  • 大數據應用於社會科學研究的價值與悖論
    為什麼社會科學研究能夠迅速對大數據做出響應?大數據在社會科學研究中有哪些應用?大數據應用於社會科學研究體現出哪一些價值?而它在應用中又有哪些悖論使其不能解決社會科學研究所面臨的問題?本文試對以上問題進行分析。
  • 超實用的量化研究方法給你!
    不再錯過任何一條夏令營信息準備好咯！
  • 如何用量化方法進行用戶研究 | 網際網路數據資訊網-199IT | 中文...
    量化–發問卷作者最近剛完成了畢業論文初稿，做的課題是關於電子紅包的用戶研究，研究影響用戶使用紅包的因素。整個採用了問卷調查+實證研究的模式，簡單點來說就是發量表型問卷後分析數據，進行一些探索性或者驗證性的分析，從而得出一些深層次上的用戶研究的結論。
  • 如何提出研究問題和研究假設
    是一個簡單而直接的問題，應該避免抽象而不具體的問題以及有太多變量的問題；e. 研究問題必須有可行性，也就是通過實驗、觀察、調查等可以找到答案的問題。對於剛剛起步的研究工作者，開始時要把研究問題定得簡單一點。但是簡單並不等於沒有深度和難度，不等於不能有重大發現。切記：「Garbage in, garbage out」，好的研究結果來自於提出好的研究問題。
  • SPSS+統計分析+SEM,想提升量化研究能力的你有福了
    我們知道，定量研究（Quantitative research）是與定性研究（Qualitative research）相對的概念，也稱量化研究，是社會科學領域的一種基本研究範式你瞧，隨著時間的推移，有越來越多的論文採用了量化研究方法，並且把「量化研究」的四個字直接就寫在了論文的篇名中——這意味著，量化研究已經成為這些論文的重要學術增量而存在，帶著妥妥地傲嬌感。
  • 從空間視角拓展人文社會科學研究領域
    從空間視角拓展人文社會科學研究領域 2019年07月24日 07:45 來源：中國社會科學網-中國社會科學報 作者：張杰 字號 內容摘要：在人文社會科學「空間轉向」的背景下，越來越多的學者認識到空間維度在人文社會科學研究中的重要作用
  • 如何避免學術研究的內捲化？
    在學術研究中，可將低水平重複、拾漏補遺、簡單問題複雜化等視為內捲化工作，因為這些工作是向內收斂的，而不是向外發散的。雖然科研人員從事這些工作容易發表論文，但這些工作幾乎不會拓展我們認識世界的知識庫，更不會從根本上提升我們對某一事物的認識水平，基本上是在原地轉圈圈。
  • EEG/ERP研究中如何獲得穩定可信的結果或效應
    因此，如何在EEG/ERP研究中避免P-hacking等問題，獲得穩定可信的結果或效應，是值得我們深思的一個重要領域。　　第一部分：EEG/ERP研究中喜歡或需要報告哪些內容？　　2.3 避免隱性多重比較（multiple implicit comparisons）？　　Luck等人2017年在《Psychophysiology》上發表文章專門探討了目前大部分ERP研究中存在的問題。其中一個問題就是：根據總平均的圖來選擇分析的時間窗口和電極點。
  • 「會議預告」DCL學術會議資訊｜量化社會科學——教學與科研網絡研討會
    DCL學術會議資訊｜量化社會科學——教學與科研網絡研討會來源：國際關係數據與計算實驗室微信平臺編輯：周悅會議詳情：量化社會科學——教學與科研網絡研討會會議主題：在《量化社會科學導論》中文版出版之際，作者、譯者和幾位相關領域學者共聚一堂，探討量化社會科學的教學、學習和應用。
  • 比較政治學研究範式的綜合性趨勢評析
    在複雜的政治安排中，各部分的作用取決於其在相互依賴的整體中的角色，而不一定是分解後的角色，將其分解進行研究與放在一個整體中進行研究其功能及其變化是不同的。比較研究者早已注意到「生態學謬誤」，即用集體的行為推斷內部個體的行為時極有可能與事實不符。
  • 如何提出研究問題和研究假設? 科學研究的方法(二)
    如何提出研究問題和研究假設？（1、2節請見本系列第一篇）在上節中（閱讀文獻與綜述的寫作），我講到對於剛進入研究領域的科學工作者，首先是需要進行閱讀文獻與寫作綜述。是與已有知識密切有關的問題，通過研究這個問題，其答案可以加深或擴大我們原有的認識；d.  是一個簡單而直接的問題，應該避免抽象而不具體的問題以及有太多變量的問題；e.  研究問題必須有可行性，也就是通過實驗、觀察、調查等可以找到答案的問題。對於剛剛起步的研究工作者，開始時要把研究問題定得簡單一點。但是簡單並不等於沒有深度和難度，不等於不能有重大發現。
  • 避開經濟學研究的思維陷阱
    在觀察和思考經濟學問題時，有些人經常會落入思維陷阱，如把相關等同於因果謬誤的思維陷阱、前因後果謬誤的思維陷阱、合成與分解謬誤的思維陷阱、訴諸個別和類比推理謬誤的思維陷阱。這些思維陷阱使人們無法科學把握經濟規律、無法正確運用經濟學理論來理解和分析現實世界，需要著力避免。
  • 教育研究中的科學主義範式與自然主義範式辨析
    科學主義和自然主義研究範式都對教育研究產生重要影響，但科學主義範式的「自然科學化」取向備受質疑，而自然主義範式則面臨著如何保障研究有效、可信的困境。同時「取得了一個範式，取得了範式所容許的那類更深奧的研究，是任何一個科學領域在發展中達到成熟的標誌」[2]。研究範式往往同時歸屬於若干個學科，它的價值和意義更多體現在方法論層面上，但不直接涉及學科本體性的內容。正常認為，幾乎所有學科的研究者都有自己的研究範式，教育學也概莫能外。在教育研究領域，科學主義研究範式日益成為一種強勢範式，對其進行介紹和研究的文章也比較多。