原創 耿應祥、張忠繼 定量群學
數字時代，撲面而來的海量數據使社會科學研究者興奮不已，但信息的冗雜以及對數據產生、累積過程的不可知和不可控，也使得全面理解人類行為規律變得更為複雜。實證研究在面對個體所理解的情境和能動行為的相互作用上所面臨的挑戰與日俱增[1]。這種研究主體中的行動者的主觀意圖、目的、權力、利益、知識結構、價值和規則等，對研究產生影響以至於導致結論出現偏差的情況[2]，即是研究所面臨的「反身性」威脅。
下文介紹的第一篇論文Can Conversing with a Computer Increase Turnout? Mobilization Using Chatbot Communication[3]討論了互動性如何導致對以技術為媒介的交流的認知與個人交流類似，以及這種認知如何利用聊天機器人提高投票率的可能性；第二篇論文Using crowdsourced online experiments to study context-dependency of behavior[4]以眾包網站為例，探討了行為的情境依賴性。前者體現了應對反身性所採用的封閉性和自動化的路徑選擇，後者則體現了全面性、精確性和規則性的路徑選擇。
實驗一
心理學研究表明，人與聊天機器人的對話可以產生類似於人與人對話的情感效應，這種互動類似於人與人之間基於技術的簡訊互動而非單向幹預。該文要探討的是這類聊天機器人能否動員選民參與投票。所使用到的聊天機器人平臺是專門服務於選民與官員溝通的平臺，可以將選民的意見傳達給所支持的官員，選民也會收到一些政策提示。用戶加入此服務是本人自願申請。聊天機器人溝通界面如圖1。
圖1：聊天機器人溝通界面
研究者在威斯康星州無黨派最高法院大法官大選的前一天進行實驗，研究團隊沒有參與隨機分組和處理組的安排，聊天機器人利用計算機自動生成的隨機數將46,069名用戶隨機分配到對照組和處理組，分組情況由第三方存檔。處理組中，聊天機器人會提供關於選舉的提醒，提供投票地點的位置信息，以及給出一個建議：制定一個明天到達那裡的計劃（如圖2）。選舉結束後，聊天機器人將數據發送給一家專門研究選民數據的公司Catalist LLC，該公司對數據和實地投票選民數據進行匹配和分析。
圖2：聊天機器人選民動員
實驗二
眾包是發起者將一項工作在網絡上分包給工作者共同完成的行為，工作者基於獲得金錢報酬、熱情助人或打發時間等動機積極參與其中。眾包在線實驗為實驗室研究提供了很有價值的補充，將同質的決策情境轉移到各種生活條件和社會環境中。作者為了評估眾包實驗的內部有效性並證明經濟決策的情境依賴性，使用獨裁者遊戲和最後通牒遊戲加以研究。在這兩種決策情況下，參與者都必須在利己行為和社會理想行為之間做出選擇，所以兩項實驗設置測試了金錢激勵是否破壞了社會規範的力量，以及決策情境下的行為對制度條件的反應。
研究設計
首先通過對最後通牒遊戲和獨裁者遊戲中的賭注（0美元、1美元、4美元和10美元）的變化來評估眾包實驗的內部有效性；其次，通過設置不同情境考察參與者所在地理位置、區域富裕程度和當地社會資本等級等對行為誘發的影響。
實驗過程
招募：研究者在平臺上發布招募通知：做三個簡單的決策任務並回答一個簡單的問卷，根據玩家的表現提供0.5美元的獎勵和潛在的獎金。並設定美國和印度工人的條件限制，在參與實驗之前告知參與的匿名性、報酬給付準則和知情同意。
隨機化：將被試隨機分配到特定的賭注級別、遊戲順序以及遊戲中第一、第二決策者的角色，並且隨機與陌生人進行配對並完成遊戲。
指令告知：儘可能告知參與者可以進行的選擇和回報，避免提供具體的策略。另外，在每個遊戲中加入了一個步驟，即在參與者做出決定前必須正確回答問題，以保證參與者能正確理解遊戲規則。
數據收集：對於參與者遊戲中的行為數據進行記錄，在完成遊戲後要求參與者填寫一份簡短的調查問卷，包括社會人口變量、個體遊戲體驗、州一級地理位置以及參與過程中的物理和社會環境等變量。
報酬給付：對於完成實驗的參與者，給予0.5美元的參與獎金和0.5美元調查問卷完成的獎金，或在三個遊戲之一中給予獎金，這是一種隨機化的獎勵。獎勵通過眾包平臺進行給付，並且對於未全部完成的參與者不予獎金。
小結與討論
實驗一中的實驗情境選擇和數據分析外包，體現了實驗過程的封閉性，即使得研究對象和研究者都從研究過程中抽離出來，沒有在實驗過程中進行人為幹預，也沒有在實驗中暴露實驗屬性，線上平臺也儘可能規避了與研究對象之間的相互影響。而是由聊天機器人作為實驗設置的互動點，保證了實驗過程的自動化進行，一方面對研究對象的行為和反饋有即時記錄，另一方面，保證了實驗進行的中立性。實驗二中報酬給付準則的設置體現了規則要素，對參與者的道德風險有控制效果。在數據收集環節中對多方面數據的收集反映了全面數據化的想法，這使得數據的真實性和可靠性大為加強。實驗過程中的反身性，體現的是一種自我實現預言，上述手段，既避免了主體影響，也隔絕了研究對象的相互作用，並且使得整個實驗過程自動化、確定化、可監控和可預測。
當然，對反身性的徹底解決，還有待於進一步探索。如封閉性的實現較為困難，在實驗過程出現偏差需要實時維護、模型分析離不開主體介入等，另外，封閉性的實現與實驗倫理的平衡也尤為關鍵，同樣，規則的引入和中立性的保持也存在取捨的困境。最後，數據的全面性也考驗著數據的精確性。近年來，對參與者自我反饋報告、答題時滑鼠反應時長等分析[5]正在對線上實驗的缺陷形成彌補。（範曉光、程凡玲 校）
參考文獻
[1] 範曉光. 數位化與實證社會學研究方法困境化解[J]. 中國社會科學評價, 2020(3).
[2] 梁玉成, 政光景. 打破技術治理悖論——從「默頓系統」邁向「牛頓系統」的技術治理轉型[J]. 社會發展研究, 2020(1).
[3] Mann C B. Can conversing with a computer increase turnout? mobilization using chatbot communication[J]. Journal of Experimental Political Science, 2020:1-12.
[4] Keuschnigg M, Bader F, Bracher J. Using crowdsourced online experiments to study context-dependency of behavior[J]. Social Science Research, 2016:68-82.
[5] Ben Howell. Online psychology experiments: everything you need to know. Psychstudio, 2020.
作者 | 耿應祥 張忠繼（浙江大學社會學系碩士研究生）
校對 | 範曉光（浙江大學社會學系副教授）；程凡玲（美國紐約州立大學歐本尼分校博士研究生）
原標題：《線上實驗應對數字社會的「反身性」：基於兩個研究設計的比較》
閱讀原文