原創作者：胡婧煒
說起實驗，大家眼前首先浮現出來的場景可能是穿著大褂的科學家，堆滿試管儀器的實驗室，還有小白鼠等。我們經常也能聽到一些實驗，比如耳熟能詳的伽利略的「兩個鐵球同時著地」的實驗，改革開放或者扶貧政策實施前的試點工作，還有最近關於新型冠狀病毒肺炎的各種新藥和疫苗的實驗等。
實驗看似遠在天邊，其實近在眼前。我們每個普通人經常會有意無意地進行各種實驗。比如說，愛美的女士們，在鏡前試驗哪個色號的口紅讓自己看起來氣色更好；望子成龍的家長們，反覆考證哪一個培訓課程可以讓孩子的成績突飛猛進；還有肺炎期間宅在家中自學成才的各位「廚師」們，一定也反覆調整過配方來讓一道菜或一次烘焙更加成功。
為什麼要做實驗？
我們為什麼要做實驗？
儘管實驗的操作者既有天才也不乏凡人，實驗的設計有精準的也有與蹩腳的，一次實驗可能產生重大的發現也可能導致錯誤的推斷，然而每一個實驗背後的目的卻直觀明了：我們試圖通過這種手段，去發現紛繁複雜的現象背後，什麼是真正的原因，什麼是其導致的後果。
發現因果關係是科學研究的重要使命。Mill闡述過因果關係成立的三個條件：
(1) 原因發生在結果之前；(2) 原因與結果相關聯；(3) 除了該原因之外，沒有其他更合理的解釋。
實驗與因果關係這一邏輯不謀而合：首先，人們在實驗中先控制原因，然後觀測結果；其次，人們在實驗中可以看到原因的變化是否導致結果的變化；最後，在實驗中，人們可以通過不同的方法來排除其他一些不合理的解釋。因此，實驗是自然科學與社會科學中研究因果關係的一種廣泛使用的方法。
隨機分組：隨機實驗設計成功的關鍵
經典的隨機實驗要求將被試隨機分派到不同實驗組或者控制組。
舉例來說，我們想通過實驗來發現某一個網絡英語課程是否能改善學生的英語成績。在這個實驗中，幹預條件是學生上這一門網絡課程。
通過比對上過這門課的學生和沒上過這門課的學生的英語成績，我們來推斷這個課程是否有提升英語成績的功效。
在這個隨機實驗中，非常關鍵的一個因素就是參與實驗的被試被隨機分派到實驗組（隨機組A）和控制組（隨機組B）。也就是說，一個被試被分派到組A還是組B是完全由機率決定的，而不是受其他因素影響的，就像我們扔一個硬幣，正面被分派到組A，反面分派到組B。
為什麼隨機實驗中隨機分組這麼重要？隨機分組能夠確保組與組之間無論是在可觀測到特徵上還是在不可觀測到的特徵上都是等同的，它們之間唯一的差異是幹預條件的不同，這樣如果我們最終觀測到了結果上的差異，我們才能夠說這一差異是由實驗條件決定的，而非其他條件決定的。
在上面的例子中，如果分組不是隨機的，比如我們讓被試自願選擇是上這個課還是不上這個課，然後我們發現上完課的組在英語成績上明顯好於沒有上課的組，我們一定能將其歸功於這一網絡英語課程嗎？
試想一下，自願選擇上課的組可能原本英語成績就好於自願選擇不上課的組，他們對英語的興趣更濃，因而向來英語成績就好，也更有興趣選擇上一這門網課。
另一方面，即便二者一開始在英語成績上旗鼓相當，自願選擇上課的被試想改善英語成績的動機可能更加強烈，他們上不上這門課，成績的改善都會好過不上這門課的被試；而那些自願選擇不上課的被試，他們即使上了課，最終成績可能還是比不過那些自願選擇上課的被試。
也就是說，在沒有隨機分組的情況下，上完課的組的英語成績好於沒有上課的組的英語成績，可能和這個課並沒有什麼關係，而是由其他因素決定的。
社會調查和市場調查中用到實驗的場景很多，比如通過實驗比較不同的測量工具的測量效果，通過實驗比較不同的文字、圖片、視頻材料對受訪者行為與態度的影響等。
在調查還沒有計算機化的時代，隨機分組由工作人員通過隨機數等方式來確定，這一過程很容易受到人為的影響（比如，訪員為了迴避難以執行的實驗條件而隨意改變分組），從而影響到實驗的結果。計算機在隨機分組上有獨到的優勢。下面我們通過兩個例子來講解如何做實驗。
實驗題設計一：正向量表 VS 負向量表
有些研究者認為量表的方向會影響受訪者的答案——受訪者更傾向於選擇量表的起始端，而不管量表實際的方向是什麼。
簡單來說，如果量表是正向的，受訪者更傾向於表達正向的觀點；而如果量表是負向的，受訪者則更傾向於表達負向的觀點。
要檢驗量表的方向是否會影響受訪者所填報的答案，我們可以這樣來實施這個實驗。假設我們提問受訪者這樣一個問題：
您是否同意如下觀點：在家辦公可以提高工作的效率。
針對這一問題，我們使用的幹預條件是量表的方向。其中正向的量表是：非常同意1—2—3—4—5 非常不同意。負向的量表是：非常不同意1—2—3—4—5 非常同意。
根據上文的論述，我們需要將受訪者隨機指派給正向的量表（隨機組A）和負向的量表（隨機組B），如下圖所示：
我們在調研家問卷設計平臺這樣操作這個實驗：第一步，在問卷編輯界面錄入這兩道問題。可以看到，這兩道題唯一的區別是量表的方向，即量表兩端的標籤不同。
第二步：點擊左側面板中的「邏輯」（①），進入邏輯設置頁面，在「隨機」一欄，選擇「問題隨機」（②），點擊右上方的「增加問題隨機邏輯」（③），出現了問題隨機設置頁面，點擊「添加問題」（④）：
第三步：在上一步點擊「添加問題」後，選中我們剛剛錄入的兩道問題（①），並將隨機出現問題的數量設置為1（②），即表示每位受訪者將隨機指派給這兩道問題中的一道。然後點擊右上方保存（③），這個隨機實驗就設置好了。
在數據收集完成後，我們可以觀察組A選擇非常同意的比例是否顯著高於組B，並據此作出量表的方向是可以影響受訪者答案的推斷。
在上一期的文章中，我們提到了上下文效應（回顧《那些年我們踩過的「坑」：淺談數據收集的各種效應（Effect）》）。沿用上一期的題目，受訪者將被隨機分派到以下A、B兩組的一組。
A組：
· A1你支持已婚女性因為不想要更多孩子而墮胎嗎？
· A2你支持因為胚胎缺陷而墮胎嗎？
B組：
· B1你支持因為胚胎缺陷而墮胎嗎？
· B2你支持已婚女性因為不想要更多孩子而墮胎嗎？
我們想要檢驗在沒有受到「因胚胎缺陷而墮胎」一題影響的情況下（即A組，受訪者先回答「因不想要孩子而墮胎」一題，不會受到「因胚胎缺陷而墮胎」一題的影響）和受到「因胚胎缺陷而墮胎」一題影響的情況下（即B組，受訪者後回答「不想要孩子而墮胎」一題，會受到「因胚胎缺陷而墮胎」一題的影響），受訪者支持「因不想要孩子而墮胎」的比例是否有顯著的不同。
與上一個例子不同，這裡每一個實驗組都需要回答兩道問題。如果沿用上一個例子的方法，儘管我們可以設置為4道題隨機出現2道，但並不能控制出現哪兩道。而實際的需求是，A1必須和A2綁定在一起出現，B1必須和B2綁定在一起出現。在這種情況下，我們需要用到題組隨機。
同樣，第一步：在問卷編輯界面錄入問題。注意，此時我們需要將兩組問題錄製在兩個題組中：
第二步：點擊左側面板中的「邏輯」（①），進入邏輯設置頁面，在「隨機」一欄，選擇「題組隨機」（②），點擊右上方的「增加題組隨機邏輯」（③），出現了題組隨機設置頁面，點擊「添加題組」（④）：
第三步：在上一步點擊「添加題組」後，選中我們剛剛錄入的兩個題組（①），並將隨機出現題組的數量設置為1（②），即表示每位受訪者將隨機指派給這兩組問題中的一組。然後點擊右上方保存（③），隨機實驗設置完成。
註：此題也可以用隨機順序的方式實現，受篇幅限制，此處不贅述。
在數據收集完成後，我們觀察組A支持「因不想要孩子而墮胎」的比例與組B支持「因不想要孩子而墮胎」的比例，並據此作出上下文效應是否存在的推斷。