本文譯自Baekgaard, Martin, et al,. (2015). Conducting Experiments in Public Management Research: A Practical Guide. International Public Management Research Journal, 18(2), pages: 323–342.
導論
觀測數據多被用於定量和定性的公共管理研究中以解答一系列研究問題。然而,由於遺漏變量,逆向因果和其他的內生性的問題,從研究中獲得因果性的結論經常面臨一系列挑戰。單單通過觀測數據的使用並不能解決上述的問題,儘管各種各樣的技術可以被應用於事後補救,但是這些方法也並不能一直發揮作用。相比之下,實驗法的核心思想是搜集優質的數據,並且該數據被用於因果分析的時候並不需要事後的糾正和補救。這就是為什麼實驗法有時候被當做研究設計基礎的路徑來從事因果研究。
實驗法看起來像是一個解決因果分析研究所面臨問題的一個捷徑。但是,這似乎也不準確,做實驗研究可能看起來容易,但是這具有欺騙性。實驗研究者自身也同樣面臨一系列的問題。在文章的後續部分中,本文將探討在實驗法應用的研究過程中所面臨的一些挑戰,並提出相應的建議來解決面臨的問題。
這篇文章主要講述三種不同的實驗方法:實驗室法、田野實驗法和問卷調查實驗法。這三種實驗法是目前在公共管理研究中最具代表性的、被廣泛引用的方法。針對每一種方法,本文首先會對其在實踐中所面臨的挑戰和局限做一下簡單的描述,然後對每種實驗法的技巧、標準和共同的錯誤進行闡述。
在這次推送中,我們只對實驗法中的第一種方法——實驗室法進行簡單梳理。
實驗室法
自從伽利略的勻加速法以來,實驗室法就在科學界被廣泛應用。實驗室法通過創造性的構思和精確的操作讓研究者能夠有效的區別外生和內生變量。因此,能夠清楚地推斷變量之間的因果聯繫以獲得相應的結論。但是,實驗室法也存在重要的局限性。更精確的來說,實驗室的研究結果是否能夠應用到公共管理的現實當中引起大家的思考。這種外部效度的特殊方面被稱為生態效度(Morton and Williams 2010, 264–265)。
實驗室法在社會科學的不同領域的應用較少。儘管學者們承認這種方法的重要性,但是公共管理領域已經在很大程度上忽視了這種方法論(當然也有例外,例如James 2011; Knott, Miller, and Verkuilen 2003)。下面我們將對實驗室法如何發展和執行提供實證建議,也會羅列從事這類研究時存在的共同的錯誤。
本文將通過UTOS框架(Units, Treatments, Observations, and Settings)對實驗法進行講解。如同Cronbach所說,每個實驗都包含被用於比較的單位,包含實驗本身,包含基於單位的觀察和從事研究的一些研究設置(Shadish, Cook, and Campbell,2002, 19)。
1 單位(參與者或主體)
實驗室法的參與者經常包括學生。因為價格便宜甚至有時候只需要給予課程學分,學生群體比較容易被僱傭來作為隨機樣本。然而,就普遍性來說,實驗中僱傭學生群體一直以來被認為是存在潛在缺陷的(Sears 1986)。近期的研究已經發現成人群體與大學生群體在個性特徵方面的重大差別(Stewart 2008)。因此,當在實驗法中把學生當做參與者的時候,研究者應當詳盡描述為什麼這類群體能夠驗證研究中的假設解決研究中的問題(Morton and Williams 2010, 322–353)。另一類容易參與的群體是大學僱員。大學的僱員能夠表現出普通大眾的一系列的個性、價值觀、教育水平和年齡特徵,並且時間靈活,能夠在工作時間之前、之中和之後被召集到研究活動之中。
除了參與者的類別之外,研究者還應該慎重考慮匿名的問題。一個普遍現象是實驗參與者被實驗觀察者一直觀察的的時候,參與者會根據社會或者觀察者的的期望來調整自己的行為,使行為表現出差異性,這不利於研究結果的客觀性與真實性。並且,在大部分的實驗研究設計中,實驗研究者主要通過從特定樣本框中隨機選取參與者或者把參與者隨機分到不同實驗組中的方法來消除可能存在的信息來源偏見。隨著信息技術發展,計算機化的實驗法的推動能夠在最大程度上確保參與者的匿名性。
2 實驗
當網絡科技為科學研究的遠距離操控提供了可能,面對面的實驗研究加強對實驗刺激的管控。仿真性已經在公共管理研究中變得越來越重要,就如同背景因素對實驗中個人回應性起到重要角色。
識別出實驗效果的模式是至關重要的。首先,需要核實的是實驗是否有期望的效果和作用。然後需要思考一下實驗的一些潛在因素,如實驗中幹預(刺激)與回應的間距,效果的持續時間,實驗效果衰退的速度等。因此,研究者應當採用多種手段確保沒有額外其他變量能夠對結果造成影響(Harris 2008)。
實驗指導(可以使計算機列印也可以使用紙筆手寫)應當清楚地說明實驗如何進行、參與者被期望做什麼,標明在實驗過程中是否有社會互動、互動對象是誰,以及參與者的費用的支付標準。為了保證實驗指導的準確性和適用性,應當從事關於實驗的一些前期檢測。另外,在參與者正式參與實驗之前,能力和理解力方面的測試也應當進行。只有這樣,研究者才可以確定參與者的不同的行為並不是由於對實驗指導缺乏理解或者誤解造成的。
最後,研究者應當努力在數量和形式方面確保實驗的修正簡單話。如果研究者在實驗過程中加入太多的隨機修正,那麼研究就會有不能得到準確結論的風險。
3 觀察結果
從事一項研究,大量的文獻閱讀是必要的,這可以避免與其他研究的重合度也可以識別相關研究中的舉措。通過採納先前研究中的相關方法或者技術可以增強研究者在知識生產和積累方面的信心。
同樣的,背景方面的舉措可以通過對與研究目的密切相關的、之前已經存在的問題或工具來搜集到。這些舉措應當包括對實驗研究中參與者的隨機分配過程進行檢查,尤其是在規模較小的研究中。
獲取背景知識的時間根據不同研究的性質長短不一。一般來說,如果一項研究的時間超過15-20分鐘,參與者一般會陷入一種反應定勢的局面。如果研究時間持續相對較長,參與者的背景信息可以在研究開展之前或者之後獲取。然而,在這種情況下,要想維持保密性原則比較困難。一個可行的建議是給每一個參與者設定一個識別符號,這樣既能保證對每一個參與者進行區別,同時也能確保參與者的匿名性。如果一項研究時間相對較短,背景信息就可以直接在實驗結束之後或者開始之前獲取。在這種情況下,研究者需要注意背景信息不要對實驗過程造成影響。
4 研究環境
實驗研究法的最後一個因素是實驗環境。事實上,研究者的創造性在一定程度上可以提現到研究環境的設計上,這樣可以確保研究結果的真實性,從而增強結果的普適性。一個重要的選擇就是將實驗法置於參與者的自然環境當中進行是大學的實驗室,這被稱為在田野中的實驗法(Morton and Williams 2010, 296)。此外,也有許多工具被用於輔助計算機基礎上實驗室實驗法,其中一個是Fischbacher主導的zTree (2007). 其他一些基於網絡基礎上實驗室或者網絡實驗包括BoXS (Seithe 2012), ComLab (Miller, Prasnikar, and Zupanic 2009), EconPort (Cox and Swarthout 2006), Multistage (Palfrey, Yuan, and Crabbe 2013), PEET (Saylor 2009), SoPhie (Hendriks 2012), and Willow (Weel and McCabe 2009). 一些實驗項目也允許通過使用手機設備如classEx (Giamattei 2014)進行教室實驗。
常見錯誤與誤區
由於實驗室實驗法的複雜性,在研究項目的最後階段——研究者分析數據或者在最終寫作階段——研究者意識到研究結果與當前已有的理論相衝突。有可能是由於實驗法沒有考慮理論的某些特定方面或者是在操作過程中沒有嚴格按照程序執行。前者可以通過全面的文獻閱讀予以避免,後者也可以通過嚴格的操作質性和對實驗研究嚴格的審查得意解決。在具體的實驗室實驗過程中,我們會遇到一些常見的錯誤和誤區。
誤區一:實驗室實驗法需要非常複雜,使用非常多的變量和幹預手段來影響參與者對因變量的回應。本質上,無缺陷實驗的關鍵是簡單化,主要通過採用合理數量的幹預、遵循合理的實驗指導以及在合理背景下進行實驗操作。
誤區二:忘記還有控制組的存在。控制組的存在是很有必要的,它可以與實驗效果形成對比,以此來驗證實驗幹預的有效性與否。此外,確保物質刺激的合理性,確保對參與者的酬勞不會扭曲他們的行為並最終影響研究結果的科學性。
本次推送只是對實驗室實驗法做一簡單介紹,在後續的推送中我們將繼續跟進實驗法,或是繼續介紹其他實驗法,或是通過案例的形式對實驗法做深入解析。