公共管理研究中的實驗法:實踐引導 ——之實驗室法

2021-01-14 愛QPA

本文譯自Baekgaard, Martin, et al,. (2015). Conducting Experiments in Public Management Research: A Practical Guide. International Public Management Research Journal, 18(2), pages: 323–342.


導論

觀測數據多被用於定量和定性的公共管理研究中以解答一系列研究問題。然而,由於遺漏變量,逆向因果和其他的內生性的問題,從研究中獲得因果性的結論經常面臨一系列挑戰。單單通過觀測數據的使用並不能解決上述的問題,儘管各種各樣的技術可以被應用於事後補救,但是這些方法也並不能一直發揮作用。相比之下,實驗法的核心思想是搜集優質的數據,並且該數據被用於因果分析的時候並不需要事後的糾正和補救。這就是為什麼實驗法有時候被當做研究設計基礎的路徑來從事因果研究。

實驗法看起來像是一個解決因果分析研究所面臨問題的一個捷徑。但是,這似乎也不準確,做實驗研究可能看起來容易,但是這具有欺騙性。實驗研究者自身也同樣面臨一系列的問題。在文章的後續部分中,本文將探討在實驗法應用的研究過程中所面臨的一些挑戰,並提出相應的建議來解決面臨的問題。

這篇文章主要講述三種不同的實驗方法:實驗室法、田野實驗法和問卷調查實驗法。這三種實驗法是目前在公共管理研究中最具代表性的、被廣泛引用的方法。針對每一種方法,本文首先會對其在實踐中所面臨的挑戰和局限做一下簡單的描述,然後對每種實驗法的技巧、標準和共同的錯誤進行闡述。

在這次推送中,我們只對實驗法中的第一種方法——實驗室法進行簡單梳理。

實驗室法

自從伽利略的勻加速法以來,實驗室法就在科學界被廣泛應用。實驗室法通過創造性的構思和精確的操作讓研究者能夠有效的區別外生和內生變量。因此,能夠清楚地推斷變量之間的因果聯繫以獲得相應的結論。但是,實驗室法也存在重要的局限性。更精確的來說,實驗室的研究結果是否能夠應用到公共管理的現實當中引起大家的思考。這種外部效度的特殊方面被稱為生態效度(Morton and Williams 2010, 264–265)。

實驗室法在社會科學的不同領域的應用較少。儘管學者們承認這種方法的重要性,但是公共管理領域已經在很大程度上忽視了這種方法論(當然也有例外,例如James 2011; Knott, Miller, and Verkuilen 2003)。下面我們將對實驗室法如何發展和執行提供實證建議,也會羅列從事這類研究時存在的共同的錯誤。

本文將通過UTOS框架(Units, Treatments, Observations, and Settings)對實驗法進行講解。如同Cronbach所說,每個實驗都包含被用於比較的單位,包含實驗本身,包含基於單位的觀察和從事研究的一些研究設置(Shadish, Cook, and Campbell,2002, 19)。


1 單位(參與者或主體)

實驗室法的參與者經常包括學生。因為價格便宜甚至有時候只需要給予課程學分,學生群體比較容易被僱傭來作為隨機樣本。然而,就普遍性來說,實驗中僱傭學生群體一直以來被認為是存在潛在缺陷的(Sears 1986)。近期的研究已經發現成人群體與大學生群體在個性特徵方面的重大差別(Stewart 2008)。因此,當在實驗法中把學生當做參與者的時候,研究者應當詳盡描述為什麼這類群體能夠驗證研究中的假設解決研究中的問題(Morton and Williams 2010, 322–353)。另一類容易參與的群體是大學僱員。大學的僱員能夠表現出普通大眾的一系列的個性、價值觀、教育水平和年齡特徵,並且時間靈活,能夠在工作時間之前、之中和之後被召集到研究活動之中。

除了參與者的類別之外,研究者還應該慎重考慮匿名的問題。一個普遍現象是實驗參與者被實驗觀察者一直觀察的的時候,參與者會根據社會或者觀察者的的期望來調整自己的行為,使行為表現出差異性,這不利於研究結果的客觀性與真實性。並且,在大部分的實驗研究設計中,實驗研究者主要通過從特定樣本框中隨機選取參與者或者把參與者隨機分到不同實驗組中的方法來消除可能存在的信息來源偏見。隨著信息技術發展,計算機化的實驗法的推動能夠在最大程度上確保參與者的匿名性。

2 實驗

當網絡科技為科學研究的遠距離操控提供了可能,面對面的實驗研究加強對實驗刺激的管控。仿真性已經在公共管理研究中變得越來越重要,就如同背景因素對實驗中個人回應性起到重要角色。

識別出實驗效果的模式是至關重要的。首先,需要核實的是實驗是否有期望的效果和作用。然後需要思考一下實驗的一些潛在因素,如實驗中幹預(刺激)與回應的間距,效果的持續時間,實驗效果衰退的速度等。因此,研究者應當採用多種手段確保沒有額外其他變量能夠對結果造成影響(Harris 2008)。

實驗指導(可以使計算機列印也可以使用紙筆手寫)應當清楚地說明實驗如何進行、參與者被期望做什麼,標明在實驗過程中是否有社會互動、互動對象是誰,以及參與者的費用的支付標準。為了保證實驗指導的準確性和適用性,應當從事關於實驗的一些前期檢測。另外,在參與者正式參與實驗之前,能力和理解力方面的測試也應當進行。只有這樣,研究者才可以確定參與者的不同的行為並不是由於對實驗指導缺乏理解或者誤解造成的。

最後,研究者應當努力在數量和形式方面確保實驗的修正簡單話。如果研究者在實驗過程中加入太多的隨機修正,那麼研究就會有不能得到準確結論的風險。


3 觀察結果

從事一項研究,大量的文獻閱讀是必要的,這可以避免與其他研究的重合度也可以識別相關研究中的舉措。通過採納先前研究中的相關方法或者技術可以增強研究者在知識生產和積累方面的信心。

同樣的,背景方面的舉措可以通過對與研究目的密切相關的、之前已經存在的問題或工具來搜集到。這些舉措應當包括對實驗研究中參與者的隨機分配過程進行檢查,尤其是在規模較小的研究中。

獲取背景知識的時間根據不同研究的性質長短不一。一般來說,如果一項研究的時間超過15-20分鐘,參與者一般會陷入一種反應定勢的局面。如果研究時間持續相對較長,參與者的背景信息可以在研究開展之前或者之後獲取。然而,在這種情況下,要想維持保密性原則比較困難。一個可行的建議是給每一個參與者設定一個識別符號,這樣既能保證對每一個參與者進行區別,同時也能確保參與者的匿名性。如果一項研究時間相對較短,背景信息就可以直接在實驗結束之後或者開始之前獲取。在這種情況下,研究者需要注意背景信息不要對實驗過程造成影響。

4 研究環境

實驗研究法的最後一個因素是實驗環境。事實上,研究者的創造性在一定程度上可以提現到研究環境的設計上,這樣可以確保研究結果的真實性,從而增強結果的普適性。一個重要的選擇就是將實驗法置於參與者的自然環境當中進行是大學的實驗室,這被稱為在田野中的實驗法(Morton and Williams 2010, 296)。此外,也有許多工具被用於輔助計算機基礎上實驗室實驗法,其中一個是Fischbacher主導的zTree (2007). 其他一些基於網絡基礎上實驗室或者網絡實驗包括BoXS (Seithe 2012), ComLab (Miller, Prasnikar, and Zupanic 2009), EconPort (Cox and Swarthout 2006), Multistage (Palfrey, Yuan, and Crabbe 2013), PEET (Saylor 2009), SoPhie (Hendriks 2012), and Willow (Weel and McCabe 2009). 一些實驗項目也允許通過使用手機設備如classEx (Giamattei 2014)進行教室實驗。


常見錯誤與誤區

由於實驗室實驗法的複雜性,在研究項目的最後階段——研究者分析數據或者在最終寫作階段——研究者意識到研究結果與當前已有的理論相衝突。有可能是由於實驗法沒有考慮理論的某些特定方面或者是在操作過程中沒有嚴格按照程序執行。前者可以通過全面的文獻閱讀予以避免,後者也可以通過嚴格的操作質性和對實驗研究嚴格的審查得意解決。在具體的實驗室實驗過程中,我們會遇到一些常見的錯誤和誤區。

誤區一:實驗室實驗法需要非常複雜,使用非常多的變量和幹預手段來影響參與者對因變量的回應。本質上,無缺陷實驗的關鍵是簡單化,主要通過採用合理數量的幹預、遵循合理的實驗指導以及在合理背景下進行實驗操作。

誤區二:忘記還有控制組的存在。控制組的存在是很有必要的,它可以與實驗效果形成對比,以此來驗證實驗幹預的有效性與否。此外,確保物質刺激的合理性,確保對參與者的酬勞不會扭曲他們的行為並最終影響研究結果的科學性。


本次推送只是對實驗室實驗法做一簡單介紹,在後續的推送中我們將繼續跟進實驗法,或是繼續介紹其他實驗法,或是通過案例的形式對實驗法做深入解析。



相關焦點

  • 實驗法在教育課題中的應用
    一、實驗法實驗是指由研究者對一個變量進行操縱和對結果的有控制的觀察和測量來實現的一種科學的研究方法,實驗研究被廣泛地應用於自然科學的研究中,在教育研究中實驗研究法也是非常科學有效的研究方法。實驗法與觀察法的區別在於觀察法是在不改變或者不影響研究對象和研究現象的自然的條件下進行的,而實驗法卻要對研究對象和研究現象進行人為地控制或主動地幹預。
  • 教學方法之演示法和實驗法
    教學方法部分的知識點在教師招聘考試中多以選擇題的形式來進行考查,偶爾會涉及到主觀題的考查,但其重點考查的還是對題幹所用的教學方法的判斷和區分,只不過主觀題會涉及到定義的解釋以及使用方法的再現,所以在教師招聘考試的備考過程中,這部分的知識需要能夠理解並且記憶部分常考的教學方法的定義以及運用的基本要求。下邊來講解兩個常考且易混淆的教學方法。
  • 公共管理研究的熱點與重心
    上述研究多採用規範研究的方法,在對社會治理的價值觀、模式和方法的分析中得出了基本一致的結論,即認為建立多元合作的治理結構是人類在新的歷史條件下所做出的符合歷史發展趨勢的主動性選擇。在此前提下,對我國社會治理實踐的方向作出了構想,要求實現政府職能和角色的根本性變革。這些研究廣泛地運用了社會學、政治學等多學科的理論,反映出運用多學科的知識和理論去認識和理解公共管理實踐的要求。
  • 試點與實驗:社會實驗法及其對試點機制的啟示
    作者簡介:劉軍強,中山大學中國公共管理研究中心、政治與公共事務管理學院(廣州市,510275);胡國鵬,廣東外語外貿大學社會與公共管理學院(廣州市,510006)、中山大學政治與公共事務管理學院(廣州市,510275);李振,山東大學政治學與公共管理學院(山東省青島市,
  • We Want U丨清華大學公共管理與決策科學實驗室研究助理崗
    ★招聘單位公共管理與決策科學實驗室依託單位公共管理學院崗位名稱及崗位編號研究助理崗(3人)招聘要求及職責根據學院公共管理與決策科學實驗室平臺建設與發展的需要,現招聘3位研究助理。4.負責組織實驗室相關的學術交流活動、研討會等,聯絡跟進會務事宜。5.負責活動新聞稿的策劃與撰寫,相關報導的跟蹤、整理和總結。6.處理實驗室日常行政事務工作。7.按時完成上級領導安排的其它事宜。
  • 教育學易混知識點---演示法和實驗法
    今天與大家分享的是教育學中的一個易混知識點---演示法和實驗法。演示法是指教師通過展示實物、教具和示範性的實驗來說明、印證某一事物和現象,使學生掌握新知識的一種教學方法。實驗法是指教師引導學生使用一定的儀器和設備,進行獨立操作,引起某些事物和現象產生變化,從而使學生獲得直接經驗,培養學生技能和技巧的教學方法。實驗法常用於物理、化學、生物等自然學科的教學。從概念中,我們可以來區分兩種教學方法的不同。演示法,主要是教師做,學生看。而實驗法,主要是學生動手做,教師指導。
  • 紮根理論方法與國內公共管理研究
    隨著國內公共管理經驗研究的發展,一些源於西方的社會科學研究方法越來越多地被給予重視,質性研究領域頗負盛名的紮根理論方法(grounded theory)亦在其列,但由於對該方法由來及該方法中發展演變中的路徑分歧缺乏相對全面的理解和把握,部分文獻存在一些誤解和誤用。
  • 感覺如何被量化——實驗法
    網上各種教學如何觀察從男友的日常細節中去回答「愛你有多深」的問題數不勝數,有興趣可以去搜搜。還有一種大家熟知的方法——問卷測驗法。這樣的測驗網上有很多,讓用戶根據自己的日常行為和描述的符合程度進行打分,根據分數的高低來回答「愛你有多深」這個問題。除了以上的方法以外,還有一種大家平時接觸的並不是很多的方法——實驗法。用實驗法是怎麼研究這個命題的呢?
  • 施懿宸:公共建築能效提升的國內外實踐分析
    二、公共建築能效提升的國內實踐政策層面,針對公共建築節能,近年來我國從法律法規、規划行動、標準規範三個方面分別開展相應建設工作,早在2005年,原建設部就出臺《民用建築節能管理規定》,從法律法規角度要求執行建築節能標準,鼓勵通過採用新型材料提高建築物內各系統運行效率,利用可再生能源等措施降低建築能源消耗,此後各部委相繼出臺標準規範對建築綠色化評價、建築節能改造進行引導。
  • MPA資訊:共生理論及其在公共管理學科的適用性研究
    隨著理論研究的深入和實踐的發展,共生在內涵和外延兩個方面都得到了豐富和拓展。但是,內涵與外延的拓展並未促成學界對共生理解上的一致,相反由於學科傳統和學術傾向的迥異使得人們對共生概念產生了分歧,由此也就產生了廣義共生和狹義共生之別。狹義共生說認為共生是物種間互惠、互利的合作關係。德國科學家畢希納(Buchner)認為共生是兩種不相似有機體之間親密的持久的聯合併且傾向於將共生限制為互利的結合。
  • 2021考研心理學:發展心理學之實驗法
    實驗法是指對研究的某些變量進行操縱和控制,創設一定的情境,以探討兒童心理發展的原因和規律的研究方法。實驗研究是發展心理學研究的重要方法,其基本目的在於揭示變量間的因果關係。   實驗法可分為實驗室實驗和現場實驗兩種類型。
  • 2019年寧夏教師資格證筆試學前兒童發展中研究方法辨析
    今天我們為大家準備了與此相關的知識內容,來幫助大家克服關於研究方法方面的困難,避免在考試中出現相應的錯誤。   學前兒童心理學研究方法這類題目在歷次考試當中都會有所涉及,主要表現為單項選擇題的考查方式。雖然難度不高,但是能夠理解不同研究方法的優缺點、區分實驗法和觀察法、實驗室實驗法和教育實驗法等則變得尤為重要。
  • 學前兒童心理學研究方法中的那點事
    學前兒童心理學研究方法這類題目在歷年教師考試試題裡經常遇到,很多考生和學員也經常在這個題目中摔跤絆跟頭,尤其是區分不開實驗法中的自然實驗法與觀察法,所以中公教師今天特意為大家準備了關於研究方法這個知識點的相關練習題,希望能夠幫助大家對這個知識點有一個更深入的理解和記憶,以防於未然。
  • 多種方法綜合運用更有利於社科研究
    任何研究都應該從多個視角進行,採用多種方法,田野實驗法只是其中的一種。   什麼樣的研究方法最適合哲學社會科學,一直是學界爭論的熱點。近年來,越來越多的學者關注田野實驗法,認為該方法能夠提供精準數據,主動介入真實世界。而與此同時,也有人認為它具有局限性,在使用過程中易陷入倫理困境。
  • 謝宇方法論講座之五:選擇性、實驗法和評估研究
    今天的題目是選擇性,實驗法和評估研究。我會先把這個題目解釋一下,下一個定義,然後再講他們之間的關係。聽過我的講座的人可能會得到這樣一個共識,就是社會學研究中最根本的問題就在於因為選擇性的存在,觀察數據所提供的變量關係可能是虛假的。因為社會現象是多變的,是有差異的,因為這些差異性,我們在取樣時就會產生差異,如果你不注意這些差異的話,你得到的變量關係就有可能是表面上的虛假關係。
  • 教育心理學的研究方法都有哪些?
    教育心理學研究的具體方法技術很多,而基本的研究方法可以概括為描述的定量研究方法和解釋的質性研究方法。1.觀察法觀察法是一種有目的、有計劃地觀察記錄被研究對象行為活動的研究方法。觀察法是科學研究中應用最廣泛的一種研究方法。科學的觀察方法先要解決「觀察什麼」「如何觀察」「如何記錄」這三個問題。觀察法可分為自然觀察法和實驗室觀察法,常常要藉助儀器設備記錄被研究者的心理與行為。根據觀察要求的不同,又可以將觀察法分為長期觀察和定期觀察。觀察法是搜集研究資料的初步方法。
  • 「新時代公共管理知識體系反思與重建」學術研討會暨《公共管理與...
    >2「回歸故裡」:學者反思、寬容與學科成熟度高小平(中國行政管理學會原執行副會長、中國政治學會原副會長)3科學基金改革與管理科學發展楊列勳(國家自然科學基金委員會管理科學部副主任)4研究中國問題,講好中國故事李志軍(《管理世界》雜誌社社長)5理論建設要注重實踐和比較
  • 何穎:新公共管理理論方法論評析
    作為指導與總結這場運動的新公共管理理論不同於傳統公共行政理論,它是以經濟學理論為其理論基礎,提倡依靠自由化、市場化與競爭機制去變革公共管理的一種新的理論範式。這種新的管理理論範式改變了傳統公共行政學的理論基礎、研究主題、研究範圍、研究方法及其實踐模式,成為當代西方公共管理尤其是政府管理研究領域的主流。
  • 王松林:黃浦江兩岸濱江公共空間管理立法的必要性和可行性研究
    兩岸空間涉及的浦東新區、楊浦區、虹口區、黃浦區、徐匯區按照文件要求,建立和完善了相應的管理體制機制,開展了相應的管理、執法工作。二、綜合管理中遇到的主要難點濱江兩岸公共空間建設取得了預期效果,市民認為將黃浦江沿岸作為公共空間加以建設開發,真正做到了還江於民、還岸於民、還景於民,為上海市增添了美麗的濱水休閒遊覽之地。
  • 中央黨校出版社《公共危機與應急管理領導幹部讀本》出版
    《公共危機與應急管理領導幹部讀本》近日由該出版社出版。陳安長期從事應急管理、風險評估與預測預警等領域的研究,著有現代應急管理系列叢書以及災難人類學著作《中國災難文化》等。陳櫻花是江蘇大學管理學院副教授,長期從事公共政策、應急管理領域的教學與研究工作。