問卷設計對於社會調查研究的重要性是不言而喻的,一個好的調查問卷不僅反映的是設計者的水平和能力,同時也能反映出設計者理論結合實際的能力。但是無論設計出多麼好的問卷,在現實調查當中總會遇到或多或少的問題。為什麼會這樣?主要是因為社會的複雜性,而調查對象是一個個的個人,這些個人是不同的,再高明的問卷設計者也不可能考慮到所有調查對象的需求,而且對同一個問題,不同的人其看法肯定是不相同的。因此,做一次問卷調查,大家就會對問卷有一些這樣那樣的看法,這些看法,一方面可以幫助我們重新認識自己設計的問卷,另一方面,則為下次設計問卷提供了一些有意義的經驗和教訓,有助於避免犯同樣的錯誤。陝西省社會科學院做的陝西(延安)公眾「獲得感」調查研究,其問卷遵循了問卷設計的基本原則,而且也考慮到陝西(延安)民眾的實際情況,對問卷進行了反覆推敲和改進,並且進行了試調查,但是當真正開始做調查時,依然發現問卷存在不少問題,在調查結束後,對這些問題進行分析研究,有助於重新認識問卷設計應遵循的基本原則,也有助於我們理解調查對象的需求,繼而為再次設計問卷提供一些經驗上的幫助。
一、陝西(延安)公眾「獲得感」調查背景介紹
習近平總書記在陝西考察期間,提出了「五個」紮實,以推進陝西發展,陝西省委省政府,根據習近平總書記的「五個」紮實,結合陝西實際情況,對「五個」紮實做了更為細緻的解讀,提出了一些更為具體的落實「五個」紮實的措施。這些措施涉及到發展方式、農業現代化水平、農民收入、教育改革、社會治安、反腐倡廉等20個方面。陝西省社會科學院就是以此為依託,研究陝西公眾對推進「五個」紮實的期待與獲得感,從而了解民眾對習總書記「五個」紮實和省委省政府政策的熟悉了解程度,即調查「五個」紮實和省委省政府政策的落實程度或見效程度。「公眾對推進『五個紮實』的期待與『獲得感』研究是陝西省社會科學院重大課題項目,共選取了西安、延安和漢中三個地方作為調查區域,延安的調查對象主要是延安市區的民眾。為便於延安方面的調查順利進行,將調查員(學生)分為5個小組,抽樣線路選擇東關——百米大道、王家坪——中心街、蘭家坪——棗園、延大——師範——大砭溝和南橋——市場溝,共五條調查線路。調查總共用了一天時間,共調查問卷230份,回收率100%,有效問卷215份,達到了預期的調查目的。雖然調查工作完成了,但是調查存在的問題,尤其是民眾對於問卷設計提出了一些自己的看法,這些看法也並不一定都合理,且大部分民眾本身並不懂得問卷設計,但是這些看法的確也反映出問卷設計中存在的一些問題,這些問題有主觀的,也有客觀的。因此,調查結束後進行總結,對這些問題進行梳理和分析就顯得尤為必要。
二、問卷設計的重要性
好的問卷是調查成功的前提,問卷設計如果失敗了,那麼調查成果的可能性是沒有的,從筆者所做的一些調查來看,這應該是沒有什麼可值得懷疑的。另外,關於問卷設計存在的問題,這並不是一個新問題,而是一個有待繼續完善和解決的問題,因為對於不同的調查研究,其問卷設計存在的問題是不一樣的,而問題的出現,一方面說明做問卷設計是件有難度的事情,另一方面則說明做問卷設計對於調查研究來講是非常重要的,即在通常情況下問題與重要程度成正比,問題越大,重要程度也越高。「對於問卷質量的把關完全依賴於作者自身,依賴於自我約束和學術良心,讀者並無從判斷,問卷的質量也就成了問卷調查研究中的隱性問題,儘管非常重要,卻常常被忽略。」因此,好的問卷並不是設計出來的,而是經過實踐檢驗出來的,設計者只能在理論層面去把握,卻無法把握問卷在調查過程中村在的問題。由於調查對象是人,即便是同質性的調查對象,對同一個問題的看法也是有很大差異的,比如,對某個學校的學生進行調查,即便是同一個問題,大家的認識和看法肯定是不同的。
問卷設計的重要性,一方面源於收集數據資料的需要,如何收集大量有效的數據資料,需要好的方法,一般研究者都會選擇設計問捲來實現這個目標,主要原因就在於問卷由調查對象自己完成,可以有效避免外界幹擾,所得數據的可靠性程度較高。問卷設計的重要性,另一方面則源於調查研究目的,調查研究目的是調查研究的意義和價值所在,為了實現這個意義和價值,就需要開展問卷調查,分析調查對象的基本情況,然後根據分析設計問卷,使問卷能引起調查對象的興趣和積極性,從而配合完成調查,因為調查說白了其實就是要尋找支撐研究結論的依據,而這個依據主要來源於問卷調查得出的數據。鑑於此,問卷設計就成為社會調查研究中最常使用的收集數據資料的方法,且問卷法比其它收集數據資料的方法更嚴謹、更科學、更規範。
三、陝西(延安)公眾「獲得感」問卷設計存在的問題
陝西(延安)公眾「獲得感」問卷是經過陝西省社會科學院老師反覆推敲設計出來的,從形式和內容上看,這份問卷是沒有什麼大問題的,但是從問卷設計的要求及調查過程中調查員和調查對象的反映,這份問卷還是多少存在一些問題,這些問題也並不是陝西(延安)公眾「獲得感」問卷獨有的,而是一個共性的普遍存在的問題。具體來講,陝西(延安)公眾「獲得感」問卷設計存在的問題主要有以下五個方面:
(一)問卷結構設計不完整
一般情況下,問卷的組成部分主要包括封面信、指導語、問題、答案、編碼等,由於每個部分都有其作用,所以好的完整的調查問卷會涵蓋所有這些組成部分。如果問卷缺少了相應的組成部分,則會給調查帶來一定程度的困難,這自然就對調查員提出了更高的要求,需要給調查對象進行解釋。陝西(延安)公眾「獲得感」問卷的結構設計就是不完整的,主要缺兩塊:一是沒有封面信,沒有封面信,調查員就需要給調查對象解釋調查目的、調查單位和調查員的身份,這不僅浪費了時間,還增加了調查對象的疑慮;二是沒有規範的指導語,只給個別需要注意的問題後面注了作答要求,沒有指導語容易給問卷作答造成一定的麻煩和困難,在實際調查過程中的確出現了不少問題,比如調查對象就問是畫圈、打鉤,還是用其它標示方法,這樣顯得問卷卷面作答比較凌亂。由此可見,問卷結構的完整性程度會影響調查時間和調查效果。
(二)問卷問題順序安排不合理
「在問卷調查中,調查對象的興趣和情緒也會與問題的排列順序有關,因此設計併合理調整問題的排列順序可以促進調查對象積極配合調查,提高問卷調查的效率。」陝西(延安)公眾「獲得感」問卷在問題順序安排上也存在不合理的情況,主要表現在兩個方面:一是個人信息資料置後,將個人信息資料置後最容易造成調查樣本比例失衡,尤其是職業、年齡、經濟狀況不好把握,這樣難以保證調查樣本的異質性和多樣性,樣本代表性就差,這次調查儘管對調查對象有了明確的要求,也設計了樣本控制表,但由於把個人信息資料置後,等調查對象做完問卷時才發現這類調查對象已經做了很多,其它的很少,甚至沒有;二是一開頭就是開放式問題,直接就問「提到『獲得感』,您想到的是:」這讓不少調查對象摸不著頭腦,也不清楚意思,調查員要解釋半天,然後才能開始作答,從調查效果上講,這個問題應該置後,至少不應在問卷的第一個問題出現。由於問題順序安排不合理,本次調查中,就有不少調查對象不願意做開放式問題,致使剛開始做調查時,速度特別慢,需要調查員引導調查對象作答第一個題。
(三)問卷問題書面語過多
問題是問卷的主體,是問卷最重要的部分,「也是問卷設計的主要內容」 [3]。問題設計的好壞不僅關係問卷的質量,更直接影響調查的結果。陝西(延安)公眾「獲得感」問卷設計了20個問題,再加上個人信息資料,共有27個問題,由於不少問題都有追問,所以從題量上來講,是不少的。從問題的表述上來講,陝西(延安)公眾「獲得感」問卷最的大問題就是書面語過多,沒有把書面語給予一定程度的轉換,對於受教育程度較高的調查對象來講,基本不存在問題,而對於受教育程度較低的調查對象則情況就大大不同,就拿開頭的第一個問題來講,「提到『獲得感』,您想到的是:」,看到這個問題,調查對象就要想,什麼是獲得感,如果不能理解獲得感的意思,那麼自然難以回答這個問題,從調查結束後反饋的信息來看,基本上每個調查對象都會反問調查員,什麼是「獲得感」,由於調查員只是進行了簡單培訓,再加上某些調查對象的文化程度較低,理解力差,調查員對於「獲得感」的解釋,還是令不少調查對象不滿意。再比如第十題「請您對陝西近年來社會經濟發展狀況進行評價」,這個問題也是太過書面話,因為社會經濟發展狀況這個問題對於一般民眾來講是說不清楚的,讓他們評價只能是亂作答。因此,問卷書面語過多會影響調查對象的積極性和興趣,需要儘量避免。
(四)問卷問題有一定的傾向性
在設計問卷時,要儘量避免使問題帶有傾向性,「即問題的提法和語言不能使被調查者感到應該填什麼,或者感到調查者希望他填什麼」[4]。陝西(延安)公眾「獲得感」問卷問題的傾向性主要體現在問題的兩極分化太大,積極正面的問題和消極反面的問題形成鮮明對比,這容易給調查對象造成認識上的誤區,要麼全選積極正面的,要麼全選消極反面的。比如,在調查過程中,一個調查對象全選了積極正面的答案,當調查員提醒他其它方面沒有嗎?他立刻將答案改成消極反面的。依然繼續拿第十題「請您對陝西近年來社會經濟發展狀況進行評價」來說明情況,第十題的答案設置非常多,有20項,每一項最左邊都是正向的,賦值為5,最右邊都是反向的,賦值為1,由於賦值高的都是大家希望的,調查對象在作答時往往忽略了實際狀況,一股腦地選擇賦值最高的正向答案,這樣導致調查結果沒有實際意義,再加上都是官方語言,影響了調查對象對這些問題的客觀看法。此外,由於很多問題問的都是調查對象對政府政策的認識或評價,難免讓有些調查對象產生疑慮,無形當中形成對問題回答的傾向性。所以,問題的傾向性除了來源於問卷設計外,調查者自身的顧慮也會使問題作答產生傾向性。
(五)問卷問題用語語官方化
「公眾對推進『五個紮實』的期待與『獲得感』這個研究本身就是要調查了解民眾對 「五個」紮實的認識情況及其落實情況,其問題設計一定要突出調查內容,但問題內容的突出並不能以犧牲問題的通俗表述為代價,官方化語言太多必然會影響調查效果和研究結果。陝西(延安)公眾「獲得感」問卷雖然在設計時也儘量避免使用過於正規的官方語言,但是這個問題最終還是沒有能夠很好避免,在設計問卷主要問題及答案時,還是把政府的政策語言直接拿過來使用,導致問卷語言官方化程度很強,這在第十題和第十四題表現的尤為明顯。由於第十題和第十四題每個題的答案都是20項,也是本次調查最關鍵的兩個問題,在設計問題和答案時,設計者沒有將官方語言轉變為通俗語言,導致問卷用語整體感覺官方化程度偏高。
四、陝西(延安)公眾「獲得感」問卷設計存在問題的原因
陝西(延安)公眾「獲得感」問卷設計存在的問題,並不是調查結束後才發現的,而是從問卷設計出來和試調查時,就已經發現了,之所以沒有完全解決這些問題,是由各種主客觀因素造成的。具體來講,主要有以下五個原因:
(一)版面設計的完整要求,註定問卷難以保證結構完整
陝西(延安)公眾「獲得感」問卷一共設計了4頁問題,為便於調查和節省經費,製版為A3,進行雙面列印。由於問題內容恰好佔滿紙張,如果再加封面信和指導語則會超過製版,變成5頁,甚至6頁,這樣的話A3雙面肯定無法排版。如果盲目追求問卷結構的完整性,強行增加封面信和指導語,則會增加問卷的頁碼量,讓人感覺問題題量太大,從美觀上來講,也不好看,所以就將封面信和指導語去掉了。由於問題答案作答比較簡單,打鉤或畫圈並不影響問卷分析,指導語的有無,也不會影響調查對象作答,在這樣一個前提下,問卷設計者就省去了封面信和指導語。另外,將個人信息資料置後,並簡化處理也更多是由於製版限制這個原因。
(二)調查目的的明確性,註定問卷問題順序不能按常規設置
按照正常設計,應將問卷的封閉式問題置前,將開放式問題置後,陝西(延安)公眾「獲得感」問卷之所以一開始就設計了一個開放式問題,主要是考慮到其調查目的。此次調查是要了解民眾對習總書記來陝講話是否有很高的關注度,如果關注度較高,那麼問卷問題自然能夠很好作答;如果回答不上來,則說明大家對習總書記來陝講話內容不是很清楚,所以這樣做和設計問題也是出於對輿情民意了解的考慮。事實上,問卷問題順序並沒有絕對固定的格式要求,問題順序的設置除了按照常規要求安排外,更多還要考慮實際情況。由於習總書記來陝講話的反響比較大,民眾對此的關注度也很高,在這樣一個前提下,開頭設計一個開放式問題雖不合常理,但卻在情理之中。從調查的實際情形來講,雖然有不少人對於開頭就問開放式問題有牴觸,但是經過調查員耐心的解釋,大家最終還是願意作答,而且作答內容也符合調查要求。從這個角度考慮,問卷問題順序的設置除了要考慮科學性要求之外,更多還要考慮現實的實際情況,對於民眾所熟知的事情,設計高難度問題也未嘗不可,更重要的是,這樣做更加突出了調查研究的目的。
(三)調查內容的局限性,註定問卷書面語過多
調查內容決定著問卷問題的設置,所以有什麼樣的內容,自然就會有什麼樣的問卷用語。陝西(延安)公眾「獲得感」問卷旨在調查民眾對習總書記「五個」紮實落實效果的看法,研究內容更多體現的是民眾對政府政策的認識和了解程度,要對這些問題作出準確回答,在問卷內容設置上自然不能對政府政策進行過多解讀和解釋,而應盡最大努力保持原政策內容。所以,問卷設計者就使用了較多的書面語,而不是用通俗語言去表述問卷的問題。從實際調查的效果來看,書面語過多,不利於調查進行,要達到較好的調查效果,需要對問卷用語進行轉換,同時更要注意的是如果轉換不當,則會造成民眾對問題的曲解,陝西(延安)公眾「獲得感」問卷主要是考慮到了後者的不利影響,這才沒有對問卷用語進行轉換,而是直接使用政府的政策內容作為問題答案。因此,調查內容在很大程度上會影響到問卷用語,問卷用語也並不一定越通俗易懂就越好。
(四)調查問題來源於官方,註定問卷問題傾向性不可避免
由於陝西(延安)公眾「獲得感」的調查問題來源於政府,政府對習總書記「五個」紮實的解讀內容和落實措施,都是積極正向有助於社會發展的,那麼這些內容和政策一旦作為問題答案出現在問卷上,就會在無形中對調查對象產生外在壓力,迫使調查對象在回答問題時帶有傾向性,即按照政策要求作答問卷。在做調查時,不少調查對象就給調查員反映,這麼兩極分化的答案,只要調查對象思想不極端,一般較容易選擇賦值最高的積極正向的答案。「問題的題性要設置在中立位置,不參與提示或主觀臆斷,提問應創造自由回答的氣氛,避免誘導性。受訪者在有外界影響的情況下,往往會選擇符合問卷偏好的答案,而不是他自己真正的意思表達。」[5] 陝西(延安)公眾「獲得感」問卷調查的就是關於政府政策的落實執行情況,要想完全避免傾向性,保持中立,肯定是做不到的。整體來看,雖然問卷問題設計有一定程度的傾向性,但是大家對問題的回答還是比較客觀中肯,只有個別問卷有人全部選擇極端項,但都以廢卷處理,不會影響調查的最終結果。
(五)調查研究問題屬於官方政策,註定問題語言無法通俗化
在正常情況下,問卷用語最好能夠通俗易懂,除非調查對象的文化教育程度較高,閱讀能力不存在問題。然而,一般情況下,調查研究很少僅針對一小部分只受過較高教育的人進行,因為這部分人畢竟只佔少數,沒有代表性。所以,大部分的調查研究,調查對象都是多元的,而不是單一的,這就對問卷的問題語言表述提出了很高要求。陝西(延安)公眾「獲得感」問卷所設計的問題有很大一部分屬於政府政策方面的,而政策方面的內容不能隨意更改,要儘量保留原來用語,也不能隨便進行語言轉換,如果輕易進行轉換,可能會造成意思表達有出入。再說,本次調查的問題就是關於政府政策的,自然是保留政策原文最好。問卷語言通俗化,有助於調查對象理解,但不一定能取得好的調查效果,因為問卷問題的設置除了要考慮調查對象外,更重要的還要考慮調查目的。
無論是什麼樣的調查研究,在設計問卷時都會遇到各種各樣的問題,有些問題是客觀的,有些問題是主觀的,有些問題是可以解決的,有些問題是解決不了的。這就需要綜合考慮調查目的、調查對象、調查經費等各種因素,合理取捨,最終設計出一份有助於調查研究順利進行的問卷。具體來講,在設計問卷時,應綜合考慮以下五個方面因素進行問卷設計。
(一)根據問卷版面需求,靈活設計問卷結構
一份完整的問卷,是需要設計封面信、指導語、問題、答案、編碼等內容,但是問卷結構並不是死的,而是可以根據調查需求,進行靈活設置。比如,陝西(延安)公眾「獲得感」問卷就省略了封面信和指導語,從形式上看,問卷結構是不完整的,但是這樣做並不影響調查的順利進行,其原因主要有兩個:一是調查對象並不一定看封面信和指導語,他可以直接問調查員,而且從現實的調查經驗來看,大部分調查對象並不屑於看與調查問題沒有直接關係的客套話,而是直接看問題;二是調查員在開始調查時,一定會告訴調查對象他們是誰,要做什麼,如果願意做調查,應該怎麼作答,不可能不說話就給調查對象一份問卷,直接讓他們作答。另外,還要考慮排版美觀和經費的問題,既然會影響到美觀,而且還會多浪費經費,那麼就可以在不影響問卷質量和調查的情況下,省去沒必要的問卷組成部分,陝西(延安)公眾「獲得感」問卷的設計就是這樣考慮和做的。
(二)根據調查研究目的,合理安排問題順序
在大部分問卷裡,一般情況下都不會將開放式問題置前,而是會放在問卷最後,就是防止調查對象拒絕調查,所以問卷一開始設計的多半是關於個人基本信息的問題,但是陝西(延安)公眾「獲得感」問卷卻沒有按常規套路進行問卷設計,最主要的原因就是考慮到此次調查研究的目的,如果調查對象沒有「獲得感」這樣一個概念或感受,那麼後面的問題就沒有開展調查的意義。因此,問卷一開始就設置了一個開放式問題,讓調查對象回答,不僅要回答,還要解釋原因。這個問題的設置,不僅是一個簡單的調查,還可以了解民眾對習總書記「五個」紮實的知曉情況,同時從另一面可以看出普通民眾是否關心國家社會發展,因為中國夢的實現,陝西(延安)的發展靠的不是一部分人,而是每一個中國人,尤其是普通民眾,更是中國夢的締造者。另外,將個人基本信息置後,雖然會影響到樣本選擇,但是卻大大降低了拒絕率,因為調查對象如果首先看到的是自己的信息,容易讓他們產生疑慮,拒絕調查,如果置後,則可以打消他們的顧慮,等作答到最後,應該已經放鬆了警惕,拒絕作答的可能性是非常低的。陝西(延安)公眾「獲得感」問卷之所以這樣設計也主要是出於調查研究目的的需要,因而對問卷問題順序進行了調整。
(三)根據調查情況需要,規範使用問題語言
對於問卷問題的語言,是使用規範的書面用語,還是使用通俗的簡單語言,不能一概而論,而是要考慮實際調查需要。對於官方的政策性調查,則要儘量維持官方語言,因為隨意更改政策用語,可能會影響到政策意思的準確表達,而對於其它不涉及政府,或與政府沒有直接聯繫的調查,則最好使用通俗語言。一般情況下,「在編寫問題及選項時應措詞嚴謹、通俗易懂」[6]。這種要求對於涉及到政府政策方面的調查研究,是難以做到的。要求措辭嚴謹,自然不能隨意更改政策用語和內容,如果不更改,則與通俗易懂可能就產生了矛盾,如何取捨,還要取決於調查目的和實際調查需要。陝西(延安)公眾「獲得感」問卷在設計時就考慮到問題語言的隨意更改,可能會影響意思的準確表達,在涉及到政府政策的內容時,則直接使用原政策語言作為問卷答案,沒有進行任何用語更改和轉換。
(四)努力保持客觀中立,避免傾向性語言和問題的出現
問卷語言的傾向性,除了有語氣上的傾向外,在設計問題時也要注意,如果設計了很多兩極分化的問題,無形當中就給人一種傾向性的感覺。陝西(延安)公眾「獲得感」問卷在這方面的問題相對較為突出,但這並不是設計者不保持客觀中立所致,而是不能隨意更改調查問題,因為更改了問題,就不能調查到民眾對省委省政府政策措施的真正看法。在調查過程中,就發現有調查對象故意選擇賦值最低和賦值最高的選項,因為調查對象一眼看到設計的問題是兩組對立的問題,就不考慮自己的真實想法,而是以第一個為選擇標準,其它問題跟著第一個選。這是問題設計產生的選擇傾向性所致,在調查過程中難以要求,如果調查員對調查對象提出選擇要求,一方面會影響到調查者的判斷和意願表達,另一方面則會引起調查對象的反感,甚至會終止調查。因此,在設計問卷問題時,要避免傾向性語言和問題的出現。
(五)學會語言用語轉換,使用民間術語
問卷語言用語轉換可以在兩個環節實現,一是在設計問卷問題時,就使用大多數調查對象能夠看得懂的語言用語,二是在調查員向調查對象解釋問卷時,將問卷用語表述不明白的地方用通俗語言或民間術語給調查對象解釋清楚。問卷語言用語的轉換,其實就是實現調查對象與調查員的良好溝通,良好溝通一旦建立起來,那麼調查對象不僅不會拒絕調查,還會積極接受調查。另外,對於調查員來講,如果會講當地方言,自然更利於調查的順利進行。陝西(延安)公眾「獲得感」問卷雖然存在一些無法更改的問題,但是由於調查員對於問卷比較熟悉,又能與當地人進行很好溝通,尤其是調查員能用當地方言與調查對象交流,基本實現了問卷語言用語的轉換,最終圓滿順利完成了調查任務。由此可以看出,進行問卷語言用語轉換,使用民間術語溝通交流,有助於調查的順利進行。
問卷設計對於調查研究來講非常重要,它不僅是收集數據資料的最好方式,同時更體現出研究的科學性和嚴謹性。對於問卷設計存在的問題,只能努力改進,而不可能徹底解決。陝西(延安)公眾「獲得感」問卷應該說是一份非常好的問卷,但即便如此,從問卷設計的基本原則和實際調查方面的需求來講,依然存在一些問題,這些問題既是問卷設計的共性問題,同時又有其在本次調查研究當中的特性,對於這些問題的分析,並不是要否定陝西(延安)公眾「獲得感」問卷,而是要以此為契機,繼續努力,爭取在以後調查研究設計問卷時,能夠更加有效化解這些問題,使問卷結構更加完整,問題更加簡明,順序更加合理,用語更加準確。
本文系延安大學公共事業管理專業省級教學團隊建設項目階段性成果,2012年延安大學精品課程項目《社會統計學》階段性成果(編號:JPKC12-04)。
作者簡介:高志奇(1984—),延安大學公共管理學院教師,講師。研究方向:社會學與社會發展,社會工作。楊文智(1985—),榆林市中級人民法院刑事審判一庭法官助理。研究方向:法治社會與農村治理。
轉載公眾號:質化研究
微信號:zhihuayanjiu
產權及免責聲明本文系「MOOC」公號轉載、編輯的文章,編輯後增加的插圖均來自於網際網路,對文中觀點保持中立,對所包含內容的準確性、可靠性或者完整性不提供任何明示或暗示的保證,不對文章觀點負責,僅作分享之用,文章版權及插圖屬於原作者。如果分享內容侵犯您的版權或者非授權發布,請及時與我們聯繫,我們會及時內審核處理。了解在線教育,
把握MOOC國際發展前沿,請關注:
微信公號:openonline
公號暱稱:MOOC