問卷調查:如何判斷設置的問題是有效的?

2021-01-11 問卷網

當我們完成了問卷設計,如何判斷設置的問題是否有效呢?不妨先從問卷的質量的幾個標準來審視自己的問卷:

1、我設置的問題和答案反映了理論變量嗎?

2、多個答題者對問題的理解是否一致?

3、答題者能否對問題作出可靠的答案?

第一個問題是問卷的效度,後兩個問題是問卷的信度。

簡單來說,效度是指你是否問了該問的問題,而信度就是把該問的問題問好。只有把該問的問題問好了,才會形成一份好的問卷,因此,我們也常常把信度看做是效度的一部分。

而在判斷設置的問題是否有效時,我們也常常從問卷的信度和效度入手。

如何保障問卷的信度?

問卷的信度是指一個問題可以得到所有調查對象的真實可靠的答案的程度。

舉個簡單的例子,如問卷中出現的:「你每個月在這家商店購物超過50元的次數是?」答題者將進行兩次思考:我每個月去幾次?我花了超過50元的次數是?像這樣的問題分開來問會更明確。

再舉個例子,「過去一個月你向上司諮詢過幾次?」答題者可能會想,上司是指職級比我更高的所有人還是直屬上司?怎樣算是諮詢?電話還是當面諮詢?諮詢的內容只限工作嗎?還是生活和工作中的問題都可以?……信度較低的問題往往會讓答題者產生困惑。

因此,在檢驗問卷的信度時,我們應該先進行問題的自檢:

1、你的問卷措辭是否晦澀難懂

2、問題是否完整和語意明確

3、一個問題是否含有多重語義或變量

4、一個問題是否含有多個變量之間的關係

怎麼保證問卷的效度呢?

除了問卷措辭和邏輯的信度外,效度也是我們需要注意的方面,「問該問的問題」看似簡單,實則整個問卷的靈魂。

效度檢驗怎麼做?

1

研究者自檢

第一種方法是研究者自檢,當問卷完成後可以把它擱置一段時間,等你快要忘記問卷內容時,再按照定義判斷問題的好壞。

在判斷問題質量時,應該儘量明確行為和態度的定義。

假如你的問卷中有關於「態度」的問題,如「我常常向同事請教」,相應的行為意向應該是「向同事請教是個好主意」而不是「我的同事都很好」。

處理較複雜的態度和行為問題時,我們可以把近義詞放在一起,看看類似的問題是否可以「混過去」,當二者表述了同一個意思,你的問題就需要修改了。

2

焦點小組討論

第二種方法是對調查對象進行焦點小組討論,在大規模調查之前先抽取3-12人討論設計好的問卷。

在看過問卷後,請他們分享自己對這份問卷的理解,比如:「你每月所獲得的報酬是多少」,出題者指的報酬往往是既定工資,但答題者可能會產生困惑:「為什麼報酬指的是工資而不是綜合收入?」然後追問他們理解困難的原因,根據反饋意見修改問卷。

有時候也可以請有經驗的學者完成這個過程,即專家評審法。

這種方法反饋效率高,比較適用於組織中的研究。

3

問題分類法

第三種方法是問題分類法,主要分兩步。

第一步,研究者把問題一個一張列印在小卡片上,研究者邀請4位調查對象,不告訴他們任何問卷相關的解釋,讓他們對問題進行分類。這與你原本設置的問題架構可能會不同,需要記錄出錯的原因,並計算同意程度,這個程度反應了調查對象之間理解的一致性。

第二步,研究者根據之前的反饋修改問卷後,另外邀請4人進行調查,告訴他們題目個數和架構,讓他們把不同的問題放到各個架構中。根據他們的分類信息計算同意係數。係數越高,問卷的效度就越高。

把這兩個步驟重複進行,便可以不斷減少理解問題的誤差,直到研究者滿意為止。

4

預調查

第四種是預調查,即先做70-100人的小規模調查,將收集到的數據計算區別效度和聚合效度,根據統計結果,修改調查工具,再進行大規模的調查。這種方法往往成本更高,也無法得到出錯原因。

在實際調研中,如果調查樣本不易請到,專家評審法和焦點小組法是最常用的。如果問卷設計中引入如果新的概念和問題,那麼測度分類法和預調查法是比較合適的。

思考題

針對某網站做一份購買意願的用戶調研,想得到網站總體的有用性,問卷設計者的問題是這樣的:

1、這個網站上的產品價格信息對我非常有用

2、這個網站上的產品描述信息對我非常有用

3、這個網站上的產品多樣性對我非常有用

4、產品的多樣性對我是否在這個網站購買非常重要

請討論這些問題的不足之處。

相關焦點

  • 實用乾貨:如何製作一個「有效的用戶調查問卷」?
    那麼,到底如何了解用戶和用戶需求呢? 其實,製作一個「有效的用戶調查問卷」就是很好的方式。 為何強調「有效的」這三個字? 因為現實中,很多人僅僅是會做調查問卷,但是做出來的調查結果是無效的。 這篇文章就來告訴你,如何製作一個有效的調查問卷。
  • 如何進行有效的問卷測試?
    好的數據貴得是有道理的,數據收集的每一個環節都需要採取有效的質量控制措施,才能規避錯誤,避免項目投入的錢財和人力付諸東流。其中,在調查項目投放實地之前非常重要的一項質量控制措施就是對設計好的問卷進行測試。遵循一定的程序和技巧,問卷測試可以有效地發現問卷在內容、邏輯、流程等各方面的問題。
  • 網絡問卷調查90%都不合規範
    6.圍繞假設,設置題目有了前面的鋪墊,這個階段的題目設置倒不費心思。至於如何撰寫題目和選項。這裡就不詳細展開。另外註明敏感隱私問題是可行的。只要你前期的工作考慮足夠周到。根據上面的討論,我們的問卷自然而然會偏重去了解性別、年齡、銷售場所、口味選擇、銷售頻次和數量。
  • SPSS如何判斷無效問卷?揪出重複問卷
    可以判定為無效的問卷有好幾種,今天說重複的問卷。怎麼定義呢?比方說我在微信公眾號滿意度調查問卷中規定,凡在李克特5級量表題目上打分完全一致的兩份問卷,將被定義重複問卷。
  • 如何提高問卷收集數據的質量?
    學術研究中,通過問卷收集數據,進行分析的情況越來越多。但在問卷收集數據時,難免會出現填寫者亂填,或者不知道如何填寫等,最終導致收集數據不準確,研究結論不可靠等問題。如果問卷收集數據不準確,通常會帶來數據信度和效度的影響。單獨從肉眼看數據都挺正常,但使用研究方法進行測量就會立刻現出原形。
  • 如何設計問卷,才能收集到有效的數據?
    當你想進行市場調研、用戶研究、員工滿意度調查時,調查問卷仍然是獲得數據的有效方式之一!那麼,你應該如何提問,才能得到你想要的結果?從本質分析,問卷調查只有三種問題類型1 封閉式問題問題答案已經給出,受訪者只能從預設的答案選項中選擇一個或多個回答,無法解釋為什麼會選擇此答案。封閉式問題常用題型:選擇題、打分題、下拉題、排序題;◆ 優點:答卷編碼結構相同,便於數據整理和分析,提高調研後期資料分析的效率。操作簡單,受訪者願意配合。
  • 無效問卷應該如何處理
    無效樣本的常見使用場景問卷研究中亂填問卷的樣本資料庫下載的數據中有大量缺失數據二手數據中包括無效或缺失數據其它收集數據中有無效樣本時例如,在某項問卷調查中,查看數據發現,某個被調查者有多道題目未作答,問卷數據有缺失,無效樣本如果不加處理會干擾分析結果,對數據結果產生嚴重影響。
  • 網絡問卷調查90%都不合規範 | 網際網路數據資訊網-199IT | 中文互聯...
    6.圍繞假設,設置題目有了前面的鋪墊,這個階段的題目設置倒不費心思。至於如何撰寫題目和選項。這裡就不詳細展開。另外註明敏感隱私問題是可行的。只要你前期的工作考慮足夠周到。根據上面的討論,我們的問卷自然而然會偏重去了解性別、年齡、銷售場所、口味選擇、銷售頻次和數量。
  • 海外產品用戶研究如何有效的進行:問卷調研篇
    本文主要講述如何同時面向多個國家/地區的進行效率最大化的問卷調研?如何提高海外問卷調研結論的深度?如何將結論運用到產品的設計中?如何在較短時間內進行了解?具有「成本相對較低、用時相對較短、結論相對較快「等特點的線上問卷是一個非常有效的辦法。那如何同時面向6個國家/地區的進行效率最大化的問卷調研?如何提高海外問卷調研結論的深度?如何將結論運用到產品的設計中?是本文重點。一、如何同時面向6個國家/地區的進行效率最大化的問卷調研?
  • 問卷互助群回收的質量原來這麼差?教你幾點讓問卷設計得更有價值
    我們常遇上需要很多人填寫調查問卷的時候,每次收集問卷的時候都非常的頭疼和麻煩,把身邊的同學、朋友找完了,數據還是不夠!不夠!不夠!特別是期末作業或者研究生寫論文的時候,困難就是很難找到這麼多人完成樣本。
  • 調查問卷的驚人發現,貓糧和保健品有點相似
    公眾號:貓咪研究室作者:錢叄胖VX:qiansanpang大家好,我是叄胖,這篇主要分析一份調查問卷的結果之前的問卷,調查了哪些因素會決定購買貓糧,問卷結果展示了一個非常悲觀的現狀,大多數貓友不知道怎麼分辨貓糧的好壞,也更加不知道怎麼判斷值多少錢。
  • 如何知道一份問卷對企業有價值?數據更有意義
    3、用戶體驗差傳統線下問卷調研耗時長且乏味,往往需要花費很大時間和精力,加上部分問卷嚴重涉及個人隱私,很多用戶不願意配合調研,也不願說出內心的真實想法。除了以上3點外,企業自身對所推出的問卷系統也面臨很多苦惱。比如:如何知道這項問卷對企業有價值?當調研問卷完成後,企業如何分析,從中挖掘更多有意義的東西?
  • 經濟觀察報經濟學人問卷調查:2019年中國經濟三大考題是什麼?
    (圖片來源:全景視覺)經濟觀察網 記者 李曉丹 實習記者 吳培源 經過2018年的劇烈調整,中國宏觀經濟在2019年會聚焦在三個問題上:如何穩住基建投資,如何調整去槓桿的方向和節奏,如何真正落地改革。2018年4月,中國宏觀經濟面臨的主要問題發生了變化。
  • SPSS問卷分析:如何識別打分完全相同的無效問卷
    關於無效問卷的識別,本號已經介紹過【填寫用時無效】和【重複數據無效】兩種情況,今天再分享如何識別所有題目打分相同的無效問卷的一點經驗。 這裡說的問卷指的是一般背景問題與李克特量表題目的問卷,所有題目打分完全相同,比如35個李克特量表題目均統一打4分,這種情況我們可以討論後將其認定為無效問卷。
  • 英雄聯盟手遊KDA女團問卷調查 全題目中文翻譯
    最近玩英雄聯盟手遊的玩家都在問,遊戲裡面的KDA女團問卷調查怎麼選?相信還有很多lol手遊玩家不知道如何完成KDA問卷任務,尤其是英語基礎較差的同學。為此,小編我特意整理了相關的資訊,下面是編編為大家整理的KDA問卷翻譯及選項介紹,感興趣的玩家都來圍觀吧!
  • 孩子從幼兒園帶回「問卷」,填寫自己如何出生?家長:管太多了!
    」調查更詳細。從一開始的只留家長姓名電話、家庭住址,到後來的問車子、房子,現在還要回答更多「奇葩」問題。選項:生了半天沒出得來?之所以現在家長很反感幼兒園的調查,是因為有些問題實在不知道該怎麼回答。前段時間一位家長在網上發布視頻,吐槽學校的「調查問卷」,問題數量多不說,而且涉及到很多隱私問題。其中關於孩子出生方式讓人哭笑不得,表格上給出三個選項,自然分娩、剖腹產、和「生了半天沒出得來最後還是剖了」。
  • 企業如何選擇在線問卷?不談質量的樣本庫都是在耍「流氓」
    存量競爭時代裡,競爭力從資源能力轉變成了精細化運營能力,如何最優的開發每個用戶價值(ARPU),是下個十年企業最關心的問題。問卷是商業社會研究中用來收集資料的一種工具,隨著企業對用戶數據的重視,在線問卷迎來發展的下半場。誰在「回答」很重要自1911年柯蒂公司組成商業調研部門開始,調查熱伴隨了美國商業發展百餘年。
  • 調研百科|做了這麼多次問卷,到底目的是什麼?
    我們知道,無論做市場調查,還是用戶滿意度調查,問卷調查方式都是很好很有效的調查方式,通過問卷調查,我們能了解到用戶的需求。從而改進我們的產品和服務。 在設計問卷之前,首先最重要的,要明確我們調查的目的,簡單來說就是你要知道什麼? 了解消費者滿意度、消費者消費趨勢、消費者需求,這是我們問卷設計的第一步。 明確問卷目的後,再為此去認真討論主題和理論假設,將問題具體化、條理化和操作化,即變成一系列可以測量的變量或指標。
  • 保險資管百人問卷調查:46%判斷A股寬幅震蕩,物業資產將迎中長期買點
    記者 | 吳紹志1此次新冠肺炎疫情對於保險資管的影響究竟如何,業內人士又將如何應對?對此,中國保險資產管理業協會行業(簡稱中資協)發起「百人觀點」問卷調查。受邀參與問卷的百位行業人士,包括18名顧問專家、16名公司總裁、20名公司分管領導、34名投資部門總監和部門負責人,以及14名投資(組合)經理。首先,疫情影響下,信用風險和市場波動風險增加,新增保險資金規模收縮是業內人士最為擔憂的三項因素。但是,基於對當前貨幣環境流動性較為寬鬆的一致預期,對流動性風險的擔憂較低。
  • 月薪3w運營人,能通過設計問卷洞察用戶需求
    既然調查問卷應用場景如此之多,那麼如何設計問卷?如何通過設計問卷洞察用戶需求?下面我將結合自己的工作經歷和思考,給大家呈現在問卷設計過程中的全環節,主要分為需求內部溝通,問卷準備,問卷設計和問卷評價這四個階段。 一、需求內部溝通 這個非常重要的步驟常常被運營忽視。 切記!