搶著發論文的研究,可能不是好研究

2020-12-04 神經現實

各種名利獎賞刺激我們推出重大論點,但好的科學或許意味著放慢速度,更加謹慎地實踐。

CHRISTIE ASCHWANDEN

封面:Klaus Vedfelt

SOCIAL PSYCHOLOGY 社會心理學

如果科學是尋找真理的一種客觀手段,那它也同樣要求人類的判斷。假如說你是一位懷揣這樣一個假說的心理學家:人們其實明白他們對被汙名化群體帶有一種潛意識的偏見;如果你問他們,他們將會承認這一點。那可能看起來是一個頗為直接的觀點——這一觀點非對非錯。但測試它的方式卻並不顯而易見。首先,什麼是消極的刻板印象?你所討論的被汙名化群體是指哪一類?你如何測量人們在什麼程度上能夠意識到他們的隱性態度?你將如何測量人們在何種程度上願意自我披露?

這些問題將以許多種不同的方式得到回答:而反過來,又可能導致大量不同的發現。一個新的眾包實驗——涉及到超過24個國家地區的15000名被試和200名研究人員——證實了這一點。不同的研究項目以自己的方式來測試同一系列的研究問題時,往往會得到差異化的、有時甚至是對立的結果。

這個眾包項目戲劇性地展示了被廣泛討論的可重複性危機中的觀點。研究者們在設計他們的研究時做出的主觀決策,能夠對觀察的結果產生巨大的影響。不論是通過「P值篡改(p-hacking)*」,或者是他們漫步在「小徑分叉的花園」時所做出的選擇,研究者都可能有意無意地將結果引向一種特定的結論

*譯者註:P值篡改(p-hacking):科研人員通過不斷地改變統計方法以使p值<0.05,導致結果的假陽性和實驗的不可重複性。

2016年Nature的一篇論文探討了學術界發表結論的可重複性問題。來自各界的1500名科學家回答了他們對於所在學科存在何種程度的可重複性危機, 其中物理和化學科學家對自家文獻的可重複最自信。

圖片來源:Monya Baker (2016) Nature News Feature

這篇新論文的主要作者,新加坡國際商學院(INSEAD)的心理學家艾瑞克·烏拉曼(Eric Uhlmann),曾將將矛頭指向一項研究。在這項研究中,29個研究團隊收到了同樣一組數據集,而這些團隊要用這個數據集回答一個簡單的研究問題:「相對較淺膚色運動員而言,足球裁判員是否會給深膚色的運動員更多的紅牌?」儘管分析的數據是完全一樣的,但是沒有哪兩支團隊能給出相同的答案。然而,這些團隊的發現確實都指向了同一個方向。

紅牌研究顯示了數據分析的決策是怎樣影響到結果的,但烏爾曼也擔心其他的決策也會捲入研究設計中。因此他發起了最近的這項研究。這項研究規模更龐大,也更野心勃勃,未來會在《心理學公報》(The Psychological Bulletin)(數據和材料都在網上公開)上發表。這一項目從五種假說開始。這五種假說都已得到實驗性檢驗,但實驗的結果仍未公布。

除了像上述足球運動員所體現的潛在聯繫的假說之外,這些假說還包括:人們如何回應激進的談判策略,或者什麼樣的因素會讓人們更願意接受運動員使用興奮劑。烏爾曼和他的同事向很多研究團隊拋出了同樣一個問題,但並不告訴他們有關最原始的那項研究的信息,或者那些研究發現了什麼。

隨後,這些團隊分別設計了各自的實驗,以檢驗一些共同因素作用下的假設。這些研究必須在線上進行,從共享的被試資料庫裡隨機地抽取出參與者。每一項研究設計都操作了兩次:第一次的被試來自亞馬遜公司的Mechanical Turk(譯者註:亞馬遜旗下的勞務眾包平臺),第二次則是全新的、從一個叫Pure Profile的調查公司裡找到的一群被試。

研究表明,這些團隊在設計實驗時中會出現巨大差異。例如,第一個假說是關於人們是否能夠意識到他們會存在內隱偏見(unconscious bias)。一個團隊僅僅要求被試按他們對如下敘述的贊同程度評級:「不管我對社會公平抱有怎樣的外在信念(也就是,有意識地),我相信我對被汙名化的社會群體成員會自動地(無意識地)持有消極聯想。」根據這一回答,他們得出該假設是錯誤的:人們並不報告潛在的消極成見的意識。

當我們相信不該相信的事情時,我們在相信什麼?

通常我們被證實大錯特錯時,會惱羞成怒地作出辯駁。理解認知失調,有助於對這一現象作出解釋。相關閱讀 → 

對於這個假說,另一個團隊則是這樣測試的:他們詢問被試對一個政治黨派的自我認同感,然後讓他們按對假定的對立黨派成員的感覺做一個評級。以這種方法,他們發現了人們很願意報告他們自己的消極成見。而第三個團隊給被試展示了白皮膚、黑皮膚或者超重肥胖的(也有小貓小狗的)男男女女的照片,然後讓他們按自己對這些人直接的直覺反應評級。他們的結果也展示了人們確實承認對被汙名化群體的成員持有消極成見。

這項研究結束時,有七個團隊發現了支持這一假說的證據,而有六個團隊則發現了反對證據。綜合一切考慮,這些數據並不能支持「人們能意識到、且報告他們自己的潛在成見」的觀點。但是,如果你看到的只是一個團隊設計的結果,那很容易就會得到一個不同的結論。

這項研究發現,五種假說中有四種假說都出現了一種相似的模式:不同的研究團隊在相反的方向上產生了統計學顯著效應。哪怕一個研究問題的答案所指方向一致,影響的效應大小卻相差甚遠。在13個研究團隊中,有11個團隊得出的數據能夠清晰地支持「極端的提議讓人們更加不相信談判」的假說。然而,在剩下的兩個團隊中發現的統計效應只隱約指向這種觀點。一些團隊發現極端的提議對信任有很大的影響,而其他團隊發現這些因素影響甚微。

眾包資源假說測試 | 連線雜誌

示例一:「當直接問到:人們是否會自我袒露一種隱匿的、對汙名化社會群體成員的不由自主的消極聯想?」示例二:「比起在一開始先做出緩和的提議的談判者,在一開始先做出極端化的提議的談判者,會讓人對其更加信任還是更不信任,或者都一樣呢?」示例三:「哪種效果會不顧物質/經濟的需求而持續地作用對那些群體的道德判斷:有利的還是有害的,或者沒有任何影響?」示例四:「人們反對興奮劑在體育運動中的使用的原因,部分出自於他們『違背了規則』......」示例五:「功利主義還是倫理方向的義務論更能聯繫到個人的福祉?」

——柯亨的d效果範圍,95%的置信區間

圖表:連線雜誌

資源:Landy et al.

安娜·德勒柏(Anna Dreber)認為,這個故事告訴我們,單單一項研究能告訴我們的無足輕重。她是斯德哥爾摩經濟學院(the Stockholm School of Economics )的經濟學家,也是該項目的作者之一。「我們作為研究者,必須對我們怎麼說話格外小心,你不該說,『我已經檢驗了這個假說』,你必須說,『我用一種特定的方式檢驗了它』,它對其他情況是否具有普遍性取決於更多的研究結果。」

這個問題,以及披露這個問題的辦法,並不是社會心理學所獨有的。與此相似的是,近日一個項目讓70個團隊用同一個功能性磁共振圖像的數據集合來檢驗9種假設。沒有兩支團隊使用了完全一樣的方法,而不出意料的是,他們的結果各種各樣。

如果只通過這些項目的結果來判斷,那麼我們也許可以合理地推測出科學文獻如同一片結果對立的密林(如果對於同一個問題,不同的研究團隊總能得到不同的答案,那麼期刊中應該滿是矛盾)。然而,事實與此相反。科學期刊中到處都是確證假設結果成立的研究,而那些零結果就不幸成為了「文件抽屜」問題*(file-drawer problem)的一部分。想想上述關於內隱偏見的假說的結論:一半的團隊發現有利證據,一半的團隊發現反對證據。如果這項研究真的以出版為目標,那麼前者將在正式論文中找到落腳點,餘下的將被掩蓋並遺忘。

*譯者註:「文件抽屜」問題(file-drawer problem):在科研出版界,人們傾向於篩選性地發表更積極、顯著的結果。

人們的信念過濾了我們所能看到/意識到的證據

圖片來源:GEPS Bulletin

烏爾曼及其同事的證明,提示了假設應該在多樣且透明的方式中得到檢驗。「我們需要做更多的研究,試著以不同的方式看待同一個問題。」來自牛津大學的心理學家多樂絲·畢肖普(Dorothy Bishop)說道。那樣的話,你可以「在你上躥下跳、跳舞慶祝之前,真正地闡明它有多麼可靠」。

結果當然是論證了謙卑審慎的重要性,烏爾曼說。「我們必須謹慎地對待我們在文章中、我們的大學在公開出版物中、我們在媒體採訪中所說的內容,我們需要嚴謹地對待我們的主張。」各種名利獎賞刺激我們推出重大論點,但好的科學或許意味著放慢速度,更加謹慎地實踐。

放慢速度也是倫敦大學學院心理學家烏塔·費瑞斯(Uta Frith),在一篇最近發表於《認知科學趨勢》( Trends in Cognitive Sciences)的論文裡所提出的。費瑞斯寫道,「目前的『發表或發黴』(publish or perish)的文化,對科學家和科學自身具有腐蝕性的影響。」多發論文,而不是努力發表高質量的論文,這給研究者帶來壓力的同時,也欺騙了科學,她說。「快的科學讓我們走小路、抄近道,也的確會導致可重複性危機。」她寫道。那麼她的建議是什麼呢?「慢科學。」它致力於「科學的更大目標」——即作為一種尋找真理的方式。她說,對研究者而言,促進「慢科學」的方法,就是從特級葡萄園的葡萄栽培實踐中尋找啟發——他們為了維持葡萄酒的最優質量,而想盡辦法限制其產量

畢肖普也提出類似的建議,科學家要限制他們的產出,「為了發展一種理論,你需要大量的觀察,而我認為我們常常觀察得很少,」她說,「然後我們在不成熟的時候就進行理論建構。但如果我們能夠更廣泛,更全面地去探索那些得到觀察的情況,那我們的理論建構也會更優質一些。」如果說,這項關於五種假說的研究教會了我們什麼,那就是:科學是一個過程,而且是一個漫長的過程

翻譯:兵書

校對:曹安潔

排版:夏明明

https://www.wired.com/story/200-researchers-5-hypotheses-no-consistent-answers/

Christie Aschwanden

克裡斯蒂·阿什萬登(Christie Aschwanden)(@懸崖之巔)(@cragcrest)是一名獲獎科學記者。她是紐約時報暢銷書《準備好了:我們的所有運動員能從奇怪的康復科學中學到什麼》的作者,以及播客「新興形式」的聯合主持人。

相關焦點

  • 搶著發論文背後
    包括國際知名公共衛生專家張作風在內的分析人士表示,這次的公共衛生事件中,國內科研人員連著在國際期刊發表了不少高質量的論文,「感覺這次的主導方向是科研和搶著發表高水平論文,而不是公共衛生的實踐、以保護人民健康為首要。」
  • 搶著發論文背後-虎嗅網
    包括國際知名公共衛生專家張作風在內的分析人士表示,這次的公共衛生事件中,國內科研人員連著在國際期刊發表了不少高質量的論文,「感覺這次的主導方向是科研和搶著發表高水平論文,而不是公共衛生的實踐、以保護人民健康為首要。」
  • 研究顯示喜歡發朋友圈,論文能更容易被接收
    我們並不是要批評那些在社交媒體上廣受好評的研究不夠好,畢竟群眾的眼睛都是雪亮的,好研究值得大家喜歡。然而,「大家好,是不是真的好」卻也是個問題,畢竟當植物領域學者關於新冠病毒的研究都可以引起媒體熱議,並發表在動物學期刊上時,這種對科學研究的宣傳行為在同行評議和論文接受的過程中究竟起到了多大的作用,著實讓我們難以判斷。
  • 「研究黑磷不只是為了發論文」—新聞—科學網
    以石墨烯為代表的二維材料,被譽為21世紀的超級材料,有望發展成為下一個萬億級的產業。2014年,黑磷作為二維材料領域的一顆新星,它的橫空出世迅速引起了國內外科學界和產業界的廣泛興趣。從最初的電晶體,到後來的光電子器件,再到催化、能源、生物醫學等領域,黑磷展現出廣闊而巨大的應用前景。 「我們已經在黑磷晶體製備技術領域首次實現單管50克的新突破。」
  • 如何寫好學術研究論文題目?
    學術研究論文現寫作那麼,究竟什麼樣的題目是不錯的題目,應該如何寫好論文的題目呢?在寫一篇論文前,要知道自己要研究什麼,研究主體是誰,做一個什麼樣的研究等,只有清楚自己要研究的東西才可以更準確地把握研究重點,進而在此基礎上進行提煉與總結,而這也是撰寫論文題目的基礎。
  • 回顧性研究才是發論文首選
    隔壁老趙的科室,一年就發了十幾篇回顧性研究!而我只能在一旁默默吃檸檬。 臨床回顧性研究 回顧性研究大家並不陌生,調研發現,已經有越來越多臨床醫生將回顧性研究作為自己發表第一篇 SCI 的項目。
  • 橫斷面研究類型論文【摘要】的書寫標準及要求 | 橫斷面研究專題
    其中,該部分是否描述研究的宗旨和你解決的科學問題。我想這部分的書寫應該不是難點,簡單來說就是講清楚你做此項研究要解決的問題是什麼。大家可能知道,目前單純的橫斷面研究並不好發文章,其實主要是在於研究的目的沒有講清楚,就好比全國人口普查的工作前幾年都在做,為什麼我們還要在某個時間段去重新統計?
  • 青海人搶紅包竟然不是隨機分配的!有訣竅?
    © 投稿微信:iqhwang 合作微信:40476,WeMedia聯盟成員這年頭,你要是沒在微信群裡發過紅包,
  • 一種研究模式:多發論文,研究足跡,找不到真恐龍
    「如果只是找了足跡,進行簡單的形態描述,這是入門級別的,好的腳印研究,要能夠反映當時的生物多樣性、生物的演化等系統而鮮活的知識。」 邢立達的高產在古生物圈是眾所周知的。方涵舉例,即便像他這樣的教授,積累了這麼多年,一年能發五六篇文章,就覺得自己已經很了不起,當然如果加上那些自己參與的文章,可能有十來篇左右。
  • 研究發現:距離地球最近的黑洞可能並不是黑洞……
    參考消息網10月22日報導 澳大利亞科學預警網站10月21日發表題為《距離地球最近的黑洞其實可能並不是黑洞》的報導,全文摘編如下:今年早些時候,科學家確認一個天體是已經發現的距離我們最近的黑洞,現在該天體可能被降級。重新分析相關數據之後,不同的科學研究團隊得出結論,認為這個名為HR 6819的天體系統並不包含黑洞。
  • 研究發現:距離地球最近的黑洞可能並不是黑洞……
    澳大利亞科學預警網站10月21日發表題為《距離地球最近的黑洞其實可能並不是黑洞》的報導,全文摘編如下:今年早些時候,科學家確認一個天體是已經發現的距離我們最近的黑洞,現在該天體可能被降級。經過仔細計算,一支天文學研究團隊得出結論,B3 Ⅲ星可能在圍繞另一個天體運行,一個看不見的天體。黑洞。但其他天文學家認為,這遠非唯一的可能。如果我們計算的恆星質量有誤呢?
  • 英文不是攔路虎,英語不好也可以發SCI
    MedSci醫學「選刊一指禪,你敢搶我就敢送」活動,火熱進行中……想消滅SCI投稿的「攔路虎」麼?這次活動更有高峰日迪斯尼門票相送!更有價值2000元專家選相送!更有十萬積分送!不管外語好不好,選刊依然最重要首先,要做好投稿前的相關準備,要弄明白自己的實驗結果和研究結果是否有資格發表出一篇英文sci,如果可以發表,應該發表在哪一類和哪一個雜誌上,選擇專業期刊還是綜合期刊。
  • 研究發現:成績好的學生更有可能吃早點
    近日,電子科技大學的一份研究表明:學生校園生活的規律性和成績顯著相關。該項研究首次揭示校園生活的規律性和學生成績的顯著關聯,其相關論文《生活規律性預測學業表現:校園生活的行為分析》已於19日在英國皇家學會會刊發表。
  • 破除「SCI至上」:不是否定SCI,更不是反對發論文
    ,鼓勵定性與定量相結合的綜合評價方式」,響應「社會各界對破除論文 'SCI至上'、優化學術生態的呼聲」 [5] ,教育部、科技部相繼印發了《關於規範高等學校SCI論文相關指標使用 樹立正確評價導向的若干意見》,隨即教育部和科技司負責人就相關問題回答記者的提問,強調 「破除'至上',不是否定SCI,更不是反對發表論文。」
  • 哪些人更「容易」發論文?網紅有望挑戰學術大牛
    該網友表示,如果說之前審稿人對一篇論文的青睞可能來自「它出自大牛實驗室」,那麼現在這種青睞的產生可能會因為「大家都說好」。如果說之前審稿人對一篇論文的青睞可能來自「它出自大牛實驗室」,那麼現在這種青睞的產生可能會因為「大家都說好」。
  • 「修改人類胚胎基因」論文,發還是不發?
    本報記者陳 丹  如果不是國外媒體的爆炒,中國科學家團隊關於「修改人類胚胎基因」的論文或許真的就「靜悄悄」地發表在國內刊物上,不動聲色地被翻過去了。  緣起——對人類胚胎基因動手術  基因編輯技術CRISPR/Cas9,這已不是一項陌生的技術了。
  • 研究方法 | 社會科學論文選題策略與寫作技巧
    一個好的學術研究,我認為應該具備這樣一些要素:首先是提出一個好的問題;其次有一個好的方法,這個方法可能是質性的方法或者定量的方法,也可能是混合的方法;最後要有好的數據。如果你對各種各樣的事情都熟視無睹,非常遲鈍,是不太可能做出非常好的研究的。發現問題的起點是觀察。第三,要多思考,善於聯想。讀書的強度不要太大,要有一定的時間用於思考。如果閱讀不能激發你的思考,要麼這不是一本好書或好文章,要麼你根本沒有讀懂。第四,要建立學術檔案。學者要養成一個好習慣,把不同的文獻分門別類地儲存在電腦裡,自己有任何的想法、靈感,也一定要把它們記錄在案。
  • 留學前的背景提升:發表國際論文,如何選擇研究方向?
    一篇國際論文能夠有機會在各大知名期刊上發表,說明其在該專業領域存在著某些價值,這些價值有可能是作者的研究方向在學術界內很新穎,也有可能是解決了某個可大可小的問題。那麼,怎樣才能寫出一篇優秀的國際論文呢?
  • 為什麼SSCI難發?和大家交流一下SSCI論文發表的經驗
    但人文社科類不然,對於這類學科的研究往往要帶上特定的意識形態和特定的研究傳統等。比如為什麼中國的文史類學科難發SSCI?因為你在中國做研究,你的歷史觀是符合我們長期受之影響的一些價值觀的,那這個價值觀國外學者了解嗎,就算了解,他認可嗎?如果你論文的底層框架都是別人無法認同的,那整個文章別人就很難認同了。我們語言學則體現了傳統研究的影響。漢語的傳統研究在小學,像是音韻啊、訓詁啊之類。
  • 章魚不是地球「本地魚」?多個研究表明,它們可能來自外星
    2018年3月13日,著名學術期刊《生物物理學和分子生物學進展》上刊載了一篇論文,論文的標題為《寒武紀爆炸的起因》。該篇論文由30多位生物學家共同完成,提出了一個顛覆認知的觀點:章魚並非地球「本地魚」,而是在5億7千萬年前跟著冰彗星一同抵達地球。其實這並不是第一次有科學家懷疑章魚來自外星,早在2015年的時候,《自然》雜誌上就曾刊載過芝加哥大學生物研究室的一篇論文,研究人員稱章魚的基因和地球上其他生物的基因有很大的不同。