全文共3328字,預計學習時長9分鐘
圖源:unsplash
在旁人看來,功能性磁共振成像研究似乎是經歷了從一場公共危機再到另一場公共危機:從檢測死鮭魚的大腦活動,到大腦活動與行為之間可能沒有很高的相關性,到發現功能性磁共振成像分析軟體中存在嚴重缺陷,導致了據稱成千上萬篇論文(部分)是錯誤的,再到只需更改標準分析流程中的參數,即可從同一組功能性磁共振成像掃描中發現截然不同的活躍腦區域。
現在,《自然》雜誌上的一篇論文表明,一大批專家都在研究相同的大腦成像數據,但他們從這些數據中得出的結論幾乎沒有什麼相同之處。
隔岸觀火的其他科學領域看得心驚肉跳,感嘆「還好不是我們!」然而,其間千絲萬縷的聯繫是躲不開的,這是對所有神經科學以及其他科學領域的警告。
《自然》雜誌的研究小組提出了一個簡單的挑戰:他們要求幾支志願者團隊對執行決策任務的108個人進行相同的功能性磁共振成像掃描,並在任務期間使用這些研究來檢驗關於大腦活動在運動過程中如何變化的九種假設。
他們的目的僅僅是測試有多少團隊認為哪些假設有重要依據,哪些沒有。於是,神經影像分析複製研究(NARPS)誕生了。
任務很簡單,減少了分析的複雜性。躺在掃描儀中,受試者會看到硬幣翻轉的兩種潛在結果:如果是正面,你會損失$ X美元;如果是背面,你將贏得$ Y美元。受試者決定是接受還是拒絕這種打賭;接受它,(虛擬)硬幣被翻轉,獎金也將相應調整。
圖源:unsplash
很巧妙的一點是,在每次嘗試中,輸贏金額之間的差異會有所不同,從而測試受試者對輸錢的承受能力。而且,如果受試者像大多數人一樣對失敗反應強烈,就只會有規律地接受這種打賭,那麼他的獲利至少是失敗的兩倍。
從這一簡單的任務中產生了九種同樣簡單的假設。其中八種是關於對勝利或失敗作出反應時,大腦廣泛區域的活動應如何上升或下降的;一種是比較贏或輸時大腦區域內的變化,還有大腦中相當大的區域——前額皮質,整個紋狀體和整個杏仁核的很大一部分。
簡單的任務、簡單的假設、和不可思議的大塊大腦——容易獲得相同的答案,對嗎?現實卻不是這樣。
七十支團隊加緊對數據進行了檢驗並驗證了九種假設。在九個假設中,只有一個(假設5)被超過80%的隊伍報告為顯著。有三個假設只被5%的團隊報告為具有重要意義,這與我們使用經典統計數據偶然得出的數字差不多,因此可以合理地解釋為這些假設不成立。
這種結果使五個假設處於不確定狀態,其中20%至35%的團隊報告了每個假設的重大影響。九個假設:一個被認為是正確的;三個被否定;五個處於不確定狀態。對於研究相同數據的70個團隊而言,這並不是一個很好的計分卡。
更糟糕的是,對每個假設將有多少團隊支持的預測。無論是由團隊本身做出的決定,還是由一群不參與的專家做出的預測,都過於樂觀。僅約25%的團隊支持了最嚴重的違規假設(假設2),但其預測的支持率約為75%。因此,團隊不僅沒有對真實的結果達成共識,而且也無法預測真實的事情和不正確的事情。
或許團隊使用的分析管道中有什麼導致了哪些假設得到支持,而哪些假設沒有支持的巨大分歧呢?NARPS小組之間幾乎沒有發現系統上的差異。
一個可檢測到的結果是,研究團隊製作大腦圖的平滑程度——通過平均接近的大腦片段得到的平滑效果越多,團隊就越有可能找到有關假設的重要證據。但是,這種平滑效果僅佔結果差異的大約4%,此外還有96%的不確定性。
圖源:unsplash
不管團隊之間有什麼不同,它都是在每個團隊建立其大腦活動的初始統計圖之後的階段,每個大腦的微小立方體(每個體素)的圖都通過了某種重要的檢驗。這些初始的大腦活動統計圖的相關性很好。因此,NARPS的人對所有人群的這些圖像達成了共識,並明確支持其中四個假設(第2、4、5和6號假設)。
要為每個功能性磁共振成像研究提供可靠的答案,我們需要做的就是讓70個團隊根據相同的數據創建圖像,然後將它們合併在一起以找到答案。讓我們一起看看科學資助者是如何支持這個想法的。
拋開諷刺不說,這並不是答案,因為該共識圖的結果與團隊的實際結果不一致。研究小組發現假設1和3與2、4和5的重要性相同,但假設1和3沒有得到共識圖有力的支持。團隊的投票為他們的圖像共識提供了不同的答案。那麼到底該支持哪些假設呢?到最後,我們仍然沒有做出一個明智的選擇。
一些人對功能性磁共振成像出現的問題感到幸災樂禍,並借NARPS論文來抨擊功能性磁共振成像研究,這種做法是愚蠢的。
功能性磁共振成像的某些危機比實質問題更容易被炒作。在死去鮭魚的大腦中發現活動,並不是要表明功能性磁共振成像已損壞,而是一種教學工具,這是一個示例:假設如果由於某種原因,在分析功能性磁共振成像數據時,沒有對噪聲進行必要的校正,這可能會出問題。
這些校正正是精確地內置在神經成像分析管道中的,從而無法在死動物中發現大腦活動,也不會在顱骨之外發現大腦活動。那些非常高的「伏都教」關聯來自於兩次浸入:首先選擇最活躍的體素,然後僅將它們與事物關聯。
雖然這是錯的,但是功能性磁共振成像研究並不是唯一進行雙浸的學科。事實證明,廣受好評的軟體錯誤可能會影響數百項研究中的某些結果。這是對所有人的警告。
很多人渴望看到活著的人腦深處的活動,基於此,功能性磁共振成像研究還是會無休止地出現在公眾眼中,媒體會將彩色的大腦塗鴉粘貼到他們令人喘不上氣的新聞中。而功能性磁共振成像是一個年輕的領域,因此其成長的煩惱也是公開的。另一個「危機」也剛剛爆發——當重新掃描同一個人時,獲得的大腦活動圖可能與原始掃描有很大不同。
功能性磁共振成像的分析流程非常複雜,這是個常識。而且由於這是常識,許多功能性磁共振成像研究人員密切關注著功能性磁共振成像數據分析的穩健性——校正大腦活動圖的錯誤、如果不進行校正會發生什麼、對方法選擇的穩健性建立分析、結果穩健性的問題,這些結果讓不同的科學家嘗試獲取結果的穩健性。
人們本可以平等地解釋上面的項目,而不是引發危機來表明功能性磁共振成像正在解決它不可避免的問題。
NARPS論文以受到警告告終:「儘管目前的研究僅限於對單個功能性磁共振成像數據集的分析,但在其他研究領域中,如果數據是高維度的,則很有可能會出現類似的變異性,並且分析工作流程會變得複雜多樣。」
圖源:unsplash
這些危機應該使我們每個人在複雜的管道中處理數據時都需要認真思考。功能性磁共振成像帶來的問題並不是他們獨有的,神經科學的其他領域也同樣糟糕。我們可以解決數據收集不善的問題。
我們也可以做非常高的相關性:一方面,如果使用少量主題,則相關性必須高得離譜才能通過「重要」;另一方面,對於神經元「功能」的大多數研究是功能性磁共振成像研究的兩倍,這還是僅僅分析已通過某種閾值以適應所研究的刺激或運動的神經元。
我們可以做死鮭魚實驗:無需校正信號洩漏(從Neuropil中抽出),鈣成像可以發現神經元體外的神經活動。我們甚至可以做一個NARPS研究的版本,通過改變應用於同一數據集的分析管道來得出關於神經活動的截然不同的結論。鋒電位分類的黑魔法就是,所有這些都涉及源自峰值的發現的可靠性。
功能性磁共振成像是一種神奇的技術,我對於它持中立態度:對於任何對神經元的工作方式感興趣的人都具有深遠的局限性——它以數百萬個神經元的解析度緩慢地記錄血流量。
但這些都是技術、分析和統計會遇到的危機。這可能是許多領域的共同點,並且很多領域很幸運,其問題沒有像功能性磁共振成像那樣公開,但其他科學領域也該引以為戒。
留言點讚關注
我們一起分享AI學習與發展的乾貨
如轉載,請後臺留言,遵守轉載規範