機器之心報導
參與:澤南、小舟
有 1700 名研究者籤字聯名抵制 Nature 出版一篇 AI 研究論文,這可是頭一次。
「我們敦促審核委員會公開撤銷論文通過的決定,並解釋評估該論文通過的標準。Springer 需要公開聲明譴責使用刑事司法統計數據預測犯罪行為,並承認其過去在激勵這種有害學術方面的作用。所有出版商今後都不要發表類似的研究。」
在一份長長的公開信中,數千名 AI 研究人員呼籲科學出版商 Springer Nature 不要發表一篇論文。據介紹,該研究提出了一種面部識別系統,能夠預測一個人是否為犯罪分子。這篇論文由美國哈裡斯堡科技大學(Harrisburg University of Science and Technology)提交。
是什麼研究引發了如此爭議?在這篇名為《A Deep Neural Network Model to Predict Criminality Using Image Processing》的論文中,研究人員稱該技術沒有種族偏見,根據照片中人的面部特徵預測是否為罪犯的準確性達到了 80%,這一深度學習方法是面向執法機構開發的。
這篇論文的第一作者,哈裡斯堡科技大學在讀博士 Jonathan Korn 是一名前紐約警察。同為論文作者的 Roozbeh Sadeghian 教授在論文提交的新聞中表示:「我們知道機器學習技術在與面部識別和情感檢測有關的各種任務上可實現超過人類的水平。新研究表明,這些工具可以從圖像中提取出高度可預測犯罪的微小特徵,這證明了新方法的強大。」
在原先的計劃中,這篇論文會被收錄在《自然》研究叢書「Springer Nature – Research Book Series: Transactions on Computational Science & Computational Intelligence」中。
「通過無偏見地自動識別潛在威脅,我們可以實現預防犯罪的目標,為執法部門和軍事應用提供受到隱形偏見和情感因素更小的工具,」論文作者之一的 Nathaniel Ashby 表示。「我們的下一步是尋找合作夥伴以推進這一使命。」
然而事情並不如作者所想的那樣順利。在新聞發布之後,「AI 看人臉預測犯罪」的研究很快引發了不小的爭議。在社交網絡上,業界專家就效率、隱私和道德等原則達成了共識,稱該計劃不負責任、牽強附會且「錯得離譜」,因為這可能引出 AI 判斷一些人是天生罪犯的奇怪結果。
在論文提交後,哈裡斯堡科技大學的新聞稿。在 5 月份這篇新聞因爭議過大又被刪除。
自 5 月論文提交的消息被曝出後,這一研究一直被科學界關注與討論。在最近的公開信中,已經有來自哈佛大學、MIT、谷歌以及微軟的學者和 AI 領域的專家在這封公開信上簽字。他們呼籲出版公司 Springer 停止發表這篇論文:「我們是來自不同科技領域、學科和人文領域的研究者及從業人員,我們對於即將出版的論文深表關注。」
公開信的組織者之一 Audrey Beard 在一份郵件聲明中表示:「根本無法開發出不存在種族偏見的犯罪預測系統,因為刑事司法數據本身就是存在種族偏見的。」
這已經不是 AI 研究者第一次提出這樣令人質疑的研究了。
根據人的相貌來評估犯罪機率,這讓人們想到了 2016 年 11 月上海交大提交到預印版論文平臺 arXiv 上的論文《使用臉部圖像自動推斷罪犯》,研究者聲稱通過大量證件照片的訓練,神經網絡模型可以在識別罪犯時準確率達到 87%。在當年,該研究也曾引起學術界和輿論界的大量討論。
昨晚,Nature 作出了澄清,哈裡斯堡科技大學的文章不會被《自然》雜誌出版:
但還是有人繼續質問:「為什麼這樣的文章會進入 Nature 的審核流程?」看來想要消除深度學習的偏見,避免其成為「作惡」的工具,我們還有很多事情要做。
公開信:
https://medium.com/@CoalitionForCriticalTechnology/abolish-the-techtoprisonpipeline-9b5b14366b16
參考內容:
https://www.biometricupdate.com/202005/biometric-software-that-allegedly-predicts-criminals-based-on-their-face-sparks-industry-controversy