李倩 發表於 2018-08-13 09:57:20
NIPS 2018又出事了：審稿信息洩露，由於論文提交CMT系統的重大漏洞，審稿人可以判斷出單篇論文的姓名和機構，讓雙盲評審失效！不僅如此，本屆NIPS毫無徵兆地砍掉了一個歷史悠久的Workshop，加上此前初審結果怨聲載道，這屆NIPS，真讓人捏一把汗。
如果說2017年的NIPS以一張註冊人數如火箭沖天般的表格創造了記錄，那麼，2018年的NIPS則凸顯了當前火熱不退、幾近高燒的人工智慧/深度學習領域蟄伏的諸多問題。
審稿信息洩露，雙盲評審失效！
8月7日，就在NIPS初審結果rebuttal進行的過程當中，有人發現NIPS 2018的審稿系統出現了嚴重的信息洩露，本就頗受詬病的評審過程，又一次出現問題。
事情是這樣的，跟其他會議一樣，NIPS 2018也採用MS CMT3系統進行論文的提交及審核。
作為這次會議的一位審稿人，sweichwald 發現該系統伺服器中有一個嚴重的漏洞，讓「作者/機構/公司」的雙盲性以及由此造成的評審公正和平等遭到破壞：
問題發生在所有提交論文的列表是不是靜態的，而是根據審稿人的域名（也即姓名/機構/公司）在不斷更新。
當審稿人輸入域名衝突的信息時，CMT系統會自動過濾掉有域名相衝突的論文；因此，審稿人通過輸入或者不輸入某個域名衝突，再根據CMT系統給出的兩個論文列表，就能明確哪些論文是屬於哪個域名，換句話說，也就相當於能夠知道哪些論文是屬於哪位作者或哪個單位的了。
sweichwald指出，儘管會議規定採用雙盲評審，但NIPS論文審稿平臺本身允許這樣主動暴露論文提交人姓名和論文所屬機構/公司的做法，而且還能匹配到特定的單篇論文，屬於重大過失（culpable negligence）。
當系統存在這樣的漏洞時，很可能被人利用，讓雙盲評審機制失效。不僅如此，由於知道了論文的所屬機構，某些審稿人很可能有意選擇特定單位的論文進行評審，進而導致評審結果出現偏差。
實際上，sweichwald是在偶然之下發現了CMT系統的這個漏洞：當時，他因為忘記了，不小心輸入了一個衝突的域名，結果發現返回得到的論文總數變少了。
於是，他對比了一下名單，找出兩份列表中不同的某篇論文，私底下向一位同事確認，在沒有讓對方直接告訴他後者論文題目和摘要的情況下，通過兩人交換的信息，sweichwald完全肯定，他看到的論文就是他同事提交的那一篇。
在寫給NIPS AC的郵件裡，sweichwald表示根據審稿規定，他重新輸入了正確的域名，同時保證自己不會作為那篇論文的評審。
多人連續發現系統漏洞，好在修複比較及時
除了sweichwald以外，還有多位審稿人也發現並舉報了這個系統漏洞，但是卻沒有得到NIPS方面的回覆。
需要指出，這個問題與事先將論文上傳到arXiv等預印本網站或其他意外洩露身份的情況有著根本的不同：這是存在於整個論文提交和審稿底層系統的問題，而且CMT3系統也被其他1000多個使用雙盲和單盲評審的學術會議使用，這就意味著其他會議的評審公正性很可能也遭到了破壞。
根據CMT官網，2016年，CMT系統已用於1000多個國際會議、研討會和各種其他項目的學術論文提交與審核，涉及上萬篇論文和上千名審稿人。使用CMT的會議包括：
國際機器學習大會（ICML）
神經信息處理系統進展大會（NIPS）
國際人工智慧和統計會議（AISTATS）
人工智慧不確定性會議（UAI）
IEEE計算機視覺模式識別會議（CVPR）
國際計算機視覺會議（ICCV）
歐洲計算機視覺會議（ECCV）
亞洲計算機視覺會議（ACCV）
英國機器視覺會議（BMVC）
IEEE國際數據工程大會（ICDE）
ACM數據管理特別興趣小組（SIGMOD）
超大型資料庫國際會議（VLDB）
國際IEEE數據壓縮會議（DCC）
IEEE多媒體與博覽國際會議（ICME）
CMT最初是為ACM SIGKDD 1999開發的。從那時起，CMT經歷了幾次重大改進和擴展，迄今已在數千個會議中使用過。
5月29日，sweichwald 向NIPS 2018的領域主席和CMT系統管理員匯報這一系統漏洞。5月31日，NIPS會務組給出了回復，表示他們已經注意到這個問題，並建議前者在系統完全處理好之後，再將此事公布。
NIPS會務組的回覆，表示已經有多人提醒他們這一漏洞，會儘快修復系統，並讓sweichwald在事情解決前先不要聲張
8月2日，包括其他使用CMT的會議在內系統全部得到修復。
現在，對於雙盲評審的會議，CMT系統讓任何人都不能更新他們的衝突域名，而審稿人在見到任何論文前，只有一次輸入域名的機會。
根據官方反饋，目前沒有發現其他CS/AI學術會議的審稿信息遭到洩露。
砍掉舉辦連續10年唯一的計算生物學Workshop
NIPS 2018的事件還沒說完。
同樣在8月7日，有學者反映本屆NIPS無故砍掉了ML for Compbio（MLCB）workshop，這是一個有關機器學習領域中計算生物學的研討會，也是NIPS唯一有關計算生物學的研討會，已經連續舉辦了10年，而且2017年的論文提交數量創下了歷史記錄。
計算生物學是生物學的一個分支。根據美國國家衛生研究所（NIH）的定義，它是指開發和應用數據分析及理論的方法、數學建模和計算機仿真技術，用於生物學、行為學和社會群體系統的研究的一門學科。
計算生物學定義廣泛，是包括計算機科學，應用數學，動畫，統計學，生物化學，化學，生物物理學，分子生物學，遺傳學，基因組學，生態學，進化，解剖學，神經科學和科學可視化的基礎。
諷刺的是，當向NIPS提交論文的時候，「Combio」仍然屬於子領域之一。
有人在Twitter上感嘆，究竟有多少學計算機的人知道計算生物學與「AI醫療」或「AI臨床應用」是完全不同的概念？
如果說領域日漸凋零也就算了，但正如前文所說，2017年該workshop的論文提交數量創下了歷史記錄，當時workshop參會還排起了長隊，展示和討論一直很活躍。
由此，Twitter上出現了很多表示遺憾的聲音。
往好處想，這或許也是MLCB自己獨立出來，成為一個單獨學術會議的機會。
不然又該怎麼辦呢？
新增非洲、拉丁美洲、同性戀和猶太人 AI Workshop
但是，這屆NIPS也不全是壞消息。
根據「機器學習包容性」這個帳號，本屆NIIPS變得更加包容和多樣——除了此前已有的女性機器學習workshop（WIML），還新增了非洲AI、拉丁美洲AI、同性戀AI 和猶太人AI 這幾個workshop。
NIPS將變得更加包容和多樣，這當然是好事一樁。但同時也忍不住讓人去想，或許這就是計算生物學workshop被砍掉的原因？
畢竟場地只有那麼大，而2017年的NIPS註冊人數已經高達8500人。
在四川，8000多人因高溫擠進泳池。來源：四川在線
當然，NIPS 2017上也有寂寞的身影，圖靈獎得主、貝葉斯網絡之父Judea Pearl的演講聽眾就寥寥無幾。
NIPS 2017圖靈獎得主Judea Pearl落寞的身影。圖片來源：周志華
但是沒問題，現在Judea Pearl也在Twitter等社交網絡上活躍起來，關注人數也漲到9100多，大家對因果學習/模型的熱情重新燃起，這次如果他再有講座，應該也會座無虛席吧。
打開APP閱讀更多精彩內容
聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用，如有內容圖片侵權或者其他問題，請聯繫本站作侵刪。 侵權投訴