Jeff Dean在谷歌成眾矢之的:開除「論文不合格」AI倫理研究員,被...

2020-12-09 澎湃新聞

曉查 蕾師師 發自 凹非寺

量子位 報導 | 公眾號 QbitAI

這個周末,AI圈的一件事在社交網絡引起軒然大波:

谷歌AI倫理團隊聯合負責人Timnit Gebru被解僱。

而開除她的,正是大名鼎鼎的谷歌AI負責人Jeff Dean。

雙方在一篇論文的內部評審上存在著嚴重分歧,隨後Timnit Gebru的公司帳戶被切斷。

一天後Jeff Dean向谷歌員工發布郵件,表示開除Timnit Gebru。

Timnit Gebru畢業於史丹福大學,博士生導師是知名學者李飛飛。她的主要研究方向是算法偏差和數據挖掘,一直致力於黑人在科技圈的平權,是Black in AI的創始人之一。

Timnit Gebru最知名的研究是她在2018年發現,面部識別軟體對黑人女性有高達35%的錯誤率,而對白人男性幾乎完全正確。

幾天時間裡,雙方隔空喊話,聲勢愈演愈烈,已有1400名谷歌員工和1900名AI學術圈人士對谷歌的行為表示譴責,其中不乏AI圈的大佬。

一向口碑不錯的Jeff Dean,一下子成了「眾矢之的」。

這到底是怎麼回事?

時間線

12月2日 (美國當地時間,下同),Gebru發推文表示自己已經被谷歌解僱,核心矛盾是雙方在內部論文評審上的分歧。

Gebru發郵件給公司內部的Brain Women and Allies表達了沮喪的心情,該郵件內容洩露,Gebru被解僱,她對此表示出強烈的憤怒和譴責。

這個事件很快發酵,在Reddit上引發激烈的討論,評論將近一千條。

3日,Gebru公開了她發給谷歌Brain女員工和其他同事的郵件內容。原來,她一直希望發表她的一篇研究論文,但是一直遭到上級反對。

在郵件裡,她還揭露了谷歌對黑人這一弱勢群體的不公平對待,以及對AI倫理的不重視。正是因為這封郵件,被爆出「不符合谷歌管理者的期望」,因而被解僱。

Jeff Dean很快就在谷歌內部發郵件回應了此事。他解釋了Gebru論文沒有被發表的原因。並說Gebru提出了一些無理要求,若不答應,她就以辭職威脅。最後,公司決定尊重她辭職的意見。

4日,Jeff Dean向公眾公開了郵件的內容,並且詳細地解釋了谷歌內部研究論文的出版方法,以回應雙方在論文評審上的分歧。

Gebru對他的回應並不買帳,立馬發出六條推文,指出他文章中漏洞和自相矛盾的地方。

5日,Gebru的谷歌上司、著名AI科學家Samy Bengio——圖靈獎得主Yoshua Begio的胞弟,在Facebook上回應此事,實名支持Gebru,並且說:「她的慷慨和不懈的行動,提高了沉默者的聲音。」

「導火索」論文公開

就在雙方為AI公平性、倫理等問題吵得不開交之時,外媒「MIT科技評論」得到了讓雙方開戰的論文原文。

論文的疑似原文也在網上公開流傳。

這篇論文的標題是「On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?」(隨機鸚鵡的危險:語言模型會太大嗎?)。

近年來,科技巨頭們都在全力研究自然語言模型,谷歌自己開發的BERT就是其中之一,最近谷歌還宣布英文搜索幾乎全部用上了BERT。

Gebru的論文內容談到了谷歌BERT在AI倫理上的負面影響。因此有人認為,谷歌出於這樣的原因壓下了論文。

文章在開頭提出了一個疑問:我們是否對開發這些模型的潛在風險和減輕這些風險的戰略進行了足夠的思考?直指自然語言模型的「四大風險」。

一、環境和經濟成本巨大。

訓練大型AI模型消耗會消耗大量電力,使用NAS方法的語言模型會產生相當於284噸的二氧化碳,相當於5輛汽車在其壽命內的碳排放。

其中,谷歌訓練一次BERT模型會產生1438磅二氧化碳,幾乎等於紐約和舊金山之間的往返航班的碳排放量。

二、海量數據與不可解釋的模型。

研究人員從網際網路上收集數據,因此種族主義、性別歧視和其他辱罵性語言可能會最終出現在訓練數據中。

由於訓練數據集非常大,很難對其進行審核,檢查這些嵌入的偏差。

另外,模型很難獲取與網際網路接觸較少的群體的語言,這將導致AI生成的語言將同質化,只能反映最富裕國家和社區的做法。

三,研究機會成本。

大型語言模型實際上不理解語言,只是擅長操縱語言,但大型科技公司可以從更準確地從中賺錢,因此一直在投資它們。

而更小、更精心設計的數據集也會取得良好效果,消耗的能量也更少。

四、語言AI可能欺騙人類。

AI非常擅長模仿人類語言,因此很容易用它來愚弄人類。

研究人員舉了一個例子:2017年,Facebook將一名巴勒斯坦男子的用阿拉伯語說的「早上好」誤譯為希伯來語中的「攻擊他們」,導致他被捕。

對於論文提及的這些問題,Jeff Dean在發給員工的郵件中均有解釋。

Jeff Dean認為,Gebru的論文存在著一些漏洞。

她只提到了BERT,而沒有考慮到後來的模型提高了效率,也沒有考慮近來谷歌的研究已經解決了一些倫理問題。

Jeff Dean指出,僅近一年來,谷歌就發表了200多篇關於AI倫理的論文,Gebru的論文缺乏對谷歌這些工作的表述。

而且Gebru提交給谷歌審查論文距離截稿只剩一天時間,通常谷歌需要兩周時間審核論文。

Gebru則表示,論文兩個月前已經交給相關部門審核,但是一直沒有收到反饋。

至於開除Gebru的原因,是因為她要求谷歌提供審核人員的名單,否則她將離開谷歌。Jeff Dean認為谷歌並不能滿足她的要求,因此會尊重並接受她辭職的決定。

雙方分歧的關鍵在於,Gebru究竟算被谷歌開始還是主動離職?

Jeff Dean認為既然谷歌無法滿足Gebru提出的條件,因此Gebru自動離職。而Gebru認為,辭職應該是自己提出,而不是谷歌單方面開除。

另外,Gebru還向谷歌數百名員工發送郵件,希望他們停止DEI(多樣性、公平性、包容性)項目相關工作。這又進一步激化了雙方的矛盾。

谷歌員工質疑Jeff Dean

對於Jeff Dean的這番說辭,谷歌內部員工說:「這真是個謊言」。

谷歌AI蒙特婁分部的研究員Nicolas Le Roux指出,過去他提交給內部審查的論文只會檢查是否洩露敏感內部資料,而不會檢查文獻評論的質量。

另一位谷歌前PR經理說:

審查這些論文是我在谷歌PR團隊工作的一部分。通常情況下,文章對我們而言太多了,所以我們沒有及時審查它們,或者直到研究人員發布後我們才知道。我們絕不懲罰沒有適當處理的人。

現在雙方的激戰已經遠遠超出了論文的範圍,但焦點仍在論文處理的流程上。誰說的是事實,另一方就會理虧。

這一場谷歌AI的羅生門事件,只能等「子彈再飛一會兒」了。

然而罕見的是,一度在谷歌擁有「神」一樣地位的Jeff Dean,竟然在這件事中面對如此聲勢的討伐,也確實是「活久見」了。

參考連結:

Jeff Dean郵件原文:

https://docs.google.com/document/d/1f2kYWDXwhzYnq8ebVtuk9CqQqz7ScqxhSIxeYGrWjK0/edit

Timnit Gebru郵件內容:

https://www.platformer.news/p/the-withering-email-that-got-an-ethical

Timnit Gebru論文內容:

https://www.technologyreview.com/2020/12/04/1013294/google-ai-ethics-research-paper-forced-out-timnit-gebru/

— 完 —

本文系網易新聞•網易號特色內容激勵計劃籤約帳號【量子位】原創內容,未經帳號授權,禁止隨意轉載。

閱讀原文

相關焦點

  • 被指開除高級研究員,谷歌大神Jeff Dean回應:是她說不答應條件就離職
    這幾天,一位谷歌 AI 研究員的離職糾紛在社交媒體上愈演愈烈。12 月 3 日,這位研究員在推特上表示:「我因為一封寫給谷歌大腦女性成員和盟友的郵件被 Jeff Dean 開除了,公司帳號也被停掉了。這件事情發生得非常突然。」
  • 谷歌CEO為「Jeff Dean開除研究員」事件道歉,卻引發持續爭議
    人們之所以如此敏感,是因為 Gebru 博士是 AI 倫理領域的重要專家,而我們必須繼續對此做出改進,這取決於自我提出挑戰性問題的能力。對於我來說,谷歌中黑人、女性等廣大少數群體非常重要。推動我們做得更好的重任不應落在你們的肩上。我們在今年早些時候宣布了廣泛的種族平等承諾,從而重新審視了我們從招聘、晉升到留任,以及解決所有這些步驟中領導責任制度的問題。
  • 谷歌AI 掌門人 Jeff Dean 獲 IEEE 馮諾依曼獎
    其中,谷歌高級研究員、AI 掌門 Jeff Dean 摘得了 IEEE 馮諾依曼獎,獲獎理由為「表彰其對大規模分布式計算系統和人工智慧系統的科學和工程貢獻」。1990 年,Jeff Dean 從明尼蘇達大學計算機與經濟學系取得學士學位,畢業論文被評為最優等(summa cum laude)。其論文內容研究的是如何並行訓練神經網絡,當中提到的兩種並行訓練方法都是基於反向傳播算法。1996年,Jeff Dean 獲得了華盛頓大學計算機科學博士學位,研究方向為面向對象語言的程序優化。
  • 谷歌解僱風波:Jeff Dean辭退AI倫理家,非裔天才曾師從李飛飛
    AI研究員Timnit Gebru發布 Twitter 消息稱,她在毫無徵兆的情況下,被谷歌AI部門的老大Jeff Dean間接地發郵件開除。 本周四,當今著名的AI學者之一、人工智慧倫理研究員Timnit Gebru被谷歌突然開除。Gebru本人在推特上表達了不滿與抗議,引起了科技界的廣泛對Gebru的支持與關注。 我們先來看看在Twitter上引爆討論的Timnit Gebru本人的原推:
  • 國外AI 圈鬧翻天了!谷歌黑人女性 AI 倫理研究員「被離職」引發...
    昨天,谷歌「倫理人工智慧團隊」(Ethical AI Team)的技術聯合負責人 Timnit Gebru 在個人推特上發布消息稱:同時,她表示,解僱原因是她給谷歌大腦(Google Brain)同事發了一封郵件,郵件內容涉及 AI 倫理,批評了谷歌不負責任的多樣性、公平性和包容性 AI 運作。而她的領導 Jeff Dean 則對這一結果作了火速處理,只用一封郵件就解僱了她。此事一出,立刻引起網友熱議,眾多谷歌員工和學術界科學家都為其站臺。
  • 谷歌CEO為「Jeff Dean開除研究員」事件道歉,卻引發持續爭議
    人們之所以如此敏感,是因為 Gebru 博士是 AI 倫理領域的重要專家,而我們必須繼續對此做出改進,這取決於自我提出挑戰性問題的能力。對於我來說,谷歌中黑人、女性等廣大少數群體非常重要。推動我們做得更好的重任不應落在你們的肩上。我們在今年早些時候宣布了廣泛的種族平等承諾,從而重新審視了我們從招聘、晉升到留任,以及解決所有這些步驟中領導責任制度的問題。
  • Jeff Dean親筆盤點谷歌AI 2019:日均2篇論文,縱橫16大方向
    博客地址:http://ai.googleblog.com/2019/05/an-end-to-end-automl-solution-for.html展示了如何在不使用任何訓練步驟,來更新被評估模型的權重的情況下,找到有趣的神經網絡架構,讓結構搜索的計算效率更高。
  • 谷歌員工又發聯名信起義了:Jeff Dean道歉,AI倫理學家回歸
    這些系統以語言的統計模式運作,不像人類那樣理解這個世界,他們會犯一些對人類來說顯而易見的錯誤。但是在回答問題或生成流暢的新文本方面,他們可以用數字處理的方式取得令人印象深刻的成果。谷歌的BERT就是這樣一個系統,它被用來改進谷歌搜尋引擎處理字句很長的查詢的方式。微軟稱將授權OpenAI的GPT-3用來寫電子郵件和廣告文案。
  • 谷歌Jeff Dean回信反轉劇情,李飛飛學生被爆主動離職而非被辭退
    而後她在Twitter上表示自己在度假時被谷歌AI老大Jeff Dean的一封郵件開除,而自己卻一點準備沒有。當時Timnit的推特意特點名@了谷歌AI的老大Jeff Dean,希望他給個合理的說法。其實Jeff Dean早就在上周四做出了回應,只不過收信對象是谷歌內部員工。
  • 谷歌內訌升級,員工聯名要求Jeff Dean道歉,發生了什麼?
    憤怒之下,她向谷歌深度學習人工智慧研究團隊「谷歌大腦」的女性成員和「盟友」發送了一封電子郵件,講述了她在谷歌親身經歷過的她認為不公平的待遇,以及一些不受尊重的經歷。但 TimnitGebru 對該說法並不認可,連發六條 Twitter 指出其言語自相矛盾之處。隨著雙方矛盾的逐漸激化,谷歌內部員工、AI 科技大佬,以及更多網友加入到了這場風波中,比如 Gebru 的谷歌上司、著名 AI 科學家 Samy Bengio 均公開發聲支持 Gebru。
  • 谷歌內訌升級,員工聯名要求Jeff Dean道歉,發生了什麼?-虎嗅網
    憤怒之下,她向谷歌深度學習人工智慧研究團隊「谷歌大腦」的女性成員和「盟友」發送了一封電子郵件,講述了她在谷歌親身經歷過的她認為不公平的待遇,以及一些不受尊重的經歷。但 TimnitGebru 對該說法並不認可,連發六條 Twitter 指出其言語自相矛盾之處。隨著雙方矛盾的逐漸激化,谷歌內部員工、AI 科技大佬,以及更多網友加入到了這場風波中,比如 Gebru 的谷歌上司、著名 AI 科學家 Samy Bengio 均公開發聲支持 Gebru。
  • 谷歌AI掌門Jeff Dean離奇躺槍 發生了什麼?
    這個理由著實讓中國讀者哭笑不得,事件本身根本不是有關論文抄襲不註明引用的學術不端。而是一節科普課沒有提到她的成果,讓A姐不高興了。但情況變化之快,轉折之突然,讓人錯愕。加入討論的網友中有人支持她的立場,認為她的論文很有價值,不應該被遺漏;但另一半網友認為她純屬碰瓷,研讀她的PresGAN論文,成果一般般,每天在arXiv上都有大量這樣的論文掛出來,根本沒有重要到非介紹不可的程度。
  • 谷歌傳奇Jeff Dean獲2021年IEEE馮諾依曼獎
    谷歌AI掌門人,知名學者Jeff Dean獲IEEE馮諾依曼獎。獲獎理由是「以表彰對大規模分布式計算機系統和人工智慧系統科學與工程的貢獻」。谷歌傳奇Jeff DeanJeff Dean,於1968年7月出生在夏威夷。他的父親安迪是一名熱帶疾病研究人員,他的母親維吉尼亞·李是一位會說六國語言的醫學人類學家。他跟父親兩人曾設計過一臺IMSAI 8080工具包電腦。
  • 員工籤署聯名信:AI大神Jeff Dean必須道歉!
    的論文。直到事件發生之前,這篇論文一直沒有通過谷歌上級部門的內部評審。Gebru向AI部門負責人Jeff Dean發送郵件詢問原因,並要求Jeff Dean提供評審人員名單,否則她將離開谷歌。她在推文中說:我被Jeff Dean開除了,個人公司帳戶也已經被公司切斷,原因是我發給Brain Women and Allies郵件。
  • 谷歌Jeff Dean回信反轉劇情,李飛飛學生Timnit被爆主動離職而非被...
    而後她在Twitter上表示自己在度假時被谷歌AI老大Jeff Dean的一封郵件開除,而自己卻一點準備沒有。當時Timnit的推特意特點名@了谷歌AI的老大Jeff Dean,希望他給個合理的說法。這封Jeff Dean給出的信中首先對Timnit的論文被駁回做出來解釋:「Timnit與四位Google同事以及一些外部合作者共同撰寫了一篇論文,這篇論文需要通過我們的審核程序(所有外部提交的論文都要通過審核)。我們已經批准了幾十篇Timmit和/或其他Google同事撰寫的論文,但你也知道,論文經常需要在內部審查過程中進行修改(甚至被認定不適合提交)。
  • 員工籤署聯名信:AI大神Jeff Dean必須道歉
    的論文。直到事件發生之前,這篇論文一直沒有通過谷歌上級部門的內部評審。Gebru向AI部門負責人Jeff Dean發送郵件詢問原因,並要求Jeff Dean提供評審人員名單,否則她將離開谷歌。她在推文中說:我被Jeff Dean開除了,個人公司帳戶也已經被公司切斷,原因是我發給Brain Women and Allies郵件。
  • 谷歌道歉!徹查AI倫理專家被解僱一事
    而這次解僱風波的「元兇」竟然也是一篇論文。二、都是論文惹的禍美國時間12月2日,Gebru在推特發文稱,在向谷歌內部團體Brain Women and Allies發送一封郵件之後,尚在休假的她遭到了谷歌的不正當解僱,企業帳戶也被禁用。
  • 谷歌道歉,徹查AI倫理專家被解僱一事
    一位高學歷的平權活躍分子此次事件的主人公Timnit Gebru是一名著名的AI倫理研究員,博士畢業於史丹福大學,師從人工智慧領域知名學者李飛飛。去年,Gebru加入谷歌,擔任AI倫理團隊聯合負責人一職,在職期間,Gebru一直對谷歌存在的種族、性別多樣性問題直言不諱。
  • 谷歌研究員被解僱引起員工騷亂 CEO皮查伊面臨嚴峻考驗
    騰訊科技訊 12月8日消息,谷歌在上周突然解僱知名人工智慧研究員蒂姆尼特·格布魯(Timnit Gebru)觸及了一些最棘手的職場問題,為公司管理層製造了一場完美風暴。
  • 谷歌資深研究員被解僱導致員工騷亂 管理層面臨嚴峻考驗
    來源:金融界網站據報導,上周,谷歌解僱了該公司的知名研究員蒂姆尼特·格布魯(Timnit Gebru)。這一解僱事件觸及了該公司的一些最棘手的職場問題,給公司領導層帶來了一場完美風暴。自谷歌創始人拉裡·佩奇和謝爾蓋·布林一年前離開公司以來,這一事件將是對公司CEO桑達爾·皮查伊如何處理員工騷亂問題的又一次大考。格布魯是著名的人工智慧科學家,同時也是谷歌人工智慧倫理團隊的聯席技術負責人。周三晚,她在Twitter上發文稱,谷歌解僱她是因為雙方對一篇審視人工智慧偏見的研究論文存在分歧。