谷歌翻譯困境破局:AI不是人,為什麼也會有性別偏見?

2021-02-13 全媒派

這些年來,Google Translate(谷歌翻譯服務)一直被人詬病存在性別偏見現象,例如Google Translate會默認將某些「中性」職業和特定的性別聯繫起來,「醫生」一定是男性,而「護士」則往往是女性。

 

從2018年開始,Google就嘗試解決土耳其語和英語互相翻譯時的性別偏見問題,為與性別有關的詞條提供兩種版本的翻譯(和漢語不同,土耳其語是「中性」語言。漢語中有「他」和「她」兩種人稱代詞來區分性別,而土耳其語種僅存在「o」一種人稱代詞,不區分性別),分別展示指代男性和女性對應的語境。但此種解決方案可擴展性和準確度都較低,在推廣到其它語言的翻譯時困難重重。

 

巴別塔——聖經傳說中人類合力建造的通天塔。上帝為阻止此計劃,讓人類開始使用不同語言,無法溝通。以Google Translate為代表的AI機器翻譯,被認為是有可能「重建巴別塔」的未來科技。

圖片來源:Hacker Noon

 

今年4月22日,Google AI Blog(Google AI業務新聞博客)發表了最新的文章,宣布Google Translate使用了優化升級的AI技術,進一步減少了翻譯中出現的性別偏見現象,且拓展性較原方案更強,目前已經可以支持英語與西班牙語、芬蘭語、匈牙利語以及波斯語的翻譯場景。

 

為何「沒有感情」的機器翻譯模型也會自帶性別偏見屬性?Google Translate究竟使用了何種AI技術來改善文本中的性別偏見現象?本期全媒派(ID:quanmeipai)編譯VentureBeat文章,帶你通過Google Translate在解決性別偏見方面的努力,了解AI行業探索「性別平等」之路。

 


AI技術沒有性別,卻為何有性別偏見?

圖片來源:Medium

 

AI或機器學習技術自然沒有性別可談,可性別偏見和其它社會偏見(如對年齡、職業、宗教、種族、甚至是地域的偏見和歧視)卻常出現在AI產品之中,這也是目前AI行業極為關注的問題之一。

Google Translate的負責人Macduff Hughes在接受採訪時解釋了AI技術「自帶」偏見的原因,AI和機器學習技術是通過訓練數據來實現對產品和服務的支持的,而這些訓練數據都是來自真實的社會場景,也就難免帶有社會中既有的各種偏見或歧視,接受了這些數據的AI模型則會「繼承」這些觀念。

 

用戶在使用產品時又會受到這些偏見的影響,長此以往形成惡性循環,導致以性別偏見為代表的種種社會歧視越來越根深蒂固,而此種「偏見」的文本數據越多,AI模型會變得越來越「社會化」,和人一樣對事物產生固有的認知偏見。

 

除去產生「性別偏見」的翻譯文本外,Google Translate還曾因將胡亂輸入的原文本翻譯成恐怖的宗教預言而備受關注,這與Macduff Hughes解釋的AI及機器學習的底層運作機制有直接的關係,因為Google Translate用來打造AI產品時使用的訓練數據往往都是宗教文本。

 

Google Translate會將原本毫無意義的語言翻譯成恐怖的末日預言。

圖片來源:Vice

 

在2018年,很多使用Google Translate的用戶發現了一個可怖的現象。Google Translate會將本來毫無意義胡亂輸入的原語言,翻譯成末日預言,種種陰謀論也一時間甚囂塵上。

 

對於當時熱議的「陰謀論」事件,Macduff Hughes也做了相應的解釋,這還是同Google的訓練數據有關的。雖然有很多人把這件事歸咎於神秘的宗教主義或者外星人攻擊等原因上,但其實這是機器學習模型十分常見的問題。當用戶的輸入超出了機器學習模型的預期後,返回的數據也將是不合常規的。

 

2018年,Google Translate的用戶發現在從毛利語至英語方向,翻譯19個「dog」時,會顯示出聖經中的末世預言。

圖片來源:Vice

 

BBN科技公司研究機器翻譯的專家Sean Colbath,在當時曾對此事件發表同樣的看法,「如果他們(Google Translate)使用宗教文本作為訓練數據來構建機器學習模型,那最後產出的文本就很有可能是帶有宗教意味的」。

 

在此次事件後,Google Translate也加大了對於AI去偏見化的力度,首先就是在男女性別平等方面的努力。正如Macduff Hughes所說的,「Google作為業內的先行者,會帶領整個行業解決這些問題,首先就要解決在文本翻譯服務中出現的性別歧視的問題」。

 

如果現實的語言文本中就存在性別偏見,那麼翻譯模型就會學習到這些偏見,甚至強化它們。例如,當一種職業在60%-70%的情況下都是由男性承擔的,那麼翻譯系統就會學習到這一特徵,而在產出翻譯時,把這種職業100%地歸屬於男性,這一點就是Google Translate需要解決的問題。

 

有關這一問題最典型的例子就是「醫生」和「護士」,在最早的Google Translate中,機器翻譯都會將原本應是性別中性的詞語轉換成男性屬性的詞語,重現現實社會中已有的偏見,時任Google Translate產品經理的James Kuczmarski在博客中寫到,「像『強壯』、『醫生』等詞語都會和男性掛鈎,而『護士』、『美麗』等詞語則會和女性掛鈎」。

 

而使用Google Translate的很多用戶常常都抱有學習語言的目的,這些用戶需要知道不同場景中語言文本的細微差別。這也是Google Translate決定啟動「性別項目」的初衷。

性別特定的翻譯功能

Google Translate解決偏見初嘗試

其實早在2016年,Google Translate作為機器翻譯行業技術探索的先行者就一直在應用最新的技術。2016年,Google Translate首次使用了「神經機器翻譯」(Neural Machine Translation),而摒棄了經典的「統計機器翻譯」(Statistical Machine Translation)。「統計機器翻譯」其實是對文本進行逐字翻譯,但是無法考慮到詞性、時態、語序等語法因素,常導致最後的譯文錯誤百出。而「神經機器翻譯」則是逐句翻譯,會將上述因素進行更好的處理。

 

使用了「神經機器翻譯」技術的Google Translate可以產出更加自然、順暢的譯文,也具備了產出不同風格文本的潛力(如正式場合使用的語言風格或者生活中使用的俗語俚語風格)。

 

到了2018年12月,Google Translate為了解決性別偏見問題,又推出了「性別特定的翻譯功能」(Gender-specific Translation)。土耳其語作為一種中性語言(即沒有區分性別的人稱代詞)首先開始支持該功能。

 

「性別特定的翻譯功能」支持譯出兩種性別場景的譯文,供用戶選擇。

圖片來源:The Verge

 

在此新功能的支持下,用戶輸入一條無明顯性別信息的原文,會被轉換為「男性」和「女性」兩種場景的翻譯。兩種翻譯都會展示在翻譯結果中,由用戶自行選擇。

 

Google Translate研發團隊採用了特殊的處理模型,通過三個步驟將原文本轉換為兩種性別格式的翻譯文本。首先,機器模型需要判斷原文是否為「中性」語言文本,即未明確指出人稱性別的文本;然後,Google Translate將產出男女兩種人稱的獨立譯文;最後再進行準確度檢查。

 

此種處理模式首先被應用在將土耳其語翻譯為英語的場景中,可支持短語和短句的翻譯。隨後又被拓展到將英語翻譯為西班牙語的場景中,西班牙語和土耳其語與英語的互譯是Google Translate中用戶需求最大的兩種語言對。這一功能最早支持用戶在Chrome或者Firefox瀏覽器上使用,後續又計劃在移動端及其它平臺推出。

 

Google一直在拓展Google Translate的使用平臺,其中也包括自家的藍牙耳機Pixel Buds。

圖片來源:The Verge

 

但是當Google Translate準備將這一模式應用在更多語言的翻譯中時,發現此方案的可擴展性有很大問題。具體來說,在使用「神經機器翻譯」技術產出兩種「性別」的文本時,整個機器翻譯系統的查全率較低。比如,當出現10條需要進行「性別特定翻譯功能」處理的文本時,系統只能夠辨認其中的4條。此外,如果要為每一種像土耳其語一樣的「中性語言」配置可進行性別判定的分類識別器,將需要龐大的數據量來訓練機器模型,可拓展性極低,短期之內無法將此種功能應用到更多語言上。

 


優化翻譯模型

進一步減少性別偏見

今年的4月22日,Google Translate宣布解決了原先方案可拓展性較低的問題,並將「性別特定翻譯功能」拓展到英語與西班牙語、芬蘭語、匈牙利語以及波斯語的翻譯場景中。這種拓展性更強的解決方案優化了原先的處理模型,採用「重寫」(Rewriting)加「譯後編輯」(Post-editing)的方法,取代了原先的「判斷」加「分別翻譯」的處理模式,不再依賴於需要大量數據進行訓練的性別識別器。

 

「我們此次的AI技術方案實現了顯著的性能提升,不僅提高了性別判定的質量,而且將功能拓展到了另外4種語言上,」Google高級軟體研發工程師Melvin Johnson這樣寫到,「我們將繼續沿著這個方向探索下去,下一步準備解決長文本翻譯中的性別偏見問題。」

 

原有處理模式和優化處理模式對比。

圖片來源:Google AI Blog

 

在新的處理模式下,系統不需要在第一步對原文進行判別,而是直接產出默認的翻譯文本;在第二步則由「重寫」功能,產出與默認翻譯文本對立性別的本文。比如說,默認翻譯文本是「他是一名醫生」,則重寫功能會產出對應的文本「她是一名醫生」。最後再對兩則翻譯文本進行準確度檢查,保證只有性別因素不同,其它因素保持一致。

 

要實現優化模式中的「重寫」功能也絕非易事,Google為了實現該功能使用了百萬級的訓練語例,這些訓練文本中包含了區分兩種性別的雙語詞組。由於這樣規模的雙語文本數據在短期之內很難獲得,Google Translate團隊還利用算法對現有的單語數據進行了處理,為其生成了包含對應性別的語例文本。

用算法對單語文本進行處理,產出對應的雙語文本數據。

圖片來源:Google AI Blog

 

獲得足夠的訓練數據後,Google Translate也加入了標點和格的變化(指主格、賓格、所有格等變化),增強模型的穩定性。利用此種模型可實現高達99%的性別判定準確度。

 

Google Translate此次使用的優化版AI技術,將4種語言與英語的文本互譯中的「性別偏見」減少了90%以上,而用使用原方案的土耳其語-英語翻譯場景中,對「性別偏見」的解決度也從60%上升到了95%。系統判別是否需要展示兩種性別文本的準確度穩定在97%。

 

Google Translate在利用AI進行機器翻譯的道路上引領著技術風潮。

圖片來源:Pixabay

 

Google Translate雖然稱不上完美,也遠遠無法代替專業的人類譯者,但其在減少性別偏見的道路上的每一次進步,都體現了Google對於減少AI性別偏見的努力。AI技術是由人類創造的並塑造的,技術從業者需要像Google Translate一樣,打造更公正平等的AI產品反哺社會,幫助人類向更文明的方向發展。

1.https://venturebeat.com/2020/04/22/google-debuts-ai-in-google-translate-that-addresses-gender-bias/

2.https://ai.googleblog.com/2020/04/a-scalable-approach-to-reducing-gender.html

3.https://techcrunch.com/2018/12/07/google-translate-gets-rid-of-some-gender-biases/

4.https://www.theverge.com/2019/1/30/18195909/google-translate-ai-machine-learning-bias-religion-macduff-hughes-interview

5. https://en.wikipedia.org/wiki/Turkish_grammar#Pronouns

6.https://www.vice.com/en_us/article/j5npeg/why-is-google-translate-spitting-out-sinister-religious-prophecies

7.https://thenextweb.com/neural/2020/04/23/google-introduces-improved-ai-to-address-gender-bias-in-translate/

歡迎大家在評論區積極留言,我們將根據留言質量和點讚數送出【小文藝口袋文庫·知人系列】人物傳記一本。昨日獲獎讀者:TRACER,請聯繫全媒派小助手(qmp_001)領取獎勵。

相關焦點

  • 谷歌翻譯困境破局 AI不是人,為什麼也會有性別偏見
    這些年來,Google Translate(谷歌翻譯服務)一直被人詬病存在性別偏見現象,例如Google Translate會默認將某些「中性」職業和特定的性別聯繫起來,「醫生」一定是男性,而「護士」則往往是女性。從2018年開始,Google就嘗試解決土耳其語和英語互相翻譯時的性別偏見問題,為與性別有關的詞條提供兩種版本的翻譯(和漢語不同,土耳其語是「中性」語言。
  • 減少谷歌翻譯中性別偏見的可擴展方法
    用於語言翻譯的機器學習(ML)模型可能會因為模型訓練數據中潛藏的社會偏見而生成同樣帶有傾向的結果。性別偏見就是一個典型的例子,主要體現在性別特定(語言中有他 / 她這樣區分性別的語素)語言和非性別特定語言之間的翻譯結果上。例如,谷歌翻譯曾將土耳其語中的「他 / 她是醫生」都翻譯成了"他是醫生",而將土耳其語中的「他 / 她是護士」都翻譯成了"她是護士"。
  • 谷歌翻譯引入減少性別偏見的更新 英法等六語種首發
    為了減少性別偏見,谷歌為自家的翻譯工具引入了一項更新。周四的時候,這家搜索巨頭表示,谷歌翻譯將為一個單詞提供女性化和男性化的翻譯(Gender-Specific)。在此之前,這項服務的默認視角,都是站在男性的角度。
  • 為避免性別偏見 谷歌AI新工具實行性別代詞禁令
    谷歌將不會提示性別代詞,「他」或「她」,這樣風險太大,因為其預測輸入「SmartCompose」技術不能準確預測別人的性別身份,可能會冒犯到用戶。Gmail產品經理保羅蘭伯特說,公司研究人員在今年1月份發現了這個問題,當他打出「我下周要和一位投資者見面,」谷歌的Smart Compose就自動提出一個可能的後續問題:「你想見他 嗎?」,而不是「她 」。
  • 谷歌翻譯減少性別歧視 「他」也可以是護士
    12月7號消息,谷歌今天宣布從本周開始,谷歌翻譯開始為一些性別中立的詞語提供女性化和男性化的翻譯,減少性別偏見。例如,土耳其語中的「o bir doktor」,現在翻譯為「她是醫生」和「他是醫生」。谷歌翻譯稱一直致力於促進公平,並減少機器學習中的偏見。此前翻譯時,它無意中會表現出一些已經固化的性別偏見。例如:對谷歌翻譯中的「o bir muhendis」翻譯為「他是工程師」,而「o bir hemsire」 被翻譯為「她是一名護士。」現在,谷歌翻譯為一些性別中性詞語分別提供女性和男性的翻譯來解決性別偏見問題。
  • 谷歌阻止基於性別的代詞來處理人工智慧工具,以防止指控偏見
    谷歌的技術不會提出基於性別的代詞,因為風險太高,以至於其「智能撰寫」技術可能會錯誤地預測某人的性別或性別認同並冒犯用戶,產品負責人在採訪中向路透社透露。而不是「她的。」消費者已經習慣於在智慧型手機上自動更正令人尷尬。但是,在性別問題正在重塑政治和社會的時候,谷歌拒絕抓住機會,批評者正在以前所未有的方式仔細審查人工智慧的潛在偏見。
  • 谷歌翻譯又被懟了,這次是因為得罪了女程式設計師……
    事情這樣的:在一些語言中,有些名詞或代詞是沒有性別區分的,如在馬來語和土耳其語中,就不存在咱們中文裡的「男他」和「女她」的設定,不論男女,統一用一個詞代替,馬來語用「dia」,土耳其語用「o」。這....不是在給谷歌翻譯找坑跳嘛!
  • 谷歌翻譯升級:現可根據性別進行翻譯
    IT之家12月9日消息 不久前,谷歌全新的材料設計(Material Design)語言已經面向全線產品推出,覆蓋網頁端和安卓應用端。根據外媒的報導,谷歌翻譯現可根據語境,提供基於性別的翻譯。據報導,各國語言處理性別的方式各不相同,而這些差異之前導致谷歌翻譯做出假設(假設為男性)並提供可能不準確的翻譯。但是,現在,當翻譯輸入中的性別含糊不清時,輸出將顯示男性和女性用語,消除了誤解。在此之前,輸入可能具有女性或男性解釋的短語只能提供一種翻譯,現在谷歌翻譯會嘗試通過查看上下文來解析相應的性別。
  • 性別會造成對性別偏見研究的偏見
    有意思的是,美國蒙大拿州立大學的心理學家們對科學界進行了「有關性別偏見的研究」的評價研究,發現科學、技術、工程和數學領域不僅存在對於女性的偏見,而且這一領域不同性別的人對於性別偏見研究成果的評價也存在偏見。由此提醒我們,僅僅揭露性別偏見並不足以消除偏見的存在。
  • 谷歌翻譯升級:現可根據語境提供基於性別的翻譯
    12月9日消息,據外媒的報導,谷歌翻譯現可根據語境,提供基於性別的翻譯。此前,翻譯軟體在進行翻譯時,往往會在中性詞語的翻譯上存在偏向性誤差,比如,「強壯(strong)」或「醫生(doctor)」這類詞語會偏向男性,而「護士(nurse)」或「美麗(beautiful)」這類詞語則會偏向女性。今年2月,《福布斯》雜誌報導了社交媒體中出現的這類問題,谷歌公司因此被點名。
  • AI在這張「問卷」上首次超越人類,SuperGLUE被微軟谷歌兩家「攻破」
    一個是來自微軟的DeBERTa,一個是來自谷歌的T5+Meena。T5是谷歌去年提出的「文本到文本遷移Transformer」,也就是用遷移學習讓不同的NLP任務可以使用相同的模型、損失函數和超參數,一個框架在機器翻譯、文檔摘要、問答和情感分析上都能使用。
  • 超過GPT3的谷歌萬億參數的AI語言模型
    這就是為什麼研究人員追求他們所謂的Switch Transformer的原因,這是一種 "稀疏激活 "的技術,它只使用模型的權重子集,或者說在模型中轉換輸入數據的參數。Switch Transformer建立在混合專家的基礎上,這是90年代初首次提出的人工智慧模型範式。
  • AI沒有偏見?它們從人類的語言中學會了性別和種族歧視
    李杉 編譯自 IEEE Spectrum量子位 出品 | 公眾號 QbitAI在性別和種族問題上,人工智慧能夠消除人類的偏見嗎?《科學》上發表的一項最新研究給我們潑了一盆冷水。普林斯頓大學信息技術政策中心計算機科學家Arvind Narayanan和他的同事們發現,機器學習算法會輕易模仿其訓練數據集中隱含的偏見。
  • 支持108種語言的谷歌翻譯如何用AI讓翻譯質量越來越好?
    自谷歌翻譯首次公開亮後的13年間,諸如神經機器翻譯、基於重寫的範例和本地處理之類的技術使該平臺的翻譯準確性有了可量化的飛躍。但是直到最近,翻譯的最新算法表現也落後於人類。谷歌表示,其翻譯質量的突破並不是由單一技術推動,而是針對資源較少的語言、高質量源語言、總體質量、延遲和整體推理速度的技術組合。在2019年5月至2020年5月之間,通過人工評估和BLEU(一種基於系統翻譯與人工參考翻譯之間相似性的指標)進行衡量,谷歌翻譯在所有語言中平均提高了5分或更多,在50種最低水平的翻譯中平均提高了7分或更多。此
  • AI的偏見:機器就是絕對理性的麼?
    不,絕對不是。人們很難定義什麼是公平的人工智慧。以下是我能想出的最好的定義:對於社會歧視影響下的特定任務,如果給定的人工智慧模型能夠輸出獨立於敏感性參數(例如性別、種族、性取向、宗教信仰、殘疾等)的結果,那麼這個人工智慧模型就是公平的。本文將討論人工智慧偏見,與之對應的真實例子,及其解決方法。
  • 《集異璧》作者侯世達瘋狂吐槽谷歌翻譯:AI替代人類譯者為時尚早
    如果我可以驕傲地稱自己是「三種全會」(pi-lingual)的話[1](如果有人問我「你會說幾種語言」,我會很愉快地回答,大概會3種語言),那麼「谷歌翻譯」得有多驕傲啊,畢竟,它可以把自己稱為「百種全會」(bai-lingual)(「百」在中文裡是指數字「100」)。對於只會3種語言的人來講,會100種語言簡直難以想像。
  • 路透社:谷歌要求其科學家在AI研究中「保持積極口吻」
    圖源:路透社集微網12月24日消息,據路透社報導,Alphabet旗下的谷歌(Google)今年採取行動加強對其科學家論文的控制,推出了一項「敏感話題」審查。根據內部溝通和對參與這項工作的研究人員的採訪,至少有三個案例要求作者不要對其技術進行負面評價。據解釋該政策的內部網頁顯示,谷歌新的審查程序要求研究人員在進行諸如面孔和情緒分析以及種族、性別或政治派別分類等主題之前,諮詢法律、政策和公共關係團隊。報導稱,8名谷歌現任和前任員工表示,這一「敏感話題」流程為谷歌對文件的標準審查增加了一輪審查力度,以防存在洩露商業機密等陷阱。
  • ACL 2020|詞嵌入性別偏見難以避免?「雙硬去偏」新方法來了!
    ,具有很強的性別偏見,而且這種性別偏見會被下遊模型進一步放大。2、為什麼性別偏見是一個嚴重的問題?詞嵌入中的性別偏見確實是一個很嚴重的問題。想像一下,如果人們訓練了一個基於具有偏見的詞嵌入的簡歷篩選模型,那麼這個模型就會針對程式設計師等崗位自動地過濾掉女性應聘者,也會針對理髮師等職位篩除掉男性應聘者。
  • 可以從Gmail智能合成中提取性別代詞以減少偏見
    Gmail的智能撰寫功能可以在你快速發送消息時為你節省寶貴的時間,但不要指望它會把別人稱為「他」或「她」-谷歌在這方面做得很穩妥。產品領導者向路透社透露,谷歌在意識到人工智慧引導的功能可能存在偏見後,從智能撰寫的短語建議中刪除了性別代詞。
  • 社會心理學閱讀筆記:談談性別偏見
    社會心理學閱讀筆記:談談性別偏見本篇談談性別刻板印象,即人們有關女性和男性事實上如何行為舉止的信念。性別刻板印象:從有關刻板印象的研究中,有兩個結論是毫無疑義的:存在很強的性別刻板印象,並且正如常常發生的那樣,刻板化群體也接受這種刻板印象。