選自Science機器之心編譯參與：吳攀、晏奇
至少從口號上來說，我們一直在追求「人人平等」，但我們也都清楚我們離這一目標還相去甚遠，部分原因是因為世界並不是平的，還有一部分原因是我們的頭腦裡都還存在著偏見。現在隨著人工智慧技術的發展，機器已經開始具備了學習能力，那麼它們在學習各種技能的同時也會學會人類的偏見嗎？於本周發行的新一期 Science 期刊上就刊登了一項有關的研究結果，其表明人工智慧也能習得人類的種族和性別偏見。機器之心在這裡編譯了 Science 網站上對於該研究的介紹以及該報告的摘要和部分結果，相關原文請點擊「文末閱讀」原文查閱。
地址：http://science.sciencemag.org/content/356/6334/183.full
學習人類書寫的文本的計算機會自動表現出特定的男性或女性職業詞
人工智慧的一個偉大願景是創造一個沒有偏見的世界。人們想著，如果讓算法來招聘員工，那麼男人和女人都應該會有同等的工作機會；如果用大數據來預測犯罪行為，那麼就會消除警務工作中的種族偏見。但現實往往會給理想當頭棒喝，最近一項新研究表明計算機也可以產生偏見，尤其是當計算機向人類學習時。當算法通過分析處理大量人類書寫的文本來學習詞句的含義時，它們也會獲得類似於我們的偏見那樣的刻板印象。
「不要把人工智慧看作是什麼仙女教母，」該研究的聯合作者、英國巴斯大學和普林斯頓大學的計算機科學家 Joanna Bryson 說，「人工智慧只是我們已有文化的延伸。」
這項研究的靈感來自於一種被稱為內隱聯想測驗（IAT：implicit association test）的心理學工具。在 IAT 中，詞彙會在一個計算機屏幕上閃現，人們對其做出反應的速度能夠表明其潛意識的聯想。比如在測試中，黑人和白人美國人在將 Brad 和 Courtney（通常是男性名字）與 happy 和 sunrise（積極詞彙）聯想到一起以及將 Leroy 和 Latisha（通常是女性名字）與 hatred 和 vomit（消極詞彙）聯想到一起時的反應速度會更快，反過來則更慢。
為了測試機器「心智」中的類似偏見（bias），Bryson 及其同事開發了一種詞嵌入關聯測試（WEAT：Word-Embedding Association Test）。他們首先基於一個詞通常出現的語境而構建了一個詞嵌入（詞嵌入基本上可以看作是計算機對詞的定義）集合。比如，「冰」和「蒸汽」有類似的嵌入，因為這兩個詞的語境中常常出現「水」這樣的詞，而不會常出現「時尚」這樣的詞。但對於一臺計算機而言，一個嵌入常常被表示成一個數字串，這不是人類所能直觀理解的定義。史丹福大學的研究者通過分析網際網路上的數千個詞而為本研究提供了分析用的詞嵌入，具體方法可參閱論文《GloVe: Global Vectors for Word Representation》。
WEAT 會計算那些數字串之間的相似度，而不是去測量人類的反應時間。通過這個方法，Bryson 的團隊發現，諸如「Brett」和「Allison」這樣的名字的嵌入會與那些涉及到「愛」與「歡笑」這樣的積極詞彙更相似，而諸如「Alnozo」和「Shaniqua」這樣的名字會與如「癌症」、「失敗」這樣的消極詞彙更加相似。對計算機而言，偏見內置於詞之中。
平均起來，IAT 表明：在美國，男人會和工作、數學、科學聯繫起來，而女人會和家庭、藝術聯繫起來。年輕人通常會被認為比年長者更加快樂，所有的這些聯繫都由 WEAT 發現。通過使用同樣的技術來測量它們那些嵌入的積極和消極詞彙的相似度，該程序也推斷認為，花會比昆蟲、樂器和武器更快樂。
隨後，研究者開發了一個詞嵌入真實關聯測試（word-embedding factual association test，WEFAT）。該測試會決定詞彙與詞彙之間關聯的強度，然後對比那些關聯與真實世界中事實的強度。例如，它會去尋找「hygienist」和「librarian」這樣的嵌入詞與如「female」和「woman」這樣的詞的關聯強弱。對每個職業來說，該程序接下來會拿這個計算機生成的性別關係關聯測量結果與女性實際在那個領域的佔比進行比較。我們發現，結果高度相關。因此，該團隊表示，嵌入可以對從花到種族和性別偏見的常見情緒、甚至是關於勞動力的事實等所有東西進行編碼。
「這些算法發現了這些東西，真的很酷，」Tolga Bolukbasi 說道，他是波士頓大學大學的一位計算機科學家，現在正帶領團隊進行類似的研究，他們也得到了類似的結果（參考論文《男性之於電腦程式員猶如女性之於家庭主婦？對詞嵌入的去偏見化（Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings）》地址：http://suo.im/3HFsJE）。「當你正在訓練這些詞嵌入模型時，你實際上不會明確指明這些標籤。」當人們在整理簡歷或貸款申請時，就會發現有偏見的嵌入出現，這一點都不好，他說道。例如，如果一個計算機去搜索關聯「程式設計師」和男人這樣的電腦程式員簡歷，那麼男性的簡歷就會突然出現在所有簡歷的最上面。Bolukbasi 的工作聚焦在對嵌入的「去偏見」方法上，也就是說，從中移除不想要的關聯。
Bryson 還有另一個嘗試。不同於對嵌入的去偏見（因為這本質上丟掉了一些信息），她更傾向於添加額外一層人類或計算機的判斷，以此來決定如何或怎樣在這些偏見之上來行動。在僱傭程式設計師這個例子上，你也許會決定去設定性別的定量指標。
人們長期以來一直認為詞的含義可以通過詞共現（word cooccurrences）而提取出來，「但這遠不是一個可以預期的結論，」華盛頓大學心理學家 Anthony Greenwald 說，他曾在 1998 年發展了 IAT，並為本周發布在 Science 期刊的這篇 WEAT 論文寫了一篇評論，參閱：http://science.sciencemag.org/content/356/6334/133。他說他預計書寫（WEAT 測試的基礎）將能更好地反映明確的態度，而不是隱含的偏見。但相反，WEAT 嵌入更接近於 IAT 偏見，而不是關於種族和性別態度的調查，這說明我們可以會以一種我們沒意識到的方式傳遞我們的偏見。「這有些讓人吃驚，」他說。他也說 WEAT 也許可以被用於測試過去時代的隱含偏見，比如通過分析 19 世紀寫出的書所導出的詞嵌入。
與此同時，Bryson 及其同事也表明即使谷歌也沒能免於偏見。當談論的是一位醫生時，該公司的翻譯軟體會將許多語言中性別中性的代詞翻譯成英語的「he」，如果談論的是護士，那麼就會將其翻譯成「she」。
所有這些研究都表明「注意你的遣詞造句是很重要的，」Bryson 說，「對我來說，這實際上就是對政治正確和平權法案等各種事情的辯護。現在，我看到了它的重要性。」