算法習得並強化了人類偏見嗎?如何測量、分析算法中的偏見

2021-01-07 澎湃新聞

原創 劉河慶 定量群學

引言

大數據時代算法對我們個體的生活有著愈來愈重要的影響，從簡歷篩選、貸款申請再到刑事司法系統，算法都在不斷幫助人類做出決策。雖然算法在提高決策準確性方面表現出了相當大的潛力，但在某些情況下，算法可能會對特定社會群體(如女性、黑人)施加不公平對待。

例如隨著深度學習和神經網絡等一系列算法的出現，人們發現本應毫無偏見的計算機也習得了人類社會中的各種偏見。在計算機視覺領域，不同性別用戶發布的圖片內容不同，導致視覺語義標註中也存在性別偏見，如在廚房中的人物總是被識別為女性。對自然語言處理領域的研究發現算法不僅準確複製了訓練數據中的性別偏見，甚至還在下遊應用任務中放大了偏差(Zhao et al.， 2017)。本期推文將以詞向量算法中反映的社會偏見為例，為大家介紹目前測量以及分析算法中偏見的相關研究。

01

測量詞向量算法中的社會偏見

詞向量模型是目前眾多自然語言處理模型的重要組成部分，以word2vec模型為例，該模型將文本作為單詞序列提供給單詞嵌入層，該層將每個單詞映射為向量空間中的實數向量，從而獲得每個詞彙的向量表示。基於詞彙的向量表示，我們可以直接測量模型中的單詞或短語之間的類比或關聯，這些類比許多都是符合預期的，因此被廣泛應用於文檔分類、問答系統等下遊任務。如根據詞彙的向量表示可以得出等式king - man + woman = queen，實現單詞的類比。

圖1

然而，也有些關聯或類比可能會有問題，如Bolukbasi等人使用基於 Google 新聞語料庫的Word2Vec模型，定量地證明了單詞嵌入在其幾何上的偏差反映了在更廣泛的社會中存在的性別刻板印象，發現即使訓練數據為專業性較強的谷歌新聞數據，詞向量算法仍習得並放大了傳統關於性別的刻板印象。具體而言，作者發現對於訓練完成的向量空間中，會發現man - woman = computer programmer – homemaker，也即如果男性對應程式設計師，女性則更可能對應家庭主婦。同時，他們也發現如果父親對應醫生，那母親會對應什麼呢？訓練完成的詞向量給出的答案是護士。

為了準確量化詞向量所學習到的性別偏見，Bolukbasi等同時計算一個詞向量和一對性別特定詞的向量之間的語義距離，例如同時計算護士與父親、母親這一對性別特徵詞的語義距離（類似的性別特徵詞對還包括哥哥-姐姐，男商人-女商人，男孩-女孩等），這樣能準確量化不同性別在向量空間中與不同職業的語義距離。如何圖1左側具體呈現了w2vNEWS中分別與she和he最相關（語義距離更近）的職業，可以明顯看到男性和女性相關職業的巨大差異。圖2右側展示了詞向量模型中可以與she和he類比的詞對（詞對在向量空間中餘弦距離近似即為可類比），上半部分為明顯帶有性別刻板印象的詞對，下半部分為不帶有性別刻板印象的詞對。

圖2

02

詞向量除偏

如何消除或緩解算法所習得的社會偏見呢，Bolukbasi等人嘗試通過消除性別刻板印象，例如服務員和女性之間的聯繫，同時保留所期望的聯繫，比如女王和女性之間的關聯，來減少性別偏差。

他們區分了與性別相關的性別特定詞，如祖父，祖母、兄弟、姐妹，以及與性別不直接相關的性別中性詞。此後，他們確定了兩個正交維度，即性別特定詞與性別中性詞間的差別，進而通過摺疊性別中立的方向去除性別中性詞和性別的關聯。也即是說作者將doctor或nurse等性別中性詞通過移動其在向量空間中的位置來減少或是消除他們的性別歧視趨勢。以圖3為例，圖中上半部分代表在向量空間中有性別偏見的中性詞，其中左側的詞彙跟女性語義距離更近，右側的詞彙跟男性的語義距離更近，作者通過將左側和右側的詞彙向中間移動來達到減少詞向量模型中性別偏見的目的。

圖3

03

討論

算法經常被質疑的一個點是其根據人們過往的行為數據或人們所在群體過往的行為數據來進行決策，這往往會強化傳統的群體間的不平等。從本期所推薦的文章可以看到，除行為數據外，算法也可以直接學習到現實社會關於不同群體的刻板印象。詞向量作為當前眾多自然語言處理任務的底層訓練模型，因其能準確學習詞彙間的語義關係而得到廣泛應用，但另一方面也會導致基於詞向量模型所得到的詞彙的向量表示，不僅複製了訓練數據中的性別偏見，甚至還在下遊應用任務中放大了偏差。

本期所推薦的文章從技術角度對如何消除或緩解算法所習得的社會偏見進行了研究，後續也有研究進一步從模型改進、提高訓練數據質量等角度進一步嘗試消除或緩解算法中的偏見，這些研究從表面上減少或隱藏了算法中的偏見，但這種偏見的隱藏在現實實踐中究竟是否起作用，如何更好的平衡算法的公平與效率仍是需要我們不斷思考的問題。

參考文獻

Bolukbasi, T., Chang, K. W., Zou, J. Y., Saligrama, V., & Kalai, A. T. (2016). Man is to computer programmer as woman is to homemaker? debiasing word embeddings. Advances in neural information processing systems, 29, 4349-4357.

Zhao, J., Wang, T., Yatskar, M., Ordonez, V., & Chang, K. W. (2017). Men also like shopping: Reducing gender bias amplification using corpus-level constraints. arXiv preprint arXiv:1707.09457.

原標題：《算法習得並強化了人類偏見嗎——如何測量、分析算法中的偏見》

閱讀原文

相關焦點

  • AI存偏見和歧視?算法讓用戶喜好趨同?科學家給出證據
    如果你給系統推薦的電影也打了分，系統就會將你的反饋行為添加到系統中，這就是一種反饋循環。&nbsp&nbsp&nbsp&nbsp但是推薦算法會受到流行性偏見(popularity bias)的影響。流行性偏見是指，一些流行的項目會被經常推薦，而其他項目會被忽略。
  • Science新研究證明人工智慧也能學會偏見
    於本周發行的新一期 Science 期刊上就刊登了一項有關的研究結果，其表明人工智慧也能習得人類的種族和性別偏見。機器之心在這裡編譯了 Science 網站上對於該研究的介紹以及該報告的摘要和部分結果，相關原文請點擊「文末閱讀」原文查閱。
  • 偏見是自身價值體系的反射——讀《偏見的本質》
    這部作品以其非凡的預見性，挖掘前因後果的洞察力，以及步步深入的縝密推斷和分析，成為推動社會改造的強大力量，促使有關偏見的研究迅速發展為熱門的學科課題，並且成為美國行政部門和社會公共服務等部門做出決策時的一個經常參照。 先來回顧一段歷史。
  • 它只是看出了你的偏見
    研究的狹隘性斯坦福的研究給出了一個看似很高的判斷精確度：當人工智慧對單張照片分析時，它猜對圖中男性性取向的機率為 81%，而女性則為 71%。當每位被分析人物的照片增加到 5 張時，算法分析男性和女性的性取向正確率分別高達 91%和 83%。
  • 如何對待不完美研究｜從圖靈獎得主「捲入」罵戰看AI「偏見」
    偏見究竟是如何影響AI的？公眾應如何對待不完美的研究？消除偏見最終是否可以實現？《中國科學報》特別邀請了業界多位專家就此進行了討論。躲不過的偏見《中國科學報》：AI偏見是個常說常新的話題。在你們看來，究竟什麼是AI偏見？AI偏見有哪些表現形式？
  • AI的偏見:機器就是絕對理性的麼?
    但人工智慧一定公平嗎？不，絕對不是。人們很難定義什麼是公平的人工智慧。以下是我能想出的最好的定義：對於社會歧視影響下的特定任務，如果給定的人工智慧模型能夠輸出獨立於敏感性參數（例如性別、種族、性取向、宗教信仰、殘疾等）的結果，那麼這個人工智慧模型就是公平的。本文將討論人工智慧偏見，與之對應的真實例子，及其解決方法。
  • AI將非洲人標為大猩猩 創建無偏見機器人有多難?
    在其核心領域，機器學習利用算法分析數據、提取模式以及學習和預測，並會基於收集到的見解做出決定。它已經成為我們日常生活中使用的許多技術的基石，比如搜尋引擎、面部識別應用以及數字助理等。機器學習算法獲得的數據越多，它就會變得越聰明。這也就是科技公司千方百計收集更多用戶和消費者數據的原因。但是最終，機器學習只會保持其獲得的數據那樣聰明。
  • 你認為AI對你會有偏見嗎
    你認為AI對你會有偏見嗎 人人都是產品經理 發表於 2019-10-18 16:44:29 近日，麻省理工的博士生在兩項獨立研究中發現，雖然機器擅長識別人工智慧生成的文本
  • 如何實現算法中的公平性
    機器學習訓練在涉及到性別、種族等與人相關的敏感屬性時，常常會由於統計性偏差、算法本身甚至是人為偏見而引入歧視性行為。由此，為消除差別影響，改進機器學習公平性，主要途徑包括提高訓練數據集質量、改進算法降低對敏感屬性的依賴以及定義指標量化和衡量歧視程度。本文分析了算法歧視的致因，側重於數據問題給出了公平性的定義，介紹了統計均等等度量指標。
  • 傳媒觀察丨算法新聞,擁抱人工智慧謹防「技術霸權」
    錨定新聞：從海量信息中發現事實線索在尋找新聞線索方面，算法作為一種數據驅動式的直覺雷達，通過一系列實時監測、聚類分析等機器深度學習功能進行數據挖掘，幫助記者在龐雜無章的信息環境中快速鎖定到有價值的信息。算法可以通過對數據的量化分析，穿透表面紛雜將信息深處隱藏的特質或問題呈現出來，幫助導引人類記者將注意力關注到有價值的信息線索上面，從而生產更為有意義的報導。
  • 國外媒體「理客中」,中國媒體「最偏見」?別拿大數據忽悠人!
    隨後，該文將中國媒體對他國的所有報導和他國媒體對中國的所有報導，做了個褒貶指數平均值，得出了所謂英美媒體「理客中」，中國媒體「最偏見」的結論。然而，該文只講了結論，並沒有列出任何技術性的操作，所以，必須檢視其資料庫與計算方法。該文章計算的結果，是媒體偏見嗎？
  • 科研界「玫瑰」如何綻放？或許該從排除「隱性偏見」開始
    偏見並不是與生俱來的一種社會行為，而是人們在後期的社會生活中習得的。原因很多，比如社會價值和生活形態。 千百年來，被奉為精華的書裡就曾這樣評價女性：唯女子與小人難養也。第三，出於社會地位、自我關注和歸屬的需要，人們也會表現出偏見。人類會很自然地將他人分成內群體和外群體，一旦認定我們屬於某個群體，偏見另外一個群體會讓營造自己高人一等的感覺。
  • AI 也有種族「偏見」？
    這個問題在機器學習中非常普遍，這也是人臉識別算法在非白人和女性面孔上表現較差的原因之一。 用於人工智慧訓練的數據往往傾向於單一的人口統計學，即白人男性，當一個程序看到的數據不在這個人口統計學中時，它表現得很差。並非巧合的是，在人工智慧研究中佔主導地位的是白人男性。
  • 清華大學沈向洋教授快手直播:要避免傳統社會語境裡的偏見被帶入AI
    但在推動技術進步的同時，如何解決技術帶來的社會影響?如何避免人工智慧技術發展帶來的偏見和歧視?也是全人類需要共同關注的問題。2019年底，前微軟全球執行副總裁沈向洋宣布離職後，去向一直備受關注。3月3日，沈向洋入職清華大學擁抱學術的消息傳出。
  • 認知偏見,大腦中的惡作劇-虎嗅網
    當聽到「偏見」這個詞，很多人想到的是種族歧視，或者新聞媒體不成比例地選擇性報導，偏袒某一政治立場之類的事情。現時偏見和那些不一樣，它屬於認知偏見。認知偏見是一個龐大的集合，包含種種顯然根植於人類大腦的錯誤思維方式。維基百科上的「認知偏見列表」包括185個詞條，從觀察者偏差，到蔡加尼克效應，應有盡有。
  • 科學家的偏見會較少嗎？
    本文刊載於《三聯生活周刊》2020年第36期，原文標題《科學家的偏見會較少嗎？》，嚴禁私自轉載，侵權必究脫離了自己研究領域和同行評議的約束，科學家和普通人一樣，觀點來自本能和直覺，來自選擇性觀察和片面經驗，因此也像普通人一樣會產生偏見。
  • 看《瘋狂動物城》各個角色如何在「偏見」中逆襲
    《瘋狂動物城》講述了在一個仿人類社會的動物城裡, 被偏見打上烙印的小動物們逆襲的故事。在一個所有哺乳類動物和諧共存的美好世界中, 兔子朱迪從小就夢想著能夠成為一名懲惡揚善的刑警。憑藉著智慧和努力, 朱迪成功的從警校畢業, 進入了瘋狂動物城警察局。
  • 阿爾法腦電波:能測出你腦中的偏見
    3月16日，一項發表在《神經科學雜誌》(JNeurosci)上的研究試圖探索腦電波與人腦中的偏見之間的聯繫格林沃爾德(A.G.Greenwald)在1998年提出的一種內隱聯想測驗就是以反應時為指標，通過一種計算機化的分類任務來測量兩類詞(概念詞與屬性詞)之間的自動化聯繫的緊密程度，繼而對個體的內隱態度等內隱社會認知進行測量。內隱聯想測驗在生理上是以神經網絡模型為基礎。
  • 消除NLP中的刻板印象:程式設計師之於男性=家政人員之於女性?
    然而，科研人員發現在機器學習人類語言的同時，也習得了人類語言中隱藏的刻板印象。帶有這樣偏見的自動化算法如果被應用到實際生活中的話，很有可能擴大這種偏見，造成不良的社會後果。AI 科研群體非常關注這一問題，並在近幾年來不斷討論、改進解決方案。這篇推送中筆者將會介紹兩篇這一領域中的經典論文，藉此希望可以讓讀者對於當前科研人員在消除算法刻板印象上的努力有一定的了解，也對 AI 和社會的關係帶來一些思考。
  • 數字的反烏託邦：算法是如何懲罰窮人的？
    它是由工程師和編碼人員在遠離公眾視野的隱蔽政府機構中閉門策劃的。由於人工智慧、預測算法、風險建模和生物識別技術是背後的驅動力，因此只有數學家和計算機科學家能夠完全理解這個巨大的變化。但如果你正處於福利改革接收端的數百萬弱勢人群之中，你一定會體會到其中嚴重甚至是致命的影響。