AI的「色差」與「糾偏」

2020-12-14 腦極體

在美國學術界聲援BLM(Black Lives Matter)之後,事情的走向有點難以預料。

學術界的反種族歧視反省似乎沒有了下文,但是如火如荼的BLM運動早已蔓延開來,這次將矛頭指向了AI界。

事情的起因是杜克大學提出了一種稱之為PULSE(Photo Upsampling via Latent Space Exploration)的AI算法。它可以輕鬆將馬賽克級別畫質的人臉圖像轉化為計算機生成的高清畫質圖像,也可以「有來有往」地將高清畫質給降級到高糊狀態,反正是效果極好。

問題就出在,PULSE生成的圖像可不保證是還原的原始人物的頭像,而且在人臉膚色上還會進行大膽「創新」,把原本是黑膚色的人像變成了白膚色的。比如歐巴馬:

這一結果被美國網民發現之後,紛紛將涉嫌種族歧視的矛頭指向人工智慧。然後將事情引向高潮的是AI界的標杆性人物Yann LeCun,他在推特上給出了自己的解釋,大意是出現這種偏差的原因是由於數據集的偏差。訓練數據集主要是用了白人照片,如果是換成黑人照片,可能會出現生成的人像更多是黑人的情況。

LeCun的一番解釋卻換來了兩位同行的反駁,她們聲稱LeCun的解釋是「避重就輕」,忽視了AI的偏見來自於更廣泛的社會不公和偏見的影響。

為此,LeCun選擇道歉以息事寧人,不願意將這一話題繼續擴大。然而AI界已經為此分成了兩派,就LeCun是否在為「AI的種族歧視」辯護和是否應該為此事道歉吵得不可開交。

今天,在社交網絡中不堪其擾的LeCun呼籲所有人停止相互的攻擊,再次申明自己反對一切形式的歧視,並決定退出推特來表明這一態度。

相互攻擊的口水戰確實對於解決問題於事無補,但AI算法中存在種種的「偏見」和「歧視」,則仍然是AI界嚴肅面對的 「事實性」問題。

不過,就導致AI偏見的種種原因,人們仍然在爭論不休,而至於如何解決AI中存在的種種偏見,則同樣沒有一致的定論。我們希望儘可能呈現出這一爭論的複雜樣貌,來探索下破解AI偏見的方案中有無最優解。

AI的「有色眼鏡」世界

今年5月底,微軟宣布要裁撤80名外包編輯,交由AI算法負責接下來的MSN新聞抓取、排版和配圖等工作。

(MSN 在關於Jade的報導中錯誤地使用了Leigh的照片)

然而就在宣布之後不到一周時間裡,AI編輯就捅了婁子,在一篇關於阿拉伯裔歌手Jade Thirlwall的文章中,配圖卻用成了該團隊另外一個非裔成員Leigh-Anne Pinnock的照片。更讓人哭笑不得的是,這篇文章正是Jade講述自己曾經遭受種族歧視經歷的文章。

(左三是Jade Thirlwall,右一是Leigh-Anne)

AI算法又用「AI臉盲」的偏見再一次不經意地「歧視」了一把Jade和她的夥伴Leigh-Anne。雖然說兩位女團成員長得是有那麼一點想像,但是AI就不能長長眼,正確區分出兩人的膚色差別嗎?

事實上,AI人臉識別在深色皮膚族裔的識別上,問題一直存在。

2018年,MIT媒體實驗室的研究員Joy Buolamwini(算法正義聯盟的組織者),就「人臉識別技術在識別不同種族和性別的人臉的效果關係」的研究中發現,一些商業軟體在識別黑色人種的性別的錯誤率要遠遠高於白色人種,而且膚色越黑,識別率就越低。

研究中,她選擇了微軟、IBM和Face++的人臉識別算法。經過測試,算法在識別白人男性的錯誤率僅為1%,在識別白人女性的錯誤率為7%。而到了識別黑人男性的錯誤率則升至12%,黑人女性的識別錯誤率則高達35%,也就是每三個黑人女性就會被錯誤識別一次性別。

而這次研究被哈弗福德學院計算機科學家Sorelle Friedler評價為第一次證明人臉識別對不同人群有不同效果的研究。

其實之前業界早已經意識到這一問題,AI在計算機視覺上面存在的認知偏見,可能會導致種族歧視,比如2015年,谷歌的圖像識別技術就將非裔美國人標記為「大猩猩」。

(美國邊境警察檢查護照)

當時出現這樣的狀況,還可以理解為圖像識別算法不夠成熟,而現在這一問題卻仍然並未得到更好的解決。2019年底,美國國家標準與技術研究院(NIST)的一項研究表明,世界上許多頂尖的面部識別算法都存在年齡、種族和民族偏見。研究顯示,一些美國本土開發的面部識別軟體中,中年白人男子的識別準確率最高,而非裔美國婦女識別錯誤率最高,少數族裔、兒童和老年人的錯誤識別率也相對更高。在某些情況下,亞裔和非裔美國人被錯誤識別的概率是白人的100倍。

AI偏見的範圍,自然不僅僅限於人臉識別領域。比如在算法招聘、犯罪風險預測以及疾病風險評估當中,都會因為算法模型的偏差和數據的不完善導致AI的偏見。

比如,2018年,研究者在亞馬遜的招聘算法中發現,在技術職位的簡歷中,對包含有「女性」的一詞的簡歷進行了降級。而將AI應用於某些人可能再犯罪的風險評估時,更多以司法部的歷史數據記錄進行訓練。而現實數據中,美國黑人就比白人或西班牙裔更容易被警察攔截。

再比如,美國某公司在利用AI篩選慢性病高風險人群的過程匯總,他們主要根據患者支付的醫療費用來評估的患者患併發症的風險高低。但他們發現,在實際過程中,當黑人和白人患者花費相同的情況下,模型給出的黑人患者的風險評分仍會低於白人患者。也就是,即使在風險相似的情況下,該模型也更傾向於選出更多白人患者進入護理計劃。

也就是說,在現實世界中存在的種族歧視、性別、年齡歧視、少數人群歧視等問題,不僅在AI算法中存在,甚至還會通過一種更直接有效地方式放大。

AI算法的「色差」體質,難道真的像LeCun所言,就是AI訓練的數據集的問題嗎?

AI「色差」從何而來?

在我們大多數人的意識中,科技通常是中立的。不管在全世界任何體制中、面對任何人群,科技遵循的規則都是客觀的、中立的,就像建造高樓要遵循力學結構原理,防禦新冠病毒要遵循科學檢測和消殺防護手段一樣。

偏偏AI這位科技領域的新寵,從誕生之日起就帶著神秘的算法黑箱和挑戰人類智能的宏偉願景。同時不可避免地也帶有了人類設計者的主觀色彩和個人偏見。

在AI應用中,最顯而易見的一種人類性別偏見甚至都沒有上升到算法層面,而僅僅在人類選擇AI助手中就暴露無遺。

現在,主要的智能音箱或者智能設備中的AI助手都默認為女性名字和女性聲音。當然,大多數用戶也都表現出對於女性聲音的偏好。但這一默認出廠設定隱含著一個來自現實社會的偏見,那就是人們更傾向於把女性設定為服務助理的角色,繼續強化了女性的次要地位和順從男性的角色定位。

在深入到那些由於AI圖像識別算法導致的種族歧視和性別歧視案例中,其實也可以發現AI算法的決策過程以及導入訓練數據的過程中都有研發者個人的價值觀、認知缺陷和偏見等因素參與其中。

比如,在PULSE進行高清圖像生成的案例中,LeCun的解釋一定意義上是可能的,就是如果在訓練數據集中加入更多的黑人照片,那麼生成的照片可能會更多是黑人的膚色。但是,AI偏見的鍋也不能完全甩給數據偏差(LeCun在此的回應確實有點草率)。

AI藝術家Mario Klingemann通過驗證指出,PULSE將黑人圖像生成為白人的問題,並非出自數據,而是算法本身。他通過使用StyleGAN(PULSE也採用了英偉達的這一算法)從相同像素的歐巴馬圖像中生成的更多是非白人照片。當然,Mario也不能真正指出到底是算法在什麼情況下出現這種錯誤的。

在對LeCun的回應中,在AI正義聯盟工作的研究者Deborah Raji指出,AI的偏見受到更廣泛的社會不公正和偏見的影響,而不僅僅是使用「正確」的數據集來能解決更大的社會不公問題(當然Raji的指責也有點超綱)。

通過以上爭論,我們其實可以得出一個更折中的答案。AI是大規模帶標註的數據集訓練的產物,數據集中反映不同種族、性別的樣本數據佔比的失衡,確實將反映到AI算法模型的結果當中,從而又會強化算法模型對於某一類數據的判斷,而弱化對缺失數據的判斷。而訓練數據的偏見則來自於人類研究者對於數據的收集方式的偏頗。

在以往的數據收集,更多來自於研究者更為熟悉的人種,或者是網際網路上面的數據。但事實上,這些數據也並非「客觀中立」,而早已帶上了人類世界的「偏見」標籤。比如在谷歌中,搜索CEO的圖片,絕大多數都是男性CEO,其比例要遠遠高於實際當中的男性CEO比例。而搜索黑人名字,則往往會跟「犯罪」、「逮捕」等標籤綁定。此外,在英文搜索中,其他少數族裔的數據也很少會被搜索到。由此形成的數據集而訓練的模型將延續人類的偏見。

一個典型的案例就可以理解。去年,微軟、谷歌、亞馬遜等AI在識別低收入國家的物品上面,準確度要遠遠低於高收入國家的物品。不完整的數據集導致AI也會「嫌貧愛富」了。

也就是說,AI算法和數據集的問題直接導致了偏見和歧視的出現,而導致AI算法和數據集出問題的原因則來自於人類研究者一開始的認知缺陷和原始數據隱藏的偏見問題。

在BLM運動愈演愈烈的當下,AI偏見問題正從一個圈內被忽視的「頑疾」走出圈外,成為社會大眾關心的公平正義問題。那麼,這是否能成為解決這一問題的最好契機呢?

AI「色差」該如何「糾偏」?

客觀來說,想要真正清除AI算法的這些「色差」偏見,難度極大。不然AI界也不會坐視這個問題的泛濫。不過,至少在美國非裔男子佛洛依德事件之後,科技公司已經開始意識到AI算法帶來歧視問題的嚴重性了。

比如,IBM等公司就做了一件「釜底抽薪」的事情——既然AI(僅指人臉識別)有問題,那我不用還不行嗎?

(IBM現任執行長Arvind Krishna)

6月8號,IBM旗幟鮮明地聲明要徹底放棄人臉識別業務, 「反對將面部識別技術在內的任何技術用於大規模監控、種族定性、侵犯基本人權與自由,或其他任何不符合我們價值觀和信任與透明原則的目的。」

隨後,亞馬遜和微軟也緊隨其後,只是打了折扣,聲明有條件地限制自己的人臉識別技術提供給美國警方使用。

IBM這種自絕於AI的方法,當然可以避免人臉識別技術在種族歧視上的濫用。但是一竿子打死AI並不能徹底解決問題。人臉識別在現實世界的應用既有普遍場景,也有重要作用。通過追根溯源,提高少數族裔和女性老人等群體的人臉識別準確度,不是更有意義嗎?

導致AI偏見的原因可能是複雜因素的集合,那麼解決AI偏見的「藥方」,自然也是需要多管齊下的。綜合來看,糾正AI偏見要從技術、立法和團隊三方面來整體改進。

在技術層面,豐富數據源類型和規模,構建更公平的數據集,這成為解決AI偏見最直接、看起來也最可行的方式。

在立法層面,建立算法問責制度,由AI組織成立專業機構實現對算法的審查和監督。儘管歐洲的GDPR、美國的《算法問責法案》已經有相關規定,但實際操作仍然存在難度,這就要求擁有AI算法的科技企業在算法透明性和可解釋性上做出巨大讓步。

在團隊層面,增加科技公司中AI團隊的人群多樣性,特別是女性和有色人種的比例,也許是解決這一問題的可行方法。畢竟,之前的AI技術大多是由西方白人男性主導,這很可能是導致美國眾多AI算法帶有種族歧視、性別歧視的一個「隱含」原因(但並不能確定其中包含直接的因果關係)。

更為重要的是,在今後的算法測試中,在公布結果前,應該加入更多樣化的應力測試,包括增加對不同國籍、種族、膚色、性別、年齡等數據的測試,提前發現算法中可能存在的認知偏見。

此外,通過開源社區和開源技術來消除AI偏見,也可能是一個不錯的思路。至少首先解決了AI算法的透明性問題。同時,諸如像研究者提出的自動白箱測試技術——DeepXplore,可以增強了AI應力測試的強度,以驗證AI的黑盒問題,並消除可能帶來的偏見問題。這也是值得研究者們長期關注的問題。

在解決AI偏見的問題上,我們不可能抱著過於激進的態度,希望通過一次社會運動就能徹底推動技術界去消除這一技術問題,畢竟這一問題的根源更多是來自於人類自身。

我們的認知偏見其實要遠遠多於AI,而AI所做的就是「學會」並「放大」我們的偏見和歧視。因此,對於AI算法訓練的糾偏就顯得刻不容緩,但又不能操之過急。正如AI算法要經過一次次調參的過程來將訓練結果調整至越來越接近完美的準確狀態,AI的糾偏也需要這樣一個一步步緩慢調整的「調參」過程,只不過這個過程要更為複雜和艱辛。

在這個過程中,AI研究者首先是跟自己的認知盲區和個人偏見做鬥爭。如果你認為AI中存在的偏見不是什麼大問題的時候,它本身已經就是一個很大的問題了。

相關焦點

  • 練功漏氣糾偏和受驚氣散糾偏
    練功漏氣糾偏偏差判斷:一般通過練功內氣增多以後,出現頻繁放屁(不是正常的矢氣),肛門潮溼,氣感明顯下降。糾偏方法:①在練功中加強練習提肛。練功受驚氣散糾偏偏差判斷:通常是練功中受到驚擾,功後有氣散的感覺。如氣不歸元,亂竄於腹內,或有心悸不安。
  • 「程序性正義」與「糾偏行動」
    長期以來,美國民眾對1960年代開始實行的「糾偏行動」一直有爭議。甘迺迪總統在1961年、詹森總統在1965年先後發布行政命令推行「糾偏行動」。主要內容是,為黑人和其他弱勢群體在招生、就業等方面提供照顧,意在促進機會平等。
  • 「泰山壓頂」糾偏一法
    遍試各種糾偏方法,效果均不理想。好在自己對此並不驚慌,在堅持練功的同時,開始自己琢磨糾偏方法。有一次試著在練功後,用腳跟著地散步,同時默記所行步數。當行走100步時,頓感頭腦十分輕鬆;於是信心培增,再走100步,「泰山壓頂」的症狀便完全消除了。「泰山壓頂」主要是氣聚頭部,只要把氣引導下行,即能糾偏。
  • 紅木家具存在色差是真的嗎?為什麼有色差
    紅木家具存在色差是真的嗎?為什麼有色差真正的紅木家具是存在色差的,這可以說是紅木家具市場的一個共識也是有關紅木的一個常識。真正的紅木家具幾乎難以做到無色差,故在市場可以接受允許的範圍內,紅木存在色差是正常的現象。
  • 「拒收現金被記過」是必要糾偏
    然而,無論行動支付方式多麼「便捷」,「拒收現金」仍然是一種違法行為,必須糾偏。根據我國相關法律規定,任何單位和個人不得拒收人民幣。為此,2018年7月份,人民銀行還專門發布了整頓拒收現金相關公告。銀行業金融機構、非銀行支付機構不得要求或者誘導其他單位和個人拒收或者採取歧視性措施排斥現金。
  • 麂皮色差評估哪種色差公式與人眼一致性高
    然而,人們總是擔心,儀器測量的顏色進行分批和品管可能不符合人類對色差的感知。因此,在本研究中,我們嘗試篩選出四種色差公式,即CIELAB76、CMC(2:1)、CIE94和CIE2000,以確定它們在獲得顏色品管決策方面的適用性,以期與普通人類觀察者的結果相一致。通過回歸分析發現視覺和儀器顏色評估之間的相關性,結果表明CMC(2:1)公式可能是最適合的。
  • 金剛菩提出現色差應該怎麼辦?8字穿線法輕鬆告別頭尾色差
    金剛菩提出現色差應該怎麼辦?新買一串金剛菩提有的籽偏紅,有的籽偏黃怎麼辦?玩了一段時間籽的顏色有深有淺怎麼辦?籽的中間部位變色快,兩頭變色慢怎麼辦?今天就來聊聊金剛菩提的色差問題。金剛菩提出現色差情況一般可以劃分為三種情況:第一種金剛本身的色差:也就是大家購買的金剛還沒有盤玩,皮色就不一致,有的籽偏紅,有的籽偏黃,這很有可能是整串籽的密度不同造成了。這種色差後期是很難追上的。所以我們在購買金剛菩提時應挑選皮色儘量統一的金剛菩提。第二種情況金剛盤玩中期出現的色差:這就是所謂的金剛菩提盤玩尷尬期。
  • 淺談顯微鏡——物鏡的球差與色差
    分別表示色差矯正和球差矯正的等級。有些小夥伴就會問道,什麼是色差,什麼是球差?明顯可以看出,白紙的網格狀結構未進行色差校正後的像有紅色的彩邊,產生色差,而色彩校正後就可以還原圖像的本質。那麼色彩校正是如何實現的?
  • 投影透鏡的色差、球差及慧差
    一、色差:我們都知道,光學中最基本的高斯成像公式:1/u+1/v=1/f(u:物距, v:像距, f: 焦距),即物距的倒數加上像距的倒數等於焦距的倒數,這個公式告訴我們:當透鏡對一物體成像時,由於各種色光對應的焦距f值不同,所以各色光所成的像位置就不同。按色光的波長由短到長,它們的像點離開透鏡由近到遠地排列在光軸上,這種現象就是位置色差。
  • 假如地板有性格,那一定是色差的模樣
    色差並不是說一塊地板看上去有較大的差異,而是鋪設後的一整片地面中,在大面積上看上去顏色深淺不一,這是一種正常的且一定可能存在的差異。圖片來源:攝圖網秋天的武漢城市公園假如地板有性格,那一定是色差的模樣。自然的紋理和顏色表現才是木地板的價值。在優秀的設計師手裡,木地板的色差根本就算什麼事。
  • 道牙石色差的具體情況你知道嗎
    道牙石色差常被提起,雖不同花色的美觀無法比擬,但多數情況下,道牙石色差是加工業的大難題。作為建築業的主要材料,道牙石也存在這種問題。天然道牙石被廣用在市政道路、小區別墅,企業建設等領域,要求花色一致,對花色的要求更為嚴苛。下面為大家講道牙石色差的情況:道牙石色差,先分兩類情況。
  • 面對學校教育短板 「體育100分」是必要糾偏
    「體育100分」是必要糾偏  近日,雲南省教育廳發布《關於進一步深化高中階段學校考試招生制度改革的實施意見》。根據新的改革方案,國家《義務教育課程設置實驗方案》設定的科目,將全部納入雲南初中學業水平考試範圍,全科開考,共計14門,總分為700分。
  • 是什麼原因才會導致UV印表機出現印刷色差?
    那麼是因為什麼原因導致UV印表機出現色差呢?下面小編給大家分享一篇關於是什麼原因才會導致UV印表機出現印刷色差,一起往下看看吧。3、環境因素:環境因素包括印刷時間、UV油墨質量、溫度、溼度、材料特性等,也包括人為控制不了的因素,這些因素會導致色差的出現。4、機器問題:此時可以反映機器的穩定性,穩定的UV印表機不易出現色差。
  • 測油漆的色差計應該選什麼品牌?國內和國外都有哪些?
    最近有朋友說油漆色差計什麼牌子好?這主要取決於用戶的需求和對色差計的定位,總的來說沒有最好的品牌,只有最接近用戶需求的產品。如果是專業油漆色調大師,需要顏色分析,建議選擇光譜儀等。如果需要對溼油漆原料進行顏色測量,則需要購買裝有色盤的色差計或單獨購買色盤。
  • 天貓商城旗艦店購耐克鞋有色差 店家拒絕退貨
    次日到貨時鄔先生發現兩隻鞋有明顯色差,便馬上與「NIKE官方旗艦店」的客服聯繫,要求換貨並由對方承擔運費。  原本認為合情合理的要求,卻被客服一口回絕,「客服堅稱兩隻鞋子有如此明顯的色差是設計原因並非質量問題」,鄔先生氣憤地告訴記者,「色差是否明顯一看便知,如果是故意設計成不同顏色,那麼圖片和介紹中應當特別指出。
  • 倪妮最新雜誌大片曝光,妝容有些「慘白」,臉與脖子色差大
    在這張照片中,倪妮的臉和脖子的色差更加明顯。一眼看去,不少網友還以為倪妮的臉上被糊了一層麵粉。、「臉和其他部位的色差有點大啊…」、「這是帶了個面具?搞什麼啊!」、「臉的妝容真浪費倪妮的臉啦。」看來網友對這個妝容還是不太喜歡啊!
  • Aiden.ai獲投資 以發展AI營銷分析工具
    【手機中國新聞】總部位於倫敦的人工智慧分析創業企業Aiden.ai已經獲得了160萬美元的種子資金,用於 「人工智慧營銷分析工具」的開發,他們聲稱,這就像在營銷團隊中多出來一個人。該輪投資由Partech領投。
  • 叫停數學「杯賽」只是理性糾偏第一步
    但是,我們應當看到,叫停數學杯賽只是理性糾偏的第一步。在教育競爭白熱化的現實語境下,一些家長在孩子報班參賽這件事上,秉持的是「有條件要上,沒條件創造條件也要上」的理念,篤信「不能讓孩子輸在起跑線上」而不敢超脫於大流,說到底還是傳統應試思維在作祟。因此,要想底扭轉超綱教學、提前教學、強化應試等問題,既需要教育改革的引導,也需要落腳於教育觀念的迭代。
  • 《王者榮耀》ai絕悟在哪進 ai絕悟進入入口一覽
    導 讀 王者榮耀ai絕悟是讓遊戲中新開的一個挑戰模式,遊戲中會出現強大的AI對手,那麼王者榮耀ai絕悟在哪裡挑戰
  • AI軟體商C3.ai掛牌首日飆120%
    Siebel本次創辦的C3.ai募集資金超過6.5億美元,IPO 8日定價在每股42美元,超越先前預估定價區間36~38美元。雖然IPO募集資金規模高達33.7億美元的美國餐飲外送服務商DoorDash Inc.,9日首度掛牌時吸引多數人目光,但C3.ai 9日仍以超過IPO定價一倍以上100美元開出,終場收在92.49美元,較IPO定價多出120.21%。