人工智慧也存在偏見?是的。千萬不要讓你的偏見進入這些技術領域

2021-01-18 騰訊網

人類天生就有偏見,這是我們社會的一個不幸事實。當人類傾向於種族少數群體、宗教、性別或民族時,這種情況可能會有意識地發生,甚至可能在出生以來由於社會、家庭和社會條件的影響而產生偏見的情況下無意識地發生這種情況。不管是什麼原因,偏見確實存在於人類之中,現在它們也被傳遞到人類創造的人工智慧系統中。

這些偏見可以傳遞給人工智慧偏差在人工智慧系統中,當他們接受包括人類偏見、歷史不平等或基於人類性別、種族、國籍、性取向等不同判斷指標的數據的培訓時。例如,亞馬遜發現他們的人工智慧招聘算法對女性有偏見。該算法基於過去10年提交的簡歷數量和聘用的候選人。由於大多數候選人都是男性,所以算法也比女性更青睞男性。

1.針對黑人的COMPAS算法

COMPASS是一種人工智慧算法,由Northpointe創建,在美國用於預測哪些罪犯在未來更有可能再次犯罪。根據這些預測,法官對這些罪犯的未來作出決定,從繼承人的刑期到保釋的數額不等。

然而,ProPublica一家獲得普立茲獎的非營利新聞機構發現COMPAS存在偏見。黑人罪犯被認為未來重犯的可能性比他們所犯的要大得多。另一方面,被判定為白人罪犯的風險低於COMPAS。即使是暴力犯罪,黑人罪犯也被誤認為更危險,幾乎是白人罪犯的兩倍。COMPAS的這一發現證明,它從某種程度上了解了人類固有的偏見,即黑人比白人平均犯罪要多得多,而且今後也更有可能犯罪。

2.對少數群體有偏見的PredPol算法

預測警務是一種人工智慧算法,其目的是根據警方收集的犯罪數據,如逮捕數量、報警次數等,預測未來犯罪發生的地點。該算法已被美國加州、佛羅裡達州、馬裡蘭等地的警察部門使用,其目的是通過將犯罪預測留給人工智慧來減少警察部門的人為偏見。

然而,美國的研究人員發現PredPol它本身是有偏見的,它一再派遣警察到包含大量少數民族的特定社區,不管該地區發生了多少犯罪。這是因為PredPol中有一個反饋迴路,在這個循環中,該算法預測了更多警察報案的地區的犯罪情況。然而,這些地區可能會出現更多的警察報告,因為這些地區的警察集中程度較高,這可能是由於現有的人的偏見所致。這也導致了算法中的一個偏差,從而向這些地區派遣了更多的警察。

3.亞馬遜的招聘引擎對婦女有偏見

亞馬遜招聘引擎是一種人工智慧算法,用來分析申請亞馬遜的求職者的簡歷,並決定哪些簡歷需要進一步的面試和選擇。這一算法是亞馬遜公司的一項嘗試,目的是使他們對人才的搜尋機械化,並消除所有人力招聘人員固有的人類偏見。但是,Amazon算法結果是在招聘過程中對婦女有偏見。

這可能是因為招聘算法是通過研究亞馬遜對過去10年提交的簡歷的反應來分析候選人簡歷的。然而,過去分析這些簡歷的人力招聘人員大多是男性,他們對女性候選人有著固有的偏見,並將這種偏見傳遞給了人工智慧算法。當亞馬遜研究這一算法時,他們發現它自動妨礙了包含「女性」字樣的簡歷,同時也自動降低了兩所全女子學院的畢業生的等級。因此,亞馬遜最終放棄了這個算法,沒有用它來評估應徵者。

4.針對黑人的谷歌照片算法

GooglePhotos有一個標籤功能,將標籤添加到與圖片中顯示的任何內容相對應的照片中。這是由一個卷積神經網絡(CNN)完成的,該網絡在監督學習中對數百萬幅圖像進行了訓練,然後使用圖像識別來標記照片。然而,這Google算法當一名黑人軟體開發人員和他的朋友的照片貼上大猩猩的標籤時,發現他們是種族主義者。谷歌聲稱,他們對這一錯誤感到震驚和真誠的遺憾,並承諾將在未來糾正這一錯誤。

然而,谷歌直到兩年後才把大猩猩和其他類型的猴子從卷積神經網絡的詞彙中移除,這樣它就不會識別任何照片。谷歌圖片顯示,所有與猴子有關的搜索詞,如大猩猩、黑猩猩等,都沒有結果。然而,這只是一個暫時的解決辦法,因為它不能解決根本的問題。圖像標記技術還不完善,即使是最複雜的算法也只能依賴於訓練,無法識別真實生活中的情況。

5.IDEMIA針對黑人婦女的面部識別算法

IDEMIA公司是一家製造美國、澳大利亞、法國等國家警察使用的面部識別算法的公司。在美國,使用這種面部識別系統對大約3000萬名持槍歹徒進行了分析,以檢查是否有人是罪犯或對社會構成危險。然而,美國國家標準和技術研究所檢查了這一算法,發現與白人女性甚至黑人和白人男性相比,它在識別黑人女性時犯了重大錯誤。

根據國家標準和技術研究所的說法,Idemia算法每10,000名白人女性中就有1名匹配白人女性的臉,而每1,000名黑人女性中就有1名黑人女性的臉與白人女性的臉相匹配。這是10倍以上的假匹配!一般來說,如果人臉識別算法的錯誤匹配率是十分之一,而對黑人女性的錯誤匹配率則要高得多。Idemia聲稱,NIST測試的算法尚未在商業上發布,他們的算法在以不同的速度識別不同種族方面正變得越來越好,因為在種族中存在著物理上的差異。

相關焦點

  • 偏見,人工智慧的真正風險
    Yann LeCun認為:「當數據存在偏見時,機器學習系統就會存在偏見。假設你擁有一個包含客戶評論的網站。人們可以在這些評論的基礎上建立一個滿意度評分。但是,這個滿意度分數真的反映了基本人群的真實滿意度嗎?僅僅根據字面上的評論來評估,是一項非常困難的任務。然而,有些人對你的服務很不滿,他們可能會寫下很多這樣的評論。
  • 算法是如何造成偏見的?
    本文刊載於《三聯生活周刊》2020年第36期,原文標題《算法是如何造成偏見的?》,嚴禁私自轉載,侵權必究技術的問題都有辦法解決,很多時候是技術外的問題在左右要不要去這樣做。首先,人工智慧業界對算法偏見是否有一個標準定義?算法偏見到底是指什麼?肖仰華:關於算法偏見的具體定義,不同專家的看法不一樣。總體而言,算法偏見其實不單單是指算法的偏見,或者人工智慧的偏見,任何技術總歸會存在一定的局限性,導致結果存在一定的偏見。
  • 人工智慧也搞歧視!研究發現AI生成的藝術作品存在種族、性別偏見
    研究發現AI生成的藝術作品存在種族、性別偏見 站長之家(ChinaZ.com)12月29日 消息:隨著人工智慧技術研究不斷推薦,由算法生成的藝術作品的受歡迎程度也在持續增長。
  • 算法,隱藏的偏見
    谷歌人工智慧科學家蒂姆特·格布魯(Timnit Gebru)是一名非洲裔美國人,她表示對楊立昆的言論感到「失望」。格布魯多年來一直倡導人工智慧領域的公平和道德,因倡導消除面部識別系統和其他人工智慧算法中的種族和性別偏見而聞名。
  • 誰才是讓AI產生偏見的幕後推手?
    現在還沒有100%無偏見的數據集隨著人工智慧時代的到來,人臉識別技術正被越來越廣泛地應用在執法、廣告及其他領域。然而,這項技術在識別性別、膚色等過程中,存在著一定偏見。這說明由於損失函數的選擇不同,某個群體(黑人或白人)在一定程度上就會受算法的忽視,進而產生偏見。這當中還存在另一種情況,假如數據帶有少量的偏見,算法系統會將其放大,並變得更具有偏見。一項研究表明,如果初始數據中,下廚與女性的聯繫概率是66%,將這些數據餵給人工智慧後,其預測下廚與女性聯繫起來的概率會放大到84%。
  • 2017,AI偏見為何如此受關注?
    從荒謬到令人不寒而慄,算法偏見在社會中產生越來越大的影響,而且這一問題已經暴露多年。但直到2017年,人們對AI算法偏見的公眾意識似乎才達到了一個臨界點。或許機器學習通過其自身的算法設定了我們每天上下班途中收聽的歌單,甚至在有漏洞的社交媒體算法中通過假新聞影響總統選舉。與此同時,越來越多對AI偏見的關注在除技術領域和學術界之外得到了證實和重新傳播。
  • 人工智慧系統有可能成為偏見的犧牲品
    但隨著人工智慧企業走向民主化,一個警示正在出現——即使是由高素質工程師設計的最先進的人工智慧系統,也可能成為偏見的犧牲品,而且很難解釋箇中原因。如果一個人工智慧系統是由沒有經過適當訓練的人建立,或者在沒有適當控制的情況下運行的,就可能會造成一些徹頭徹尾的危險。而更糟糕的是,這些問題可能要等到系統實施後才能顯現出來,這時再修復技術、挽回損失就為時已晚。
  • AI正學會所有偏見!精華與糟粕通吃,算法偏見更難辨認也更持久
    BERT 是谷歌在 2018 年開發的一種基於神經網絡的 NLP 技術,它能一次接收整句話,而非從左至右(或相反)逐字接收。這使得如果有人要搜「在沒有路緣的山坡停車」,BERT 能認出「不要」,從而給出正確的搜索結果。而傳統搜索引起只會關注「路緣」和「山坡」,給出與搜索意圖相反的結果。
  • AI存在偏見和歧視,算法讓用戶喜好趨同?科學家給出了證據
    澎湃新聞記者 王心馨 實習生 何青怡或許你已經注意到了,當你在電影評分網站給剛看完的電影評完分後,網站後續給你推薦的影片風格會與你看完的電影類似。舉個更常見的例子,當你在購物網站搜索過某樣物品後,第二天推薦頁面上顯示的都是類似款。人工智慧可以幫助商家獲得客戶喜好,但同時也在逐漸根據用戶的反饋,形成喜好偏見,讓用戶的需求同化。
  • 機器學習中的7種數據偏見
    有偏見的數據集不能準確地表示模型的用例,從而導致結果偏斜,準確性水平低和分析錯誤。通常,用於機器學習項目的訓練數據必須代表現實世界。這很重要,因為這些數據是機器學習如何完成其​​工作的方式。數據偏差可能發生在從人類報告和選擇偏差到算法和解釋偏差的許多領域。下圖是僅在數據收集和注釋階段可能出現的各種偏差的一個很好的示例。
  • 張濤:自動化系統中算法偏見的法律規制
    儘管在一些科學研究領域中,通常都將非零回歸係數視為因果關係強度的表徵,但是在政策預測中這種解釋行為需要慎重,因為有可能這是因果關係倒置的結果。 導致算法自身存在偏見的原因主要有以下幾個方面:(1)算法模型設計不當導致偏見。技術人員在設計算法模型時有意或無意將偏見帶入模型中。
  • 「面部識別」屬於種族偏見技術?
    接下來,對」編碼和算法偏見「的追究,才算進入正題。例如,面部識別技術目前在美國也面臨被封禁的危險,原因倒不是因為隱私,而是因為「種族偏見」。 近日,繼奧克蘭和聖弗朗西斯科等城市之後,美國東海岸最大城市波士頓也宣布將禁止使用面部識別軟體進行監視。
  • 投資中的心理偏見你中招了嗎?
    很多的投資者會認為自己不存在心理偏見,是個能夠用客觀理性的態度面對市場的投資人。其實不然!只要是具有思維情感的人類就都會受人類本能的驅使,而這種本能在投資上就一定會產生某種心理偏見。 無論是穩健型的投資者還是激進型的投資者,在投資中多多少少都會帶有以下一種或幾種的心理偏見。
  • 人臉識別惹爭議:應對技術偏見,行業缺乏統一標準
    面部識別技術逐漸成為日常生活的一部分。你可能已經靠「刷臉」登錄你的手機或電腦,或者完成網銀付款前的身份驗證。在中國,面部識別技術更為常見,通過人臉識別,你可以購買快餐或者在公共廁所中領取衛生紙。但這種技術的廣泛應用掩蓋了其背後潛在的結構性問題,尤其是偏見問題。
  • 無知的偏見
    偏見帶來的成見何以解?偏見這個詞出現時,就給所有的人蒙上了一層不好的預感。尤其是在新領域和新事物出現時,人們永遠都是憑經歷主義和教條主義去認知和評頭論足事物本身,卻忽略了新的觀點和新事物給生活帶來怎樣的便利和好處。
  • 研究發現:在老師眼裡,居然也對學生存在性別偏見
    這一實驗結果表明,即使在崇尚科學的學術界內,也存在著相當微妙而根深蒂固的性別偏見。我們一直以為,在現代這個文明開放的時代,性別偏見已經是過去式了。但這項研究表明,我們的想法都錯了。性別偏見導致了兩性的不平等,而兩性的不平等阻礙了社會進步,尤其是學術界裡缺少女性的聲音。綜上,我們可以發現,這個實驗有明顯的現實意義。
  • 算法習得並強化了人類偏見嗎?如何測量、分析算法中的偏見
    例如隨著深度學習和神經網絡等一系列算法的出現,人們發現本應毫無偏見的計算機也習得了人類社會中的各種偏見。在計算機視覺領域,不同性別用戶發布的圖片內容不同,導致視覺語義標註中也存在性別偏見,如在廚房中的人物總是被識別為女性。對自然語言處理領域的研究發現算法不僅準確複製了訓練數據中的性別偏見,甚至還在下遊應用任務中放大了偏差(Zhao et al., 2017)。
  • AI存偏見歧視?算法讓用戶喜好趨同?科學家給出證據
    AI存在偏見和歧視,算法讓用戶喜好趨同?科學家給出了證據或許你已經注意到了,當你在電影評分網站給剛看完的電影評完分後,網站後續給你推薦的影片風格會與你看完的電影類似。舉個更常見的例子,當你在購物網站搜索過某樣物品後,第二天推薦頁面上顯示的都是類似款。
  • 該工具有助於消除計算機視覺中的偏見
    圖片來源:普林斯頓視覺AI實驗室普林斯頓大學的研究人員開發了一種工具,用於標記用於訓練人工智慧(AI)系統的圖像集中的潛在偏差。這項工作是糾正和防止已經滲透到AI系統的偏見的一項較大工作,這些偏見會影響從信貸服務到法庭判決程序的所有內容。
  • 外媒:將歐巴馬照片變成白人照片的機器學習工具或能揭示什麼是AI偏見
    「這張圖片充分說明了人工智慧中偏見的危險性。」但是,是什麼原因導致了這些輸出,它們究竟告訴了我們關於AI偏見的什麼?生成這些圖像的程序是一種叫做PULSE的算法,它使用一種被稱為upscaling的技術來處理視覺數據。