2020年12月31日，澎湃新聞推出了「世界會客廳」跨年特別場，五位青年學者齊聚上海市虹口區北外灘，探討科技與人文的邊界。剛剛過去的2020年，各種「黑天鵝」齊飛，新的一年，我們將如何與不確定性共處。
講者沈虹是美國卡內基梅隆大學人機互動研究所的研究員，2020年，她開始在澎湃新聞更新一個名為「AI社會學」的專欄。
近些年，看似遙不可及的「算法」逐漸走下神壇，全面進入人們的日常生活。有時，我們是算法系統中的用戶，有時，我們是它的「打工者」。被算法支配，值得恐懼嗎？
以下為澎湃新聞（www.thepaper.cn）整理的發言摘錄，以饗讀者。
什麼是算法？
算法是什麼？這是每年AI社會學這門課開課的第一個問題。每年我會發給學生一張白紙，讓他們畫出自己心目中的算法形象。今天我想和大家分享兩組來自不同時期的答案。
第一組來自2017年，那時人工智慧和算法的形象類似小說《銀河系漫遊指南》中那個人性化、甚至有些憂鬱的機器人馬文，或是一個小機器人拉著小女孩的手（下圖左側），齊心協力往前走。當時學生們心中的人工智慧和算法還是非常美好的。
第二組來自2020年，算法被理解成一群人用計算機對另外一群人進行控制以及壓迫。而在這一張（下圖右側）裡，人工智慧算法成了一個冷酷的機器人，踩在人類的屍體上，面無表情往前走。
不同時期，學生眼中的人工智慧和算法。圖片來源：沈虹對照來看，不難發現一個非常明顯的趨勢，學生對人工智慧算法的看法似乎變得越來越負面。不止學生，過去兩年，美國對人工智慧乃至整個科技行業的看法都在往下走。這背後似乎有兩個原因。一方面，近些年，原本「高大上」的人工智慧算法全面滲透了每個人的日常生活，不僅僅是自動駕駛和面部識別這類所謂高科技企業，也是人們家門口的電錶、路口的紅綠燈，甚至是每天的工作日程、百度搜索和芝麻信用。人們在日常生活裡與算法全面互動，體會著它們的威力，同時也體會著它們的不足。
另一個原因，隨著科技企業權力範圍的日漸擴大，全球內它們受到的質疑、引發的爭議也愈演愈烈。比如，谷歌圖片曾為非裔美國人打上了「大猩猩」的標籤，亞馬遜的招聘算法系統曾經系統性歧視女性應聘者，而微軟的人工智慧聊天機器人剛上線不到24小時，就被Twitter網友教成了種族歧視者，諸如此類，不勝枚舉。
一些科技巨頭逐漸成為美國國會聽證會的常客，比如Facebook，以至於馬克·扎克伯格不得不更改他在2010年的那句名言 「我們是科技公司，不是傳媒公司，我們不對平臺上的言論負責」，2020年他只能承認：「我們對用戶在Facebook上分享的內容負有責任嗎？我相信這個問題的答案是：是的。」
2019年，馬克·扎克伯格出席一場聽證會。圖片來源：Getty谷歌之前有句著名的企業座右銘「不作惡」（Don’t be evil），現在被各大媒體頭條做成反問句，科技行業到底有多「邪惡」？類似的質疑在國內也屢見不鮮。也許你剛和朋友聊完天，談到想換一臺新手機，電商在十分鐘之內就會給你推薦一臺最新的iPhone。無論科技企業是不是在監聽你的對話，類似的網圖、段子恰恰證明了公眾對於這些企業巨大的不信任感。
同樣，算法系統對外賣騎手的勞動壓榨也在2020年刷屏。人們對被迫「996」的工作很難接受，因為說到底，人們發現我們都是在為算法系統打工的「打工人」。
當人們發現，算法不再是高高在上的科技桂冠，而是深深嵌入人們日常生活之後，我們就需要社會學的介入，這其實就是AI社會學的起點。
沈虹連線世界會客廳現場。澎湃新聞記者 朱偉輝 圖「打工人」或「用戶」，你該如何理解算法？我想用以下兩本社會學和傳播學的著作和大家探討這個問題。
第一本是紐約大學媒體文化和傳媒學院的副教授寫的《設計成癮》（Addiction by Design），它分析了「賭城」拉斯維加斯的老虎機是如何運作的。
第二本是微軟研究院研究員瑪麗·格雷（Mary L. Gray）寫的《幽靈工作》（Ghost Work），她系統研究了矽谷是如何在全球範圍內製造了一個「全球下層階級」（global underclass）。
這兩本書，一本討論用戶和算法的關係，另外一本討論勞動和算法的關係。
《設計成癮》封面。圖片來源：Amazon《設計成癮》寫於2012年，主要分析對象和我們今天所說的算法關係不是很大。作者通過人類學的方法，系統描述了拉斯維加斯的賭場業如何推動優化設計來提升用戶體驗，使顧客進入所謂的一種「機械」狀態，製造「成癮」症狀，延長在機時間。書中提出一個著名的概念叫做Ludic loop，指的是老虎機的設計者如何通過不定期、不定量、不可預測的給予獎勵，使老虎機的使用者上癮。如果要想使人們更容易上癮，設計者只需要把用戶的某種行為和不定期的獎勵聯繫起來——在老虎機的語境裡就是「拉動槓桿」，每一次拉動槓桿，要麼能立即得到一份誘人的獎勵，比如說大量的現金，要麼什麼也沒有。這些獎勵變化的機率越大，人們越容易上癮。
作者還發現，和其他類型的賭博相比，人們對老虎機上癮的速度快三到四倍，事實上，在美國，老虎機賺的錢比棒球、電影、主題公園所賺錢的總和還要多。
有趣的是，這樣一本寫賭場和老虎機的書，十分精確地描繪出了算法時代我們作為「用戶」的狀態。最明顯的是我們和智慧型手機之間的關係，數據顯示，在美國83%的「千禧一代」是和手機一起入睡的，90%的人早上起來第一件事是看手機。每三個人裡就有一個會把手機帶入廁所。平均每個人每天查看手機的次數多達150次。
我們真的需要看那麼多次手機嗎？現代智慧型手機的設計，尤其是社交媒體等於把老虎機裝進1億人的口袋裡。當我們點擊手機上紅色的通知，想看看裡面有什麼內容，就等於在拉動老虎機的槓桿。當我們刷抖音、快手等無限滾動自動播放的應用程式時，也是在玩老虎機，這是視頻網站常見的令人上癮的設計技巧。
微信有「紅點」（即「未讀消息」的提示符）時，你是不是急於把它消掉，你是不是常常被碎片化的信息打斷了工作節奏，是不是在刪除社交軟體之後又忍不住裝回來了。
這兩年，設計成癮的負面影響力越來越為人所知。一份基於美國青少年的研究發現，由於手機的普及，青少年們不願意出門，不願意約會，不願意工作，他們更願意在家玩手機。與那些在社交媒體上花費時間較少的學生相比，每周在社交媒體耗時超過10個小時的學生，聲稱自己不快樂的比例高達56%，經常使用社交媒體的學生患抑鬱症的風險增加27%，每天在電子設備上花費時間超過3個小時的青少年，自殺風險的可能性增加35%，女孩，尤其是遭受過打擊的女孩兒出現抑鬱症的症狀要增加50%。
作為用戶，我們應該怎樣改變自己對算法的上癮狀態？谷歌的前任設計倫理學家Tristan Harris提出了以下三點，用來改變自己對算法的上癮狀態：
第一步，改變意識。首先，我們需要認識到，對算法的上癮、對這些社交程序和智慧型手機的上癮，其實並不是個人缺乏控制力，而是科技產品的設計導致的上癮。社會學們家常說，誰從中獲取最大的利益，誰就應該承擔利益帶來的風險；同樣，誰在製造風險，誰就應該對風險造成的結果承擔責任。所以，科技企業們應該對「上癮經濟」承擔最主要的責任，而不是用戶。
第二步，改變設計，如何改變智慧型手機和社交媒體的設計？早上醒來，我們通常會打開微信、微博、抖音、小紅書，每一個應用程式刷一遍，這一刻，每一個應用程式都在爭取我們的注意力，打斷我們的工作節奏。試想，可否在手機上設計「分區線」——將早晨和晚上的應用程式分開，早上只顯示與工作和日間活動有關的程序，晚上只顯示與休閒娛樂有關的程序。
2018年，蘋果和谷歌分別推出針對iOS和安卓作業系統的時間管理服務，前者有所謂的屏幕使用時間功能，後者則有digital well-being功能，這兩個功能都試圖為用戶提供時間管理。
第三步，變革商業模式和責任制度。Tristan指出，科技公司很大一部分收入就是廣告收入，其設計法則是儘可能使用戶更久地停留在平臺上，用戶會更多地點擊廣告、花費更多的錢購買商品……這直接導致了上癮模式的產生。
只有從根本上改變以上商業模式，即科技企業不再依賴廣告收入，才有可能從根本上改變上癮式的設計。
《幽靈工作》書封。圖片來源：Amazon第二本書是微軟的高級研究員Mary Grey寫的《幽靈工作》，她用了人類學方法，詳細描述了人工智慧背後的人工勞動。需要注意一個很重要的事實，整個AI產業和科研，從一開始就是建立在龐大的人類勞動的基礎之上。計算機視覺的經典數據集「ImageNet」就是由五萬多名來自世界各地的眾包工人，在亞馬遜的眾包平臺上進行手動標註的。人工智慧時代，人往往糾結於我的工作會不會被AI取代，但又忽略了一點，現代AI仍然寄生在龐大的人類勞動之上，是用無數血肉之軀的人類勞動養育了今天的人工智慧。
同時，作者也指出，人工智慧將永遠面臨「最後一英裡困境」（Parodox of automation’s last mile）,再發達的算法，都需要人類勞動進行實時調控。
2019年，《紐約時報》調查了谷歌旗下一項AI訂餐服務，10次試驗中4次成功，但其中只有1次是通過AI進行的，其餘3次都是外包的真人服務。即使在自然語言處理飛速發展的今天，AI訂餐服務仍然需要大量的人工，比如一位來自印度的眾包工人，很可能就在為谷歌的AI訂餐服務進行人工操作。而在中國的語境下，自動化的最後一英裡可能是把熱氣騰騰的外賣送到你手上的外賣小哥。
此外還有「AI清潔工」，廣泛存在於各種社交媒體和內容分發平臺之後，其中很重要的一類是所謂的內容審核員，他們處理平臺上那些少兒不宜和暴露的內容。社交媒體巨頭臉書就曾大量僱傭外部公司員工進行內容審核，這些「臨時工」全職工作8小時，每人每天處理近8000則信息，其中包含大量暴力不適的圖片。因為目前的AI識別遠未達到自動處理人類紛紜複雜、千變萬化的信息的能力，比如，人工智慧如何判斷一張圖片的裸露部分到底是藝術品還是色情照片？
AI可以分辨哪張圖是吉娃娃，哪張是藍莓麥芬嗎？圖片來源：沈虹另外一類工人就是所謂的AI訓練者，也就是我們所熟知的「數據標註工」。上圖中，AI如何區分一張圖究竟是吉娃娃還是藍莓麥芬？這些工作對人工智慧並不容易，但人類通過直覺或簡單訓練就可以區分。數據標註工負責對大量的圖像、文本、語音識別進行歸類、整理、糾錯和標註。之後，機器學習算法會將人類標註過的數據作為數據訓練集從中搜索規律。AI公司通常將這批工作外包到勞動力報酬較低的地區，以節省成本。BBC曾報導，非洲肯亞的單親媽媽如何幫助高大上的自動駕駛企業進行識別，通常這些企業會把圖片發給非洲肯亞的單親媽媽，讓他們標註天氣、物體、建築等等。
從更廣義的角度來說，AI背後更大的勞工是作為用戶的我們。1950年代，著名傳媒學者Dallas Smythe曾批評商業媒介——廣播電視媒介生產的真正產品不是五花八門的各類節目，而是觀眾的注意力本身。因為商業媒體的內在邏輯是把用戶的注意力打包賣給廣告商，也就是著名的受眾商品理論。在AI時代，作為用戶的我們，免費為各種算法系統貢獻著自己的時間、精力、數據、隱私以及勞動。
有時這些勞動如此微小，常常被我們忽視。比如蘋果手機的來電留言，語音轉化文字的功能，在轉化完成之後，下面會有一團灰色的小字，詢問用戶轉化是否有效。在我們對這些轉化文字進行評價的時候，我們也在進一步為算法系統提供實時的人工反饋。
AI系統勞工金字塔。圖片來源：沈虹將AI的人工智慧系統分解之後，我們會發現，所謂的高科技勞工「碼工」只是AI系統當中非常小的一部分，AI勞工系統呈現著典型的金字塔型，最上層是少數的高科技、高工資的碼農，雖然他們也有996的困難，但大體上有正式的社保和令人羨慕的工資。第二層則是工資較低的合同工，比如內容審核員。他們承擔一部分不那麼關鍵的工作，但是工作非常不穩定，有隨時被解僱的危險。第三層是數以萬計的平臺按需勞工，比如外賣小哥，他們承擔著AI系統裡最繁重、重複性最高、工資最低，也是最容易被取代的工作。
最後一層就是數量更為巨大的用戶們，也就是我們，我們免費為各種人工智慧系統貢獻自己的時間、精力、數據，和種種不自知的勞動。
2018年，國際勞工組織ILO發表了一份針對75個國家3500名平臺眾包勞工的大規模調研報告。
調研指出，全世界大批平臺勞工的薪資低於最低工資水平。2015年，他們的平均工資只有4.26美元，2017年下降到了3.31美元，遠低於當時美國最低工資7.25美元。這些工人通常沒有任何福利保障或升職渠道，他們工作的目的就是以大量的人力訓練計算機算法，直到某一天算法不再需要他們。他們不僅沒有和平臺討價還價的能力，還會被要求做一些不道德的工作，比如說為平臺撰寫假評論。
令人驚奇的是，該報告發現許多平臺勞工受過良好的教育，37%有大學學位，20%甚至是研究生學歷，其中32%的人將平臺工作作為主要的收入渠道。從這個角度來看，人工智慧並不會取代（replace）人類的工作，它只會重置（displace）人類的工作。
技術是中立的嗎？
所以，我們也來到了今天的最後一個話題，也是科技社會學裡一個非常非常經典的問題：技術是中立的嗎？
每年，計算機專業的學生都會說：我們是做技術的，而技術是中立的，我們只管制造技術，我們控制不了技術會被怎樣使用。每年AI社會學的最後一節課，我都會請學生重讀一篇1980年代的經典之作，社會學家蘭登·溫納（Langdon Winner）的「技術物有政治嗎？」（Do Artifacts Have Politics?）。
當時身處科技重鎮麻省理工大學的溫納力排眾議，深刻探討科技和社會之間的複雜互動。他認為科技產物當然有政治性，而過去政治哲學的討論裡大大低估了科技的重要性，但這樣的政治性並非單項度的科技影響社會或者社會影響科技，科技在與社會的複雜互動裡深層進化，並且深刻嵌入並塑造了當時的歷史社會和權力關係。
溫納舉了一個非常有名的例子，紐約長島的「低架橋」，它們的高度被刻意壓低，公共運輸無法通過。為什麼？因為當時低架橋橫跨的馬路通往紐約郊區的海灘，是中產階級白人的休閒聖地。低架橋建得很低，能夠阻隔那些只搭得起公交車的黑人和窮人。換句話說，即使中產階級的海灘並沒有「窮人和黑人禁止入內」的牌子，低架橋的設計事實上把窮人和黑人阻隔在了海灘之外，這延續並且製造了某種特定的社會權力關係。
溫納的另一個例子是1950年代由加州大學研究員在當地開發並且推廣的番茄收割機，相比手動的番茄收割機，機器收割可以大大的提高效率。雖然它得到了推廣，這一新興的技術卻沒有使當地的居民平等享受技術收益，缺少有效的社會化反思，也沒有合適的政策約束。
昂貴的機器雖然提高了生產率和生產效率，卻促使了番茄種植園的工業化和集中化，大大減少了當地小農種植者和手工收割者的工作崗位，致使無數勞動者流離失所。這看上去微不足道的小小的機器，最終以一種令人驚訝的方式徹底重構了當地的社會和經濟關係。所以技術是中立的嗎？
更近的例子是網約車平臺優步Uber。在美國，由於網約車平臺和員工之間沒有正式的僱傭關係，所以平臺無法強制員工在某個時刻上班，或一定要達成某項任務。
為了儘可能將司機留在路上，優步僱傭了大批的心理學家和數據科學家，運用了複雜的算法，設計了一系列的心理學把戲。例如，優步系統裡，新手司機有「第一個25單」的裡程碑，新手們跑到10單左右時，系統會自動彈出消息「恭喜你，你快到一半了」。
值得注意的是，25絕不是一個隨機數字，優步旗下的大批數學家經過海量數據分析發現，25單之後，司機留在平臺繼續工作的可能性大大增加。心理學家發現對人們設定具體的目標，更容易激勵他們完成任務。
當司機想要下線休息，試圖關閉手機上的派單系統，這個時候優步系統會突然跳這樣一條消息：「距離賺滿40元還差6元，你確定現在下線嗎？」這裡，「繼續駕駛」被高亮成了藍色，而「下線」被低暗成灰色，司機更可能選擇繼續駕駛，為優步繼續貢獻他們的勞動力。所以，在這裡，技術和設計是中立的嗎？
最後一個例子是2018年亞馬遜在美國遞交的一系列專利申請。亞馬遜的工程師設計了一種給員工佩戴的智能手環，主要對象是倉庫員工，會發射超音波脈衝和無線電傳輸，系統的感應器會測量信號，確定員工所處位置。
手環專利的通過引發了大批媒體的擔憂，比如《紐約時報》，他們指出任何可穿戴設備都可以在員工無意識的情況下收集大量個人信息，包括員工的一舉一動——什麼時候去洗手間，什麼時候會放慢速度，一天中什麼時候會停下來休息，甚至停下來休息的頻率。
人們常說，「打工人」抵抗算法系統的法寶之一是「帶薪上廁所」，一旦亞馬遜的手環付諸實踐，打工人上廁所的時間也會被精確計算。在這裡，這個手環是中立的嗎？
最後這張圖，來自我個人非常喜歡賽博朋克的電影《銀翼殺手》，它描述的未來社會是光鮮亮麗的現代科技和破破爛爛人類生活。當人類社會進化到這樣一種程度，有這麼多、這麼新的高科技，我們可以探索太空，為什麼大部分人的生活還是這麼破破爛爛的？也許這並不是一種藝術創造，而是一種單方面鼓勵某種科技發展的結果。當人類社會將所有的人力、物力和自然資源傾注在某些科技的發展之上，其他方面的犧牲或許是無可避免的。說到底，資源是有限的。
今天，每個人都應該問自己這樣一個問題，作為人類，我們真的需要永不間斷的個性化新聞、早十分鐘抵達樓下的外賣、每年都在更新換代的新手機嗎？也許，作為社會學者，我們的責任就是在此時此刻，在人工智慧算法狂飆突進的今天發問，人類需要的到底是什麼？需要發展的科技到底是怎樣的？
最後，我還會告訴學生，科技當然不是中立的，而且作為未來科技的設計者，你所站立的方向就是科技未來的方向。
最後的最後，還有一個彩蛋。每年，在學生畫完他們心中的人工智慧的算法之後，我也會告訴他們，我個人最喜歡的定義。這個定義來自於史丹福大學著名的華裔女科學家李飛飛。在一次採訪裡，她引用了70年代的名言，指出今天人工智慧系統的不足。李飛飛說：「現今意義上的人工智慧，是個在身處的屋子著火時，卻只知道完美下著西洋棋的機器。」
一個對著火的屋子不屑一顧的AI不是我們想要的AI，即使它可以下出世界上最完美的象棋。
(本文來自澎湃新聞，更多原創資訊請下載「澎湃新聞」APP)