原則上,技術並不應當成為自動化悖論的犧牲品。它應當讓人們騰出手來去做更多有意義的事情。譬如當漢克斯對罰單有異議時,應當是去查找異常情況而不是找出另一個車牌發出罰單。
但是,布拉德福市對其系統的反應與法航447飛行員如出一轍。最初政府駁回了漢克斯的投訴,直至漢克斯稱要向法院提起訴訟時才承認錯誤。
當一些極端情況發生時,就像電傳飛控系統出現的問題一樣,我們並不會從容處理。我們總是認為計算機永遠正確,即使有人說計算機有問題,我們也會認為是人錯了或是在說謊。倘若電腦將你誤認為是慣偷,因而保安將你趕出了購物中心,那會怎樣?或者說當你的名字或者外貌錯誤地出現在「犯罪分子」資料庫中,又該怎樣去除掉呢?
隨著計算機技術的發展,電腦已經把裝滿文件的檔案櫃變成了查找方便、操作便捷的一個個資料庫。更多的計算機管理資料庫,使用者根本不需要參與其處理過程,也無需了解到底發生了什麼。但計算機的處理過程往往是不加解釋的,一個對學校和教師的評級,一個Uber司機服務的優劣,抑或是一個企業在谷歌搜索中的排位,這些算法通常都被視為是商業機密。算法中的錯誤或是先驗概念無可避免,這些錯誤和一些先入為主的情況很難被挑戰。
專門研究專家和直觀決策的心理學家格裡·克萊恩(Gary Klein)總結稱,「算法在決策上的廣泛採用使得人們難以查糾失敗的真正原因。隨著人們越來越依賴於算法,其對問題的判斷力和洞察力都會受到影響。這個過程形成了一個惡性循環。當我們越是習慣於通過算法做決策,對於外界環境就越是被動。」
決策專家克萊恩抱怨稱,一些軟體工程師對系統本身的設計消磨了人們的專業技能,從而有可能使問題更加糟糕。如果我們希望使自己的專業技能得到鍛鍊,那麼就需要與系統進行鬥爭。譬如,在駕駛過程中GPS設備能夠為司機導航,但其中的查看地圖或是改變原有路線等功能都被隱藏在傻瓜功能之下。人們總是直接點擊「開始導航」,其他的都交給了計算機。
心理學家麗貝卡·帕裡斯克(Rebecca Pliske)發現,老牌的氣象學家在進行天氣預報時習慣於先查閱數據並形成自家的判斷,隨後再去看計算機的預報結果。通過不斷實踐,這些氣象學家保持了自己技能的熟練程度。但是,新一代的氣象學家卻更依賴於電腦,一旦老一輩人退休,倘若電腦崩潰人們就會因專業技能匱乏而無所適從。
相信我們很多人都需要過GPS系統帶來的問題,我們也看到了諸如飛機自動駕駛儀給人們帶來的麻煩,把兩者結合起來,我們就知道自動駕駛汽車的問題。負責谷歌自動駕駛汽車計劃的克裡斯·烏姆森(Chris Urmson)希望自動駕駛汽車能夠很快普及,他的孩子不再需要駕駛執照。他的目標有一個顯著的暗示:自動駕駛汽車永遠不需要人類控制。
卡拉基梅隆大學的自主駕駛專家拉傑·拉傑庫馬爾(Raj Rajkumar)認為,汽車實現完全自動駕駛,我們還需要10到20年的時間。在此之前這是一個漸進發展的過程,讓汽車在簡單條件下自動駕駛,而人類在更具挑戰性的時刻接手控制。
「隨著時間的推移和技術的發展,適用於汽車自動駕駛的情況將會不斷增多,直至汽車完全實現自動駕駛,但這種改變將是潛移默化的,人們幾乎不會注意到。」但拉傑庫馬爾指出,即使那樣,「總會有一些情況會超出任何人的控制。」
如果這聽起來可怕,或許本該如此。如果汽車在情況複雜時,向人類交還控制權,這聽起來似乎很合理。但這引出了兩個直接的問題:如果我們希望汽車知道在什麼時候移交控制權,其實就是要求整個系統能夠清楚自己的能力範圍——清楚自己在何時能行,以及何時不可行。這是非常困難的問題,甚至對人類自身來說都不簡單,更不用說一臺計算機了。
另外一個問題是,如果我們希望自己能夠接管汽車控制權,那麼我們如何知道做出何種反應呢?從法航447航班的現實我們可以得知,當飛機自動駕駛儀關閉後,即便是訓練有素的飛行員也很難弄清楚到底發生了什麼情況。因此我們對於計算機即將犯錯時人類能否具備及早察覺的能力,也理應保持懷疑的態度。
密西根大學教授阿努伊·凱·普拉丹翰(Anuj K Pradhan)指出,「目前人類還不習慣於使用自動駕駛汽車,所以,我們還不清楚當駕駛被行車電腦接管之後,人類司機將如何根據實際情況做出反應。」
事實上,我們有有可能在自動駕駛汽車上玩手機,或者通過視頻電話聊天,並不會對計算機如何駕駛汽車時刻保持警惕。或許我們第一次乘坐自動駕駛汽車時不會如此大意,但久而久之勢必如此。