「人工智慧第三定律」的漏洞:人類能造出失控的機器人

2020-12-03 36氪

編者按:本文由George Dyson改編自企鵝出版社出版的作品《可能的心智:看待人工智慧的25種方式POSSIBLE MINDS: Twenty-Five Ways of Looking at AI》(編輯John Brockman,版權所有John Brockman),原文標題The Third LawThe future of computing is analog。

圖片來源:Arterra/貢獻者/Getty Images

電子數字計算機的誕生及其生成的代碼遍布全球為界,計算的歷史可以劃分為「舊約」和「新約」兩個階段。舊約的先驅們提供了基本的邏輯,包括Thomas Hobbes和Gottfried Wilhelm Leibniz。新約的先驅們包括Alan Turing、John von Neumann、Claude Shannon和Norbert Wiener,他們給機器帶來智能。

Alan Turing曾經在思考如何讓機器更加智能。John von Neumann想知道機器實現自我複製需要什麼。Claude Shannon想知道讓機器在幹擾中可靠地通信,需要做些什麼。Norbert Wiener為機器的控制機能而深思。1949年,Wiener第一次警告控制系統可能超出人類掌控,那會兒第一代存儲程序電子數字計算機才剛剛問世,這些系統需要人類程式設計師的直接操作,這削弱了Wiener的擔憂。既然程式設計師控制著機器,那麼問題會出在哪裡?從那以後,關於自主控制風險的爭論一直圍繞著數字編碼機器的控制權和限制的爭論。儘管它們擁有驚人的能力,但幾乎沒有被發現真正的思維。這是一個危險的假設——如果數字計算正在被其他東西所取代,該怎麼辦呢?

模擬計算的悄然回歸

過去的一百年裡,電子學經歷了兩個根本的轉變:

從模擬到數字;從真空管到固體器件。這兩個幾乎同時發生的轉變並不意味著它們密不可分。就像真空管組件也可以用於實現數字計算一樣,模擬計算也可以在固體器件下實現。儘管真空管在商業上已經絕跡,但模擬計算仍然存在。

模擬計算和數字計算之間沒有精確的區別。

一般來說,數字計算處理整數、二進位序列、確定性邏輯和離散增量的時間,而模擬計算處理實數、非確定性邏輯和連續函數,包括時間——時間是作為現實世界中的連續體而存在的。

許多系統的運行可跨越模擬和數字計算。比如一棵樹,可以說集成了大量的輸入,可以被看作是連續函數,但是如果你砍掉這棵樹,你會發現它一直在以數字方式計算年份。

在模擬計算中,複雜性存在於網絡拓撲結構中,而不是代碼中。信息就像電壓和相對脈衝頻率那樣,是被處理為值的連續函數,而不是對離散位串的邏輯運算。

數字計算不能容忍錯誤或歧義,它依賴於過程中每一步的糾錯。

而模擬計算可以容忍錯誤,允許錯誤的存在。

自然界使用數字編碼來存儲、複製和重組核苷酸序列,但自然界的智能和控制依賴於模擬計算,它在神經系統內運行。每個活細胞的遺傳系統都是一臺存儲程序計算機。但大腦不是。

數字計算機執行兩種比特之間的轉換:表示空間差異的比特和表示時間差異的比特。這兩種信息形式之間的序列和結構轉換由計算機編程控制,只要計算機還需要程式設計師,我們就能維持人類的控制權。

模擬計算機也是負責協調兩種信息形式之間的轉換:空間結構和時間行為。在這裡,沒有代碼,也沒有程序。不知何故——我們也不完全理解的原因——自然界進化出神經系統這種模擬計算機,它如此神奇,蘊含了從世界上吸收的信息。它們可以學習,它們學到的內容之一就是控制,它們學會了控制自己的行為,它們學會了儘可能地控制環境。

計算機科學在實現神經網絡方面有著悠久的歷史——甚至可以追溯到計算機科學出現之前——但在很大程度上,這些都是數字計算機對神經網絡的模擬,而不是自然界本身進化出來的神經網絡。

如今,事情發生了變化:從底層來看,無人機、自動駕駛和手機這三駕馬車推動神經形態微處理器的發展,它們直接在矽(和其他潛在的基質)上實現了真正的神經網絡,而不是模擬神經網絡;從頂層來看,我們最大的及最成功的企業在其滲透和控制世界的過程中,越來越多地轉向模擬計算。

當我們爭論數字計算機的智能時,模擬計算正在悄然取代數字計算,就像二戰後,真空管等模擬元件被重新設計用於製造數字計算機一樣。在現實世界中,運行有限代碼的獨立確定性有限狀態處理器正在形成大規模的、不確定的、非有限狀態的後生動物有機體。由此產生的模擬/數字混合系統共同處理比特流,就像在真空管中處理電子流一樣的方式,而不是像由離散狀態設備處理比特流那樣單獨處理電子流。比特是新的電子。

模擬又回來了,它的本質是承擔控制。

這些系統控制著從商品流通到交通流通再到思想流通的一切,它們以統計的方式運行,就像神經元或大腦處理脈衝頻率編碼的信息時那樣。

智能的出現引起了智人的注意,但我們真正應該擔心的是控制的出現。

建立於現實之上的系統,卻反過來控制現實

POSSIBLE MINDS: Twenty-Five Ways of Looking at AI封面

1958年的美國人需要保衛美國全境免受空中打擊。為了區分敵機,除了依靠計算機網絡和早期預警雷達站以外,還需要實時更新所有商業空中交通地圖。美國為此建立了SAGE(半自動地面環境)系統。SAGE反過來又催生了Sabre的誕生,Sabre是第一個用於實時預訂航班的綜合預訂系統。Sabre和它的後代很快就不再是僅有空餘座位的地圖,而成為了一個系統,它開始通過分散的情報來控制飛機的飛行地點和時間。

但系統裡不是有個控制室嗎?不是有人正在控制系統嗎?可能不是。比如,你開發了一個實時繪製高速公路交通地圖的系統,讓汽車接入該地圖,並報告自己實時的速度和位置。其結果是一個完全分散的控制系統。

系統的控制模型並不存在於任何部位,系統本身就已經是了。

這是21世紀的第一個十年,想像一下,你想實時追蹤人際關係的複雜性。對於大學規模較小的大學生來說,你可以為他們的社交生活建立一個中央資料庫,還可以保持它的實時更新,但如果大學的規模再大一點,它的維護將變得完全不可能。更好的做法是在本地託管簡單、免費的半自治代碼副本,讓社交網絡自己更新。這段代碼是由數字計算機執行的,但是系統作為整體而執行的模擬計算遠遠超過了底層代碼的複雜性。結果是,其產生的關於社會圖景的脈衝頻率編碼模型最終成為了真正的社會圖景。它廣泛地在校園和世界各地裡傳播。

如果你想製造一臺機器來捕捉人類已知的一切,這意味著什麼呢?你有著摩爾定律的支持,將世界上所有的信息數位化並不需要太長時間。你掃描每一本實體書,收集每一封信件,每24小時就可以收集49年之久的視頻,同時還可以實時追蹤人們的位置、當前的行為。但是,你如何理解這些信息的意思呢?

即使是在所有東西都已被數位化的時代,這也不是任何嚴格的邏輯就能夠定義的,因為人類的意義並不是根本上合乎邏輯的。一旦你集齊了所有可能的答案,你所能做的最好的事情就是建立一個定義準確的問題,並編寫一個脈衝頻率加權圖來展示所有東西是如何聯繫起來的。

在你意識到之前,你的系統不僅會觀察和映射事物的意義,它還會開始構建意義。隨著時間的推移,它將控制意義,就像交通地圖開始控制交通流量一樣,即使看上去,似乎沒有人在控制它。

人類難以理解智能

人工智慧有三條定律。

第一定律被稱為Ashby 's law,以《大腦設計(Design for a Brain)》一書的作者、控制論專家W. Ross Ashby的名字命名。它指出,任何有效的控制系統都必須與它所控制的系統一樣複雜

第二定律由John von Neumann闡述,他指出:複雜系統的定義是它構成自己最簡單的行為描述。有機體最簡單的完整模型就是有機體本身。試圖將系統的行為簡化為任何其他形式的描述都會使事情變得更複雜,而不是更簡單。

第三條定律指出:任何簡單到可以理解的系統都不會複雜到足以智能地運行,而任何複雜到可以智能地運行的系統,都將複雜到難以理解

有些人認為,在我們理解智能之前,我們不必擔心機器中出現的超人智能,第三定律可能會讓這些人放心一些。

但第三定律存在一個漏洞:不理解的東西,也完全有可能構建出它來。你不需要徹底理解大腦是如何工作的,就能構建起一個正常工作的大腦。這是一個漏洞,無論程式設計師和他們的道德顧問對算法做再多的監督,也無法彌補。

絕對「好」的人工智慧是一個神話。我們與真正的人工智慧的關係將永遠是一個信仰的問題,而不需要證明。

我們過於擔心機器的智能,而對自我複製、溝通和控制卻擔心得遠遠不夠。數字編程無法控制的模擬系統之興起將標誌著計算領域的新一次革命。對於那些相信自己能造出機器來控制一切的人,大自然的回應將是讓他們造出一臺能控制他們自己的機器。

編譯組出品。編輯:郝鵬程

相關焦點

  • 全國首例機器人傷人事件:謹慎對待弱人工智慧失控
    小胖機器人是北京進化者機器人有限公司旗下產品,據簡介顯示,這家公司立項於2014年8月,成立於2015年2月,發展至今員工數量達260人,按照公司規模屬於中型公司,產品定位為家用陪伴機器人和商用服務型機器人
  • 避免人工智慧機器人毀滅人類 這五種方法我看行
    人工智慧來臨的前提,基於量子計算的超級量子計算機的出現,或者科幻小說中的光腦的出現。  傳統計算機:摩爾定律是由英特爾(Intel)創始人之一戈登·摩爾(Gordon Moore)提出來的。其內容為:當價格不變時,集成電路上可容納的元器件的數目,約每隔18-24個月便會增加一倍,性能也將提升一倍。換言之,每一美元所能買到的電腦性能,將每隔18-24個月翻一倍以上。
  • 機器人三大定律
    機器人應服從人的一切命令,但命令與第一定律相牴觸時例外; 第三定律 機器人必須保護自己的存在,但不得與第一、第二定律相牴觸。在《Little Lost Robot》中為了避免機器人無謂地阻止人類進行低危險性工作,第一定律中的後半部分被去掉了,但是也產生了一些其他的問題。在《Robot Dreams》中,一個機器人關於取消第一定律和第二定律的夢,導致了他的毀滅。在機器人與帝國等小說中,一些外表是人的機器人認為自己應該歸屬於人類。
  • 警惕人工智慧的失控風險
    桑希爾:數字操縱的威脅已經如此嚴峻,甚至有人開始質疑民主在大數據和人工智慧時代還是否有活路。  警惕人工智慧的失控風險   作為一項實驗,通德?奧蘭雷瓦朱(TundeOlanrewaju)有一天給維基百科(Wikipedia)關於他僱主的條目——麥肯錫(McKinsey)——搗了點亂。
  • 人工智慧"失控"真的出現了!機器人竟然能自己聊天了...
    現在各種AI設備和應用已經大量的進入了普通人的生活,但人類對於人工智慧的發展也越發警惕。
  • 《西部世界》第三季開播,機器人會比人類更有人性嗎?
    來源:遠讀重洋出品 | 矽谷洞察文章以授權轉載兩周前,由HBO出品,喬納森·諾蘭(Jonathan Nolan)執導的《西部世界》(Westworld)第三季正式播出,並已連載了兩集。《西部世界》第三季無疑是自《權利的遊戲》完結後最讓人期待的美劇之一了。
  • 【盤點】機器人傷人事件 人工智慧安全性引質疑
    機器人的三大定律,對後世的創造有一定的指導意義:  機器人不得傷害人類個體,或者目睹人類個體將遭受危險而袖手不管;  機器人必須服從人給予它的命令,當該命令與第零定律或者第一定律衝突時例外;  機器人在不違反第零、第一、第二定律的情況下要儘可能保護自己的生存。
  • 方濱興院士:人工智慧安全之我見
    比爾•蓋茨稱,人類在人工智慧領域已經取得了很大進展,這些進展能讓機器人在接下來的10年內學會駕駛和做家務,在一些特定的領域甚至能比人類優秀。但是之前他曾經提出警告,「人工智慧如果進展太快,可能會對未來的人類造成一定威脅」。
  • 由「機器人」到「人機器」人工智慧發展史
    定律1機器人必須遵循人的命令,除非違背第一定律。定律2機器人不得傷害人,亦不得因不作為而致人傷害。定律3機器人必須保護自己,除非違背第一或第二定律。目的是實現某個人類能完成的工作,所以受人們對智能的理解限制,即使配合上神經網絡模型和遺傳算法的訓練,程序本身不會演化出嶄新的能力,即只會接受訓練,不能創造新事物,可以說目前的人工智慧只是一個工具而已。
  • 從機器人的故事看未來
    他的三定律規定如下:第一定律:機器人不得傷害人類個體,或者目睹人類個體將遭受危險而袖手不管。第二定律:機器人必須服從人給予它的命令,當該命令與第一定律衝突時例外。第三定律:機器人在不違反第一、第二定律的情況下要儘可能保護自己的生存。通過以上定律,阿西莫夫得出了自己的結論:是的,機器人是人類的奴隸。在阿西莫夫的時代,這是最符合世人理念的答案。
  • 機器人互相對話,人類卻聽不懂? 揭Facebook關停「失控」AI項目真相
    編者按:近日,關於 Facebook關停「失控」 AI 項目的新聞滿天飛,更有媒體爆出機器人開始使用自己的語言進行對話,人們開始恐慌機器人失控之後會主宰世界,《連線》雜誌發表文章明確表示,這是一場鬧劇,有些媒體曲解了原義,Facebook 的聊天機器人不會主宰世界。
  • 對於人工智慧,這位偉人給世人留下這樣的忠告
    在11月份舉辦的第五屆騰訊WE大會上,霍金以遠程視頻的形式亮相WE大會,並談論了對人工智慧的一些看法。在視頻中霍金認為,人類很有可能會造出超級人工智慧,這些人工智慧程序能夠全面超越人類,並有可能完全取代人類成為一種新的生命物種。霍金表示,「我擔心人工智慧將全面取代人類。
  • Facebook:幹預對話機器人不是因為失控,而是無意義
    原因是,研究員對兩個聊天機器人進行對話策略迭代升級,結果發現它們竟自行發展出了人類無法理解的獨特語言。研究者不得不對其進行了人工幹預。消息傳出後,一時間,Facebook關閉「失控」AI系統,因其發展處人類無法理解的語言的標題充斥各大媒體版面。要知道,Facebook創始人馬克·扎克伯格近日剛在自己的主頁上懟了矽谷「鋼鐵俠」,認為人工智慧不會帶來末日,人類也不必恐慌。
  • 當年揚言"我將會摧毀人類"的女性機器人索菲亞,如今改成啥樣了
    ,就難以與人工智慧處於同一平臺競爭,很可能會被取代,甚至機器人也會反過來攻擊人類,造成不可控事件的發生。在索菲亞的&34;裡,設計者植入了人工智慧和谷歌語音識別系統,在與其他機器人一樣具有識別人類面部表情時,格外擁有了理解多種語言,識記人類互動表現的功能。
  • MBA關注:作為人工智慧的機器人會取代人類嗎?
    曾經有記者測試一個剛起步的人工智慧投資機器人,結果這個機器人為記者虛構的創業項目要扔1400萬美元。 所以說,目前再厲害的人工智慧,還是有被欺騙的可能,至少我們不能將它作為唯一的依靠來判斷事情或者做決定。
  • 人工智慧的生物進化視角:讀凱文·凱利《失控》
    《失控》的英文原版標題為Out of Control:The New Biology of Machines, Social Systems, and the Economic World。在中文版中,副標題更換為「全人類的最終命運和結局」。這個更換實在太有吸引力,以至於許多人都拿起了這本像字典一樣厚實的大部頭埋頭苦讀以求窺伺天機。
  • 人工智慧該何去何從
    短短幾十年,我們在人工智慧的領域發展越來越快,機器人也越來越智能。從當初的巨型計算機的誕生到現在AI機器人,智慧醫療,智能圍棋大師阿爾法狗,不斷地超越人類的極限。從道德上建立的機器人意味著什麼?面對這種問題,我們最先想到的就是,製造商應該思考所有可能的產出,以及其他人可能濫用其創作的所有方式。我們真的必須坐下來考慮後果,AI是我們設計的核心。
  • 10大精彩的機器人電影
    隨著《環太平洋》的上映,機甲戰士又一次被搬上了大銀幕,火爆震撼的特效奇觀,激情熱血的打鬥場面,又讓鍾愛爆米花電影的朋友們又能激情澎湃一把。   1990年:剪刀手愛德華   《剪刀手愛德華》是一部關於機器人的現代童話。它講述一座古堡中住著一位發明家,製造出了各種東西,最後還造出了一個機器人,並給他起名叫愛德華。發明家對這件作品傾注了全部的心血,他甚至教授愛德華人類的禮儀和詩歌,何時微笑何時沉默。
  • 第三次世界大戰將是人工智慧的對決嗎?
    從《太空漫遊》到《西部世界》再到《機器姬》,人工智慧一直備受科幻電影的青睞。其中大多數都展現了人工智慧的自主意識和破壞力,也引發了不少觀眾對人工智慧崛起的擔憂。矽谷「鋼鐵俠」馬斯克,就主張對人工智慧的發展保持警惕,曾聯合上百名人工智慧行業高管向聯合國建言:禁止發展致命性自主武器,阻止高科技軍備競賽。那麼,到底什麼是「致命性自主武器」?它會不會成為未來戰爭的趨勢?會不會脫離人類的控制?我們又該如何應對?
  • 現實打飛機,人工智慧都超越人類了——關於未來戰爭的隨想
    無人戰機的戰鬥能力本就已經在追趕人類駕駛的戰機,部分領域甚至已經反超,畢竟人類在極端加速度條件下會有生物體自身的極限,但無人機不會。那麼假如人工智慧駕駛戰鬥機的水平超越了人類,正如這個新聞所說的。那麼,打飛機?空戰?戰爭?《人性中的善良天使》數據舉例很明確,人類的暴力行為越來越少,被傷害的生命數量也一直都在減少。