【導讀】
人工智慧很可能導致人類的永生或者滅絕，而這一切很可能在我們的有生之年發生。
上面這句話不是危言聳聽，請耐心的看完本文再發表意見。這篇翻譯稿從上星期開始翻，熬了好幾個夜才翻完，因為我覺得這篇東西非常有價值。希望你們能夠耐心讀完，讀完後也許你的世界觀都會被改變。
我們正站在變革的邊緣，而這次變革將和人類的出現一般意義重大 – Vernor Vinge。
如果你站在這裡，你會是什麼感覺?
看上去非常刺激吧?但是你要記住，當你真的站在時間的圖表中的時候，你是看不到曲線的右邊的，因為你是看不到未來的。所以你真實的感覺大概是這樣的：稀鬆平常。
遙遠的未來——就在眼前
未來學家Kurzweil認為整個20世紀100年的進步，按照2000年的速度只要20年就能達成——2000年的發展速度是20世紀平均發展速度的5倍。他認為2000年開始只要花14年就能達成整個20世紀一百年的進步，而之後2014年開始只要花7年(2021年)，就能達到又一個20世紀一百年的進步。幾十年之後，我們每年都能達成好幾次相當於整個20世紀的發展，再往後，說不定每個月都能達成一次。按照加速回報定，Kurzweil認為人類在21世紀的進步將是20世紀的1000倍。
那麼為什麼你會覺得「2050年的世界會變得面目全非」 這句話很可笑呢?有三個原因讓你質疑對於未來的預測：
1、我們對於歷史的思考是線性的。當我們考慮未來35年的變化時，我們參照的是過去35年發生的事情。當我們考慮21世紀能產生的變化的時候，我們參考的是20世紀發生的變化。這就好像1750年的老王覺得1500年的小李在1750年能被嚇尿一樣。線性思考是本能的，但是但是考慮未來的時候我們應該指數地思考。一個聰明人不會把過去35年的發展作為未來35年的參考，而是會看到當下的發展速度，這樣預測的會更準確一點。當然這樣還是不夠準確，想要更準確，你要想像發展的速度會越來越快。
2、近期的歷史很可能對人產生誤導。首先，即使是坡度很高的指數曲線，只要你截取的部分夠短，看起來也是很線性的，就好像你截取圓周的很小一塊，看上去就是和直線差不多。其次，指數增長不是平滑統一的，發展常常遵循S曲線。
S曲線發生在新範式傳遍世界的時候，S曲線分三部分
- 慢速增長(指數增長初期)
- 快速增長(指數增長的快速增長期)
- 隨著新範式的成熟而出現的平緩期
如果你只看近期的歷史，你很可能看到的是S曲線的某一部分，而這部分可能不能說明發展究竟有多快速。1995-2007年是網際網路爆炸發展的時候，微軟、谷歌、臉書進入了公眾視野，伴隨著的是社交網絡、手機的出現和普及、智慧型手機的出現和普及，這一段時間就是S曲線的快速增長期。2008-2015年發展沒那麼迅速，至少在技術領域是這樣的。如果按照過去幾年的發展速度來估計當下的發展速度，可能會錯得離譜，因為很有可能下一個快速增長期正在萌芽。
3、個人經驗使得我們對於未來預期過於死板。我們通過自身的經驗來產生世界觀，而經驗把發展的速度烙印在了我們腦中——「發展就是這麼個速度的。」我們還會受限於自己的想像力，因為想像力通過過去的經驗來組成對未來的預測——但是我們知道的東西是不足以幫助我們預測未來的。當我們聽到一個和我們經驗相違背的對於未來的預測時，我們就會覺得這個預測偏了。如果我現在跟你說你可以活到150歲，250歲，甚至會永生，你是不是覺得我在扯淡——「自古以來，所有人都是會死的。」是的，過去從來沒有人永生過，但是飛機發明之前也沒有人坐過飛機呀。
通往超級智能之路
人工智慧是什麼?
如果你一直以來把人工智慧(AI)當做科幻小說，但是近來卻不但聽到很多正經人嚴肅的討論這個問題，你可能也會困惑。這種困惑是有原因的：
1.我們總是把人工智慧和電影想到一起。星球大戰、終結者、2001：太空漫遊等等。電影是虛構的，那些電影角色也是虛構的，所以我們總是覺得人工智慧缺乏真實感。
2.人工智慧是個很寬泛的話題。從手機上的計算器到無人駕駛汽車，到未來可能改變世界的重大變革，人工智慧可以用來描述很多東西，所以人們會有疑惑。
3.我們日常生活中已經每天都在使用人工智慧了，只是我們沒意識到而已。John McCarthy，在1956年最早使用了人工智慧(ArtificialIntelligence)這個詞。他總是抱怨「一旦一樣東西用人工智慧實現了，人們就不再叫它人工智慧了。」
因為這種效應，所以人工智慧聽起來總讓人覺得是未來的神秘存在，而不是身邊已經存在的現實。同時，這種效應也讓人們覺得人工智慧是一個從未被實現過的流行理念。Kurzweil提到經常有人說人工智慧在80年代就被遺棄了，這種說法就好像「網際網路已經在21世紀初網際網路泡沫爆炸時死去了」一般滑稽。
所以，讓我們從頭開始。
首先，不要一提到人工智慧就想著機器人。機器人只是人工智慧的容器，機器人有時候是人形，有時候不是，但是人工智慧自身只是機器人體內的電腦。人工智慧是大腦的話，機器人就是身體——而且這個身體不一定是必需的。比如說Siri背後的軟體和數據是人工智慧，Siri說話的聲音是這個人工智慧的人格化體現，但是Siri本身並沒有機器人這個組成部分。
最後，人工智慧的概念很寬，所以人工智慧也分很多種，我們按照人工智慧的實力將其分成三大類。
弱人工智慧Artificial Narrow Intelligence(ANI):弱人工智慧是擅長於單個方面的人工智慧。比如有能戰勝象棋世界冠軍的人工智慧，但是它只會下象棋，你要問它怎樣更好地在硬碟上儲存數據，它就不知道怎麼回答你了。
強人工智慧Artificial General Intelligence(AGI):人類級別的人工智慧。強人工智慧是指在各方面都能和人類比肩的人工智慧，人類能幹的腦力活它都能幹。創造強人工智慧比創造弱人工智慧難得多，我們現在還做不到。LindaGottfredson教授把智能定義為「一種寬泛的心理能力，能夠進行思考、計劃、解決問題、抽象思維、理解複雜理念、快速學習和從經驗中學習等操作。」強人工智慧在進行這些操作時應該和人類一樣得心應手。
超人工智慧Artificial Superintelligence(ASI): 牛津哲學家，知名人工智慧思想家NickBostrom把超級智能定義為「在幾乎所有領域都比最聰明的人類大腦都聰明很多，包括科學創新、通識和社交技能。」超人工智慧可以是各方面都比人類強一點，也可以是各方面都比人類強萬億倍的。超人工智慧也正是為什麼人工智慧這個話題這麼火熱的緣故，同樣也是為什麼永生和滅絕這兩個詞會在本文中多次出現。
我們現在的位置——充滿了弱人工智慧的世界
弱人工智慧是在特定領域等同或者超過人類智能/效率的機器智能，一些常見的例子：
汽車上有很多的弱人工智慧系統，從控制防抱死系統的電腦，到控制汽油注入參數的電腦。谷歌正在測試的無人駕駛車，就包括了很多弱人工智慧，這些弱人工智慧能夠感知周圍環境並作出反應。
你的手機也充滿了弱人工智慧系統。當你用地圖軟體導航，接受音樂電臺推薦，查詢明天的天氣，和Siri聊天，以及其它很多很多應用，其實都是弱人工智慧。
垃圾郵件過濾器是一種經典的弱人工智慧——它一開始就加載了很多識別垃圾郵件的智能，並且它會學習並且根據你的使用而獲得經驗。智能室溫調節也是一樣，它能根據你的日常習慣來智能調節。
你在上網時候出現的各種其它電商網站的產品推薦，還有社交網站的好友推薦，這些都是弱人工智慧的組成的，弱人工智慧聯網互相溝通，利用你的信息來進行推薦。網購時出現的「買這個商品的人還購買了」推薦，其實就是收集數百萬用戶行為然後產生信息來賣東西給你的弱人工智慧。
谷歌翻譯也是一種經典的人工智慧——非常擅長單個領域。聲音識別也是一種。很多軟體利用這兩種智能的合作，使得你能對著手機說中文，手機直接給你翻譯成英文。
當飛機著陸時候，不是一個人類決定飛機該去那個登機口接駁。就好像你在網上買票時票據不是一個人類決定的。
世界最強的跳棋、象棋、拼字棋、雙陸棋和黑白棋選手都是弱人工智慧。
谷歌搜索是一個巨大的弱人工智慧，背後是非常複雜的排序方法和內容檢索。社交網絡的新鮮事同樣是這樣。
這些還只是消費級產品的例子。軍事、製造、金融(高頻算法交易佔到了美國股票交易的一半)等領域廣泛運用各種複雜的弱人工智慧。專業系統也有，比如幫助醫生診斷疾病的系統，還有著名的IBM的華生，儲存了大量事實數據，還能理解主持人的提問，在競猜節目中能夠戰勝最厲害的參賽者。
雖然現在的弱人工智慧沒有威脅我們生存的能力，我們還是要懷著警惕的觀點看待正在變得更加龐大和複雜的弱人工智慧的生態。每一個弱人工智慧的創新，都在給通往強人工智慧和超人工智慧的旅途添磚加瓦。用AaronSaenz的觀點，現在的弱人工智慧，就是地球早期軟泥中的胺基酸——沒有動靜的物質，突然之間就組成了生命。
弱人工智慧到強人工智慧之路
為什麼這條路很難走
只有明白創造一個人類智能水平的電腦是多麼不容易，才能讓你真的理解人類的智能是多麼不可思議。造摩天大樓、把人送入太空、明白宇宙大爆炸的細節——這些都比理解人類的大腦，並且創造個類似的東西要簡單太多了。至今為止，人類的大腦是我們所知宇宙中最複雜的東西。
而且創造強人工智慧的難處，並不是你本能認為的那些。
造一個能在瞬間算出十位數乘法的計算機——非常簡單
造一個能分辨出一個動物是貓還是狗的計算機——極端困難
造一個能戰勝世界象棋冠軍的電腦——早就成功了
造一個能夠讀懂六歲小朋友的圖片書中的文字，並且了解那些詞彙意思的電腦——谷歌花了幾十億美元在做，還沒做出來。
一些我們覺得困難的事情——微積分、金融市場策略、翻譯等，對於電腦來說都太簡單了。
我們覺得容易的事情——視覺、動態、移動、直覺——對電腦來說太TM的難了。
用計算機科學家DonaldKnuth的說法，「人工智慧已經在幾乎所有需要思考的領域超過了人類，但是在那些人類和其它動物不需要思考就能完成的事情上，還差得很遠。」
通往強人工智慧的第一步：增加電腦處理速度
要達到強人工智慧，肯定要滿足的就是電腦硬體的運算能力。如果一個人工智慧要像人腦一般聰明，它至少要能達到人腦的運算能力。
用來描述運算能力的單位叫作cps(calculations per second，每秒計算次數)，要計算人腦的cps只要了解人腦中所有結構的最高cps，然後加起來就行了。
Kurzweil把對於一個結構的最大cps的專業估算，然後考慮這個結構佔整個大腦的重量，做乘法，來得出人腦的cps。聽起來不太靠譜，但是Kurzweil用了對於不同大腦區域的專業估算值，得出的最終結果都非常類似，是10^16cps，也就是1億億次計算每秒。
Kurzweil認為考慮電腦的發展程度的標杆是看1000美元能買到多少cps，當1000美元能買到人腦級別的1億億運算能力的時候，強人工智慧可能就是生活的一部分了。
摩爾定律認為全世界的電腦運算能力每兩年就翻一倍，這一定律有歷史數據所支持，這同樣表明電腦硬體的發展和人類發展一樣是指數級別的。我們用這個定律來衡量1000美元什麼時候能買到1億億cps。現在1000美元能買到10萬億cps，和摩爾定律的歷史預測相符合。
也就是說現在1000美元能買到的電腦已經強過了老鼠，並且達到了人腦千分之一的水平。聽起來還是弱爆了，但是，讓我們考慮一下，1985年的時候，同樣的錢只能買到人腦萬億分之一的cps，1995年變成了十億分之一，2005年是百萬分之一，而2015年已經是千分之一了。按照這個速度，我們到2025年就能花1000美元買到可以和人腦運算速度抗衡的電腦了。
通往強人工智慧的第二步：讓電腦變得智能
下面是最常見的三種策略：
1) 抄襲人腦
就好像你班上有一個學霸。你不知道為什麼學霸那麼聰明，為什麼考試每次都滿分。雖然你也很努力的學習，但是你就是考的沒有學霸好。最後你決定「老子不幹了，我直接抄他的考試答案好了。」這種「抄襲」是有道理的，我們想要建造一個超級複雜的電腦，但是我們有人腦這個範本可以參考呀。
科學界正在努力逆向工程人腦，來理解生物進化是怎麼造出這麼個神奇的東西的，樂觀的估計是我們在2030年之前能夠完成這個任務。一旦這個成就達成，我們就能知道為什麼人腦能夠如此高效、快速的運行，並且能從中獲得靈感來進行創新。一個電腦架構模擬人腦的例子就是人工神經網絡。它是一個由電晶體作為「神經」組成的網絡，電晶體和其它電晶體互相連接，有自己的輸入、輸出系統，而且什麼都不知道——就像一個嬰兒的大腦。接著它會通過做任務來自我學習，比如識別筆跡。最開始它的神經處理和猜測會是隨機的，但是當它得到正確的回饋後，相關電晶體之間的連接就會被加強;如果它得到錯誤的回饋，連接就會變弱。經過一段時間的測試和回饋後，這個網絡自身就會組成一個智能的神經路徑，而處理這項任務的能力也得到了優化。人腦的學習是類似的過程，不過比這複雜一點，隨著我們對大腦研究的深入，我們將會發現更好的組建神經連接的方法。
更加極端的「抄襲」方式是「整腦模擬」。具體來說就是把人腦切成很薄的片，用軟體來準確的組建一個3D模型，然後把這個模型裝在強力的電腦上。如果能做成，這臺電腦就能做所有人腦能做的事情——只要讓它學習和吸收信息就好了。如果做這事情的工程師夠厲害的話，他們模擬出來的人腦甚至會有原本人腦的人格和記憶，電腦模擬出的人腦就會像原本的人腦一樣——這就是非常符合人類標準的強人工智慧，然後我們就能把它改造成一個更加厲害的超人工智慧了。
我們離整腦模擬還有多遠呢?至今為止，我們剛剛能夠模擬1毫米長的扁蟲的大腦，這個大腦含有302個神經元。人類的大腦有1000億個神經元，聽起來還差很遠。但是要記住指數增長的威力——我們已經能模擬小蟲子的大腦了，螞蟻的大腦也不遠了，接著就是老鼠的大腦，到那時模擬人類大腦就不是那麼不現實的事情了。
2)模仿生物演化
首先我們很確定的知道，建造一個和人腦一樣強大的電腦是可能的——我們的大腦就是證據。如果大腦太難完全模擬，那麼我們可以模擬演化出大腦的過程。事實上，就算我們真的能完全模擬大腦，結果也就好像照抄鳥類翅膀的拍動來造飛機一樣——很多時候最好的設計機器的方式並不是照抄生物設計。
所以我們可不可以用模擬演化的方式來造強人工智慧呢?這種方法叫作「基因算法」，它大概是這樣的：建立一個反覆運作的表現/評價過程，就好像生物通過生存這種方式來表現，並且以能否生養後代為評價一樣。一組電腦將執行各種任務，最成功的將會「繁殖」，把各自的程序融合，產生新的電腦，而不成功的將會被剔除。經過多次的反覆後。這個自然選擇的過程將產生越來越強大的電腦。而這個方法的難點是建立一個自動化的評價和繁殖過程，使得整個流程能夠自己運行。
這個方法的缺點也是很明顯的，演化需要經過幾十億年的時間，而我們卻只想花幾十年時間。
但是比起自然演化來說，我們有很多優勢。首先，自然演化是沒有預知能力的，它是隨機的——它產生的沒用的變異比有用的變異多很多，但是人工模擬的演化可以控制過程，使其著重於有益的變化。其次，自然演化是沒有目標的，自然演化出的智能也不是它目標，特定環境甚至對於更高的智能是不利的(因為高等智能消耗很多能源)。但是我們可以指揮演化的過程超更高智能的方向發展。再次，要產生智能，自然演化要先產生其它的附件，比如改良細胞產生能量的方法，但是我們完全可以用電力來代替這額外的負擔。所以，人類主導的演化會比自然快很多很多，但是我們依然不清楚這些優勢是否能使模擬演化成為可行的策略。
3)讓電腦來解決這些問題
總的思路是我們建造一個能進行兩項任務的電腦——研究人工智慧和修改自己的代碼。這樣它就不只能改進自己的架構了，我們直接把電腦變成了電腦科學家，提高電腦的智能就變成了電腦自己的任務。
硬體的快速發展和軟體的創新是同時發生的，強人工智慧可能比我們預期的更早降臨，因為：
1)指數級增長的開端可能像蝸牛漫步，但是後期會跑的非常快。
2)軟體的發展可能看起來很緩慢，但是一次頓悟，就能永遠改變進步的速度。就好像在人類還信奉地心說的時候，科學家們沒法計算宇宙的運作方式，但是日心說的發現讓一切變得容易很多。創造一個能自我改進的電腦來說，對我們來說還很遠，但是可能一個無意的變動，就能讓現在的系統變得強大千倍，從而開啟朝人類級別智能的衝刺。
強人工智慧到超人工智慧之路
即使是一個和人類智能完全一樣，運算速度完全一樣的強人工智慧，也比人類有很多優勢：
硬體上：
速度。腦神經元的運算速度最多是200赫茲，今天的微處理器就能以2G赫茲，也就是神經元1000萬倍的速度運行，而這比我們達成強人工智慧需要的硬體還差遠了。大腦的內部信息傳播速度是每秒120米，電腦的信息傳播速度是光速，差了好幾個數量級。
容量和儲存空間。人腦就那麼大，後天沒法把它變得更大，就算真的把它變得很大，每秒120米的信息傳播速度也會成為巨大的瓶頸。電腦的物理大小可以非常隨意，使得電腦能運用更多的硬體，更大的內存，長期有效的存儲介質，不但容量大而且比人腦更準確。
可靠性和持久性。電腦的存儲不但更加準確，而且電晶體比神經元更加精確，也更不容易萎縮(真的壞了也很好修)。人腦還很容易疲勞，但是電腦可以24小時不停的以峰值速度運作。
軟體上來說：
可編輯性，升級性，以及更多的可能性。和人腦不同，電腦軟體可以進行更多的升級和修正，並且很容易做測試。電腦的升級可以加強人腦比較弱勢的領域——人腦的視覺元件很發達，但是工程元件就挺弱的。而電腦不但能在視覺元件上匹敵人類，在工程元件上也一樣可以加強和優化。
集體能力。人類在集體智能上可以碾壓所有的物種。從早期的語言和大型社區的形成，到文字和印刷的發明，再到網際網路的普及。人類的集體智能是我們統治其它物種的重要原因之一。而電腦在這方面比我們要強的很多，一個運行特定程序的人工智慧網絡能夠經常在全球範圍內自我同步，這樣一臺電腦學到的東西會立刻被其它所有電腦學得。而且電腦集群可以共同執行同一個任務，因為異見、動力、自利這些人類特有的東西未必會出現在電腦身上。
通過自我改進來達成強人工智慧的人工智慧，會把「人類水平的智能」當作一個重要的裡程碑，但是也就僅此而已了。它不會停留在這個裡程碑上的。考慮到強人工智慧之於人腦的種種優勢，人工智慧只會在「人類水平」這個節點做短暫的停留，然後就會開始大踏步向超人類級別的智能走去。
這一切發生的時候我們很可能被嚇尿，因為從我們的角度來看a)雖然動物的智能有區別，但是動物智能的共同特點是比人類低很多;b)我們眼中最聰明的人類要比最愚笨的人類要聰明很很很很多。
所以，當人工智慧開始朝人類級別智能靠近時，我們看到的是它逐漸變得更加智能，就好像一個動物一般。然後，它突然達到了最愚笨的人類的程度，我們到時也許會感慨：「看這個人工智慧就跟個腦殘人類一樣聰明，真可愛。」
但問題是，從智能的大局來看，人和人的智能的差別，比如從最愚笨的人類到愛因斯坦的差距，其實是不大的。所以當人工智慧達到了腦殘級別的智能後，它會很快變得比愛因斯坦更加聰明：之後呢?
智能爆炸
我們當下用來達成強人工智慧的模型大多數都依靠人工智慧的自我改進。但是一旦它達到了強人工智慧，即使算上那一小部分不是通過自我改進來達成強人工智慧的系統，也會聰明到能夠開始自我改進。
這裡我們要引出一個沉重的概念——遞歸的自我改進。這個概念是這樣的：一個運行在特定智能水平的人工智慧，比如說腦殘人類水平，有自我改進的機制。當它完成一次自我改進後，它比原來更加聰明了，我們假設它到了愛因斯坦水平。而這個時候它繼續進行自我改進，然而現在它有了愛因斯坦水平的智能，所以這次改進會比上面一次更加容易，效果也更好。第二次的改進使得他比愛因斯坦還要聰明很多，讓它接下來的改進進步更加明顯。如此反覆，這個強人工智慧的智能水平越長越快，直到它達到了超人工智慧的水平——這就是智能爆炸，也是加速回報定律的終極表現。
現在關於人工智慧什麼時候能達到人類普遍智能水平還有爭議。對於數百位科學家的問卷調查顯示他們認為強人工智慧出現的中位年份是2040年——距今只有25年。這聽起來可能沒什麼，但是要記住，很多這個領域的思想家認為從強人工智慧到超人工智慧的轉化會快得多。以下的情景很可能會發生：一個人工智慧系統花了幾十年時間到達了人類腦殘智能的水平，而當這個節點發生的時候，電腦對於世界的感知大概和一個四歲小孩一般;而在這節點後一個小時，電腦立馬推導出了統一廣義相對論和量子力學的物理學理論;而在這之後一個半小時，這個強人工智慧變成了超人工智慧，智能達到了普通人類的17萬倍。
這個級別的超級智能不是我們能夠理解的，就好像蜜蜂不會理解凱恩斯經濟學一樣。在我們的語言中，我們把130的智商叫作聰明，把85的智商叫作笨，但是我們不知道怎麼形容12952的智商，人類語言中根本沒這個概念。
第二部分開始：
超人工智慧確實會比人類思考的快很多，但是真正的差別其實是在智能的質量而不是速度上。用人類來做比喻，人類之所以比猩猩智能很多，真正的差別並不是思考的速度，而是人類的大腦有一些獨特而複雜的認知模塊，這些模塊讓我們能夠進行複雜的語言呈現、長期規劃、或者抽象思考等等，而猩猩的腦子是做不來這些的。就算你把猩猩的腦子加速幾千倍，它還是沒有辦法在人類的層次思考的，它依然不知道怎樣用特定的工具來搭建精巧的模型——人類的很多認知能力是猩猩永遠比不上的，你給猩猩再多的時間也不行。
而當我們在討論超人工智慧時候，智能的範圍是很廣的，和這個範圍比起來，人類和猩猩的智能差別是細微的。如果生物的認知能力是一個樓梯的話，不同生物在樓梯上的位置大概是這樣的：
要理解一個具有超級智能的機器有多牛逼，讓我們假設一個在上圖的樓梯上站在深綠色臺階上的一個機器，它站的位置只比人類高兩層，就好像人類比猩猩只高兩層一樣。這個機器只是稍微有點超級智能而已，但是它的認知能力之於人類，就好像人類的認知能力之於猩猩一樣。就好像猩猩沒有辦法理解摩天大樓是能被造出來的一樣，人類完全沒有辦法理解比人類高兩層臺階的機器能做的事情。就算這個機器試圖向我們解釋，效果也會像教猩猩造摩天大樓一般。
但是我們討論的超級智能並不是站在這個樓梯頂層，而是站在遠遠高於這個樓梯的地方。當智能爆炸發生時，它可能要花幾年時間才能從猩猩那一層往上邁一步，但是這個步子會越邁越快，到後來可能幾個小時就能邁一層，而當它超過人類十層臺階的時候，它可能開始跳著爬樓梯了——一秒鐘爬四層臺階也未嘗不可。所以讓我們記住，當第一個到達人類智能水平的強人工智慧出現後，我們將在很短的時間內面對一個站在下圖這樣很高很高的樓梯上的智能(甚至比這更高百萬倍)：
自然演化花了幾億年時間發展了生物大腦，按這種說法的話，一旦人類創造出一個超人工智慧，我們就是在碾壓自然演化了。
人工智慧思想家Nick Bostrom認為我們會面臨兩類可能的結果——永生和滅絕。
首先，回顧歷史，我們可以看到大部分的生命經歷了這樣的歷程：物種出現，存在了一段時間，然後不可避免的跌落下生命的平衡木，跌入滅絕的深淵。
歷史上來說，「所有生物終將滅絕」就像「所有人都會死」一樣靠譜。至今為止，存在過的生物中99.9%都已經跌落了生命的平衡木，如果一個生物繼續在平衡木上走，早晚會有一陣風把它吹下去。Bostrom把滅絕列為一種吸引態——所有生物都有墜入的風險，而一旦墜入將沒有回頭。
雖然大部分科學家都承認一個超人工智慧有把人類滅絕的能力，也有一些人為如果運用得當，超人工智慧可以幫助人類和其它物種，達到另一個吸引態——永生。Bostrom認為物種的永生和滅絕一樣都是吸引態，也就是我一旦我們達成了永生，我們將永遠不再面臨滅絕的危險——我們戰勝了死亡和機率。所以，雖然絕大多數物種都從平衡木上摔了下去滅絕了，Bostrom認為平衡木外是有兩面的，只是至今為止地球上的生命還沒聰明到發現怎樣去到永生這另一個吸引態。
如果Bostrom等思想家的想法是對的，而且根據我的研究他們確實很可能是對的，那麼我們需要接受兩個事實：
1)超人工智慧的出現，將有史以來第一次，將物種的永生這個吸引態變為可能。
2)超人工智慧的出現，將造成非常巨大的衝擊，而且這個衝擊可能將人類吹下平衡木，並且落入其中一個吸引態。
有可能，當自然演化踩到絆線的時候，它會永久的終結人類和平衡木的關係，創造一個新的世界，不管這時人類還是不是存在。
而現在的問題就是：「我們什麼時候會踩到絆線?」以及「從平衡木上跌下去後我們會掉入哪個吸引態?」
先來討論「我們什麼時候會踩到絆線?」也就是什麼時候會出現第一個超級智能。
不出意外的，科學家和思想家對於這個意見的觀點分歧很大。很多人，比如Vernor Vinge教授，科學家Ben Goertzel，SUN創始人BillJoy，發明家和未來學家Ray Kurzweil，認同機器學習專家Jeremy Howard的觀點，Howard在TED演講時用到了這張圖：
這些人相信超級智能會發生在不久的將來，因為指數級增長的關係，雖然機器學習現在還發展緩慢，但是在未來幾十年就會變得飛快。
微軟創始人Paul Allen，心理學家Gary Marcus，NYU的電腦科學家Ernest Davis，以及科技創業者Mitch Kapor認為Kurzweil等思想家低估了人工智慧的難度，並且認為我們離絆線還挺遠的。
Kurzweil一派則認為唯一被低估的其實是指數級增長的潛力，他們把質疑他們理論的人比作那些1985年時候看到發展速度緩慢的網際網路，然後覺得網際網路在未來不會有什麼大影響的人一樣。
而質疑者們則認為智能領域的發展需要達到的進步同樣是指數級增長的，這其實把技術發展的指數級增長抵消了。
第三個陣營，包括Nick Bostrom在內，認為其它兩派都沒有理由對踩絆線的時間那麼有信心，他們同時認為：a) 這事情完全可能發生在不久的未來；b)但是這個事情沒個準，說不定會花更久。
還有不屬於三個陣營的其他人，比如哲學家Hubert Dreyfus，相信三個陣營都太天真了，根本就沒有什麼絆線。超人工智慧是不會被實現的。
當你把所有人的觀點全部融合起來的話是怎樣呢?
2013年的時候，Bostrom做了個問卷調查，涵蓋了數百位人工智慧專家，問卷的內容是「你預測人類級別的強人工智慧什麼時候會實現」，並且讓回答者給出一個樂觀估計(強人工智慧有10%的可能在這一年達成)，正常估計(有50%的可能達成)，和悲觀估計(有90%可能達成)。當把大家的回答統計後，得出了下面的結果：
樂觀估計中位年(強人工智慧有10%的可能在這一年達成)：2022年
正常估計中位年(強人工智慧有50%的可能在這一年達成)：2040年
悲觀估計中位年(強人工智慧有90%的可能在這一年達成)：2075年
所以一個中位的人工智慧專家認為25年後的2040年我們能達成強人工智慧，而2075年這個悲觀估計表明，如果你現在夠年輕，有一半以上的人工智慧專家認為在你的有生之年能夠有90%的可能見到強人工智慧的實現。
另外一個獨立的調查，由作家James Barrat在Ben Goertzel的強人工智慧年會上進行，他直接問了參與者認為強人工智慧哪一年會實現，選項有2030年，2050年，2100年，和永遠不會實現。結果是：
2030年：42%的回答者認為強人工智慧會實現
2050年：25%的回答者
2100年：20%
2100年以後：10%
永遠不會實現：2%
這個結果和Bostrom的結果很相似。在Barrat的問卷中，有超過三分之二的參與者認為強人工智慧會在2050年實現，有近乎半數(42%)的人認為未來15年(2030年)就能實現。並且，只有2%的參與者認為強人工智慧永遠不會實現。
但是強人工智慧並不是絆線，超人工智慧才是。那麼專家們對超人工智慧是怎麼想的呢?
Bostrom的問卷還詢問專家們認為達到超人工智慧要多久，選項有a)達成強人工智慧兩年內，b)達成強人工智慧30年內。問卷結果如下：
中位答案認為強人工智慧到超人工智慧只花2年時間的可能性只有10%左右，但是30年之內達成的可能性高達75%。
從以上答案，我們可以估計一個中位的專家認為強人工智慧到超人工智慧可能要花20年左右。所以，我們可以得出，現在全世界的人工智慧專家中，一個中位的估計是我們會在2040年達成強人工智慧，並在20年後的2060年達成超人工智慧——也就是踩上了絆線。
當然，以上所有的數據都是推測，它只代表了現在人工智慧領域的專家的中位意見，但是它告訴我們的是，很大一部分對這個領域很了解的人認為2060年是一個實現超人工智慧的合理預測——距今只有45年。
在我們深入討論好壞這個問題之前，我們先把「什麼時候會發生」和「這是好事還是壞事」的結果綜合起來畫張表，這代表了大部分專家的觀點：
事實上超過四分之三的專家都屬於主流陣營中的兩個小陣營：焦慮大道和信心角。
我們將對這兩個小陣營做深入的談論，讓我們從比較有趣的那個開始吧。
為什麼未來會是天堂
研究人工智慧這個領域後，我發現有比預期的多得多的人站在信心角當中：
Bostrom描述了三種超人工智慧可能的工作模式
先知模式：能準確回答幾乎所有的問題，包括對人類來說很困難的複雜問題，比如「怎樣造一個更好的汽車引擎?」
精靈模式：能夠執行任何高級指令，比如用分子組合器造一個更好的汽車引擎出來。
獨立意志模式(sovereign):可以執行開放式的任務，能在世界裡自由活動，可以自己做決定，比如發明一種比汽車更快、更便宜、更安全的交通模式。
這些對人類來說很複雜的問題，對於一個超級智能來說可能就像「我的筆掉了，你能幫我撿一下嗎?」這麼簡單。
Eliezer Yudkowsky，是這麼說的：
「根本沒有困難的問題，只有對於特定級別的智能來說難的問題。在智能的階梯上走一小步，一些不可能的問題就變得簡單了，如果走一大步，所有問題都變得簡單了。」
信心角裡有很多熱忱的科學家、發明家和創業者，但是對於人工智慧的未來最有發言權的，當屬RayKurzweil。
不管你同不同意Kurzweil的觀點，他都是一個牛人。他年輕時候就開始搞發明，之後幾十年發明了很多東西，比如第一臺平板掃描儀，第一臺能把文字轉化為語言的掃描儀(盲人使用)，著名的Kurzweil音樂合成器(第一臺真正意義上的電子鋼琴)，以及第一套商業銷售的語音識別系統。他是五本暢銷書的作者。他很喜歡做大膽的預測，而且一直很準，比如他80年代末的時候預測到2000年後網際網路會成為全球級的現象。他被《華爾街日報》成為「不休的天才」，被《福布斯》稱為「終極思想機器」，被《Inc.》稱作「愛迪生真正的傳人」，被比爾蓋茨稱為「我認識的對人工智慧預測最厲害的人。」2012年穀歌創始人LarryPage曾邀請他擔任谷歌的工程總監，2011年他共同創立了奇點大學(SingularityUniversity)，現在大學由美國太空總署運運營，由谷歌贊助。
Kurzweil的經歷很重要，因為當他講述自己對未來的願景時，他聽起來就是個瘋子，但是他不瘋，恰恰相反，他非常聰明而有知識。你可能覺得他對於未來的想法是錯的，但是他不傻。知道他是一個聰明人讓我很開心，因為當我知道他對未來的預測後，我急切的很希望他的預測是對的。信心角中的很多思想家都認同Kurzweil的預測，他也有很多粉絲，被稱為奇點主義者。
人工智慧能為我們做什麼
Kurzweil提到由Wifi連接的納米機器人在血液中流動，可以執行很多人類健康相關的任務，包括日常維修，替換死去的細胞等等。如果這項技術能夠被完美掌握，這個流程(或者一個超人工智慧發明的更好的流程)將能使人的身體永遠健康，甚至越活越年輕。一個60歲的人和一個30歲的人身體上的區別只是物理上的，只要技術足夠發達我們是能改變這種區別的。
Kurzweil的思維繼續跳躍了一下，他相信人造材料將越來越多的融入人體。最開始，人體器官將被先進的機械器官所代替，而這些機械器官可以一直運行下去。然後我們會開始重新設計身體，比如可以用自我驅動的納米機器人代替血紅細胞，這樣連心臟都省了。Kurzweil甚至認為我們會改造自己的大腦，使得我們的思考速度比現在快億萬倍，並且使得大腦能和雲存儲的信息進行交流。
我們能獲得的新體驗是無窮的。人類的性愛，使得人們不但能生育，還能從中享樂。Kurtzweil認為我們可以對食物做同樣的改造。納米機器人可以負責把身體需要的營養物質傳送到細胞中，智能的將對身體不好的東西排出體外——就像一個食物保險套一樣。納米技術理論家RobertA.Freitas已經設計了一種紅細胞的替代品，能夠讓人快速衝刺15分鐘不需要呼吸——那麼超人工智慧能對我們的身體能力做的改造就更加難以想像。虛擬實境將擁有新的意義——體內的納米機器人將能控制我們從感官獲得的信號，然後用別的信號替代他們，讓我們進入一個新的環境，在新環境裡，我們能聽、看、聞、觸摸……
最終，Kurzweil認為人類會完全變成人工的。有一天當我們看到生物材料，然後覺得生物材料實在太原始了，早年的人體居然是用這樣的東西組成的，早期的人類居然會被微生物、意外、疾病殺死。這就是Kurzweil眼中人類最終戰勝自己的生理，並且變得不可摧毀和永生，這也是平衡木的另一個吸引態。他深深的想像我們會達到那裡，而且就在不久的將來。
Kurzweil的想法很自然的受到了各方的批評。他對於2045年奇點時代的到來，以及之後的永生的可能性受到了各種嘲笑——「書呆子的狂歡」、「高智商人士的創始論」等等。也有人質疑他過於樂觀的時間線，以及他對人腦和人體的理解程度，還有他將摩爾定於應用到軟體上的做法。有很多人相信他，但有更多人反對他。
但是即使如此，那些反對他的專家並不是反對他所說的一切，反對他的人說的不是「這種事情不可能發生」，而是說「這些當然可能發生，但是到達超人工智慧是很難的。」連經常提醒我們人工智慧的潛在威脅的Bostrom都這麼說：
很難想像一個超級智能會有什麼問題是解決不了，或是不能幫著我們解決的。疾病、貧困、環境毀滅、各種不必要的苦難，這些都是擁有納米科技的超級智能能夠解決的。而且，超級智能可以給我們無限的生命，這可以通過停止或者逆轉衰老來達成，也可以讓我們上傳自己的數據。一個超級智能還能讓我們大幅度提高智商和情商，還能幫助我們創造這種有趣的體驗世界，讓我們享樂。
這是Bostrom這個明顯不在信心角的人的觀點，但也是很多反對Kurzweil的專家的觀點，他們不覺得Kurzweil是在說夢話，只是覺得我們首先要安全達成超人工智慧。這也是為什麼我覺得Kurzweil的觀點很有傳染性，他傳達了正面的信息，而這些事情都是可能的——如果超人工智慧是個仁慈的神的話。
對信心角的最有力的批評，是那些信心角裡的人都低估了超人工智慧的壞處。Kurzweil的暢銷書《The Singularity isNear》700多頁，只有20頁用來討論人工智慧的危險。前面提到，當超人工智慧降臨時我們的命運取決於誰掌握這股力量，以及他們是不是好人。Kurzweil的回答是「超人工智慧正從多方的努力中出現，它將深深的融入我們文明的基建中。它會親密的被捆綁在我們的身體和大腦中，它會反映我們的價值，因為它就是我們。」
未來可能是我們最糟的惡夢
我想了解人工智慧的一個原因是「壞機器人」總是讓我很困惑。那些關於邪惡機器人的電影看起來太不真實，我也沒法想像一個人工智慧變得危險的真實情況。機器人是我們造的，難道我們不會在設計時候防止壞事的發生嗎?我們難道不能設立很多安全機制嗎?再不濟，難道我們不能拔插頭嗎?而且為什麼機器人會想要做壞事?或者說，為什麼機器人會「想要」做任何事?我充滿疑問，於是我開始了解聰明人們的想法。
這些人一般位於焦慮大道：
首先，廣義上來講，在創造超人工智慧時，我們其實是在創造可能一件會改變所有事情的事物，但是我們對那個領域完全不清楚，也不知道我們到達那塊領域後會發生什麼。科學家DannyHillis把這個比作「就好像單細胞生物向多細胞生物轉化的時候那樣，還是阿米巴蟲的我們沒有辦法知道我們究竟在創造什麼鬼。」
生存危機指可能對人類產生永久的災難性效果的事情。通常來說，生存危機意味著滅絕。下面是Bostrom的圖表：
可以看到，生存危機是用來指那些跨物種、跨代(永久傷害)並且有嚴重後果的事情。它可以包括人類遭受永久苦難的情況，但是這基本上和滅絕沒差了。三類事情可能造成人類的生存危機：
1)自然——大型隕石衝撞，大氣變化使得人類不能生活在空氣中，席捲全球的致命病毒等。
2)外星人——霍金、卡爾薩根等建議我們不要對外廣播自己的位置。他們不想我們變成邀請別人來殖民的傻子。
3)人類——恐怖分子獲得了可以造成滅絕的武器，全球的災難性戰爭，還有不經思考就造出個比我們聰明很多的智能。
Bostrom指出1和2在我們物種存在的前十萬年還沒有發生，所以在接下來一個世紀發生的可能性不大。3則讓他很害怕，他把這些比作一個裝著玻璃球的罐子，罐子裡大部分是白色玻璃球，小部分是紅色的，只有幾個是黑色的。每次人類發明一些新東西，就相當於從罐中取出一個玻璃球。大多數發明是有利或者中立的——那些是白色玻璃球。有些發明對人類是有害的，比如大規模殺傷性武器——這是那些紅色玻璃球。還有一些發明是可以讓我們滅絕的，這就是那些黑色玻璃球。很明顯的，我們還沒摸到黑色玻璃球，但是Bostrom認為不久的未來摸到一個黑色玻璃球不是完全不可能的。比如核武器突然變得很容易製造了，那恐怖分子很快會把我們炸回石器時代。核武器還算不上黑色玻璃球，但是差的不遠了。而超人工智慧是我們最可能摸到的黑色玻璃球。
懷著惡意的人/組織/政府，研發出第一個超人工智慧，並且用它來實現自己的邪惡計劃。我把這稱作賈法爾情況。阿拉丁神燈故事中，壞人賈法爾掌握了一個精靈，特別讓人討厭。所以如果ISIS手下有一群工程師狂熱的研發人工智慧怎麼辦?或者說伊朗和朝鮮，機緣巧合，不小心造成了人工智慧的快速發展，達成了超人工智慧怎麼辦?這當然是很糟糕的事，但是大部分專家認為糟糕的地方不在於這些人是壞人，而在於在這些情況下，這些人基本上是不經思考就把超人工智慧造出來，而一造出來就失去了對超人工智慧的控制。
然後這些創造者，連著其他人的命運，都取決於這個超人工智慧的動機了。專家認為一個懷著惡意並掌握著超人工智慧的人可以造成很大的傷害，但不至於讓我們滅絕，因為專家相信壞人和好人在控制超人工智慧時會面臨一樣的挑戰。
如果被創造出來的超人工智慧是懷有惡意的，並且決定毀滅我，怎麼辦?這就是大部分關於人工智慧的電影的劇情。人工智慧變得和人類一樣聰明，甚至更加聰明，然後決定對人類下手——這裡要指出，那些提醒我們要警惕人工智慧的人談的根本不是這種電影情節。邪惡是一個人類的概念，把人類概念應用到非人類身上叫作擬人化，本文會儘量避免這種做法，因為沒有哪個人工智慧會像電影裡那樣變成邪惡的。
人工智慧的自我意識
我們開始談論到了人工智慧討論的另一個話題——意識。如果一個人工智慧足夠聰明，它可能會嘲笑我們，甚至會嘲諷我們，它會聲稱感受到人類的情感，但是它是否真的能感受到這些東西呢?它究竟是看起來有自我意識，還是確實擁有自我意識?或者說，聰明的人工智慧是否真的會具有意識，還是看起來有意識?
這個問題已經被深入的討論過，也有很多思想實驗，比如JohnSearle的中文屋實驗。這是個很重要的問題，因為它會影響我們對Kurzweil提出的人類最終會完全人工化的看法，它還有道德考量——如果我們模擬出萬億個人腦，而這些人腦表現的和人類一樣，那把這些模擬大腦徹底關閉的話，在道德上和關掉電腦是不是一樣的?還是說這和種族屠殺是等價的?本文主要討論人工智慧對人類的危險，所以人工智慧的意識並不是主要的討論點，因為大部分思想家認為就算是有自我意識的超人工智慧也不會像人類一樣變得邪惡。
對人工智慧來說，友善不友善不是指人工智慧的性格，而只是指它對人類的影響是不是正面的。隔壁老王一開始是個友善的人工智慧，但是它變成了不友善的人工智慧，並且對人類造成了最負面的影響。要理解這一切，我們要了解人工智慧是怎麼思考的。
其實答案很簡單——人工智慧和電腦的思考方式一樣。我們容易犯的一個錯誤是，當我們想到非常聰明的人工智慧的時候，我們把它擬人化了，因為在人類的視角看來，能夠達到人類智能程度的只有人類。要理解超人工智慧，我們要明白，它是非常聰明，但是完全異己的東西。
當我們談論超人工智慧的時候，其實是一樣的，超人工智慧會非常的聰明，但是它並不比你的筆記本電腦更加像人類。事實上，因為超人智能不是生物，它的異己性會更強，生物學上來講，超人工智慧比智能蜘蛛更加異己。
電影裡的人工智慧有好有壞，這其實是對人工智慧的擬人化，這讓我們覺得沒那麼毛骨悚然。這給了我們對人類水平和超人類水平的人工智慧的錯覺。
在人類心理中，我們把事情分成道德的和不道德的。但是這兩種只存在於人類行為之中。超出人類心理的範疇，道德(moral)和不道德(immoral)之外，更多的是非道德性(amoral)。而所有不是人類的，尤其是那些非生物的事物，默認都是非道德性的。
這就是我們的下一個問題，人工智慧的動機是什麼?
答案也很簡單：我們給人工智慧設定的目標是什麼，它的動機就是什麼。
費米悖論
而在信心角，Kurzweil同樣認為生於地球的人工智慧將佔領宇宙，只是在他的願景中，我們才是那個人工智慧。
之前寫過一篇關於費米悖論的文章，引發了大家的討論如何用通俗的語言來解釋「費米悖論」?
如果人工智慧佔領宇宙是正解的話，對於費米悖論有什麼影響呢?如果要看懂下面這段關於費米悖論的討論，還需要看一下原文先。
首先，人工智慧很明顯是一個潛在的大過濾器(一個可能距離我們只有幾十年的大過濾器)。但即使它把我們過濾滅絕了，人工智慧本身還是會存在，並且會繼續影響這個宇宙的，並且會很有可能成為第三型文明。從這個角度來看，它可能不是一個大過濾器，因為大過濾器是用來解釋為什麼沒有智能什麼存在的，而超人工智慧是可以算作智能什麼的。但如果人工智慧可以把人類滅絕，然後處於一些原因把自己也弄死了，那它也是可以算作大過濾器的。
但是這不代表費米悖論的第二類解釋(存在其它智能文明)是錯的，類似超級捕食者或者受保護區或者溝通頻率不一樣的情況還是可以存在的，就算真的有超人工智慧存在。
不過對於人工智慧的研究讓我現在更加傾向於第一類解釋。不管怎樣，我認為SusanScheider說的很對，如果外星人造訪地球，這些外星人很可能不是生物，而是人造的。
所以，我們已經建立了前提，就是當有了設定後，一個超人工智慧是非道德性的，並且會努力實現它原本的被設定的目標,而這也是人工智慧的危險所在了。因為除非有不做的理由，不然一個理性的存在會通過最有效的途徑來達成自己的目標。
當你要實現一個長期目標時，你會先達成幾個子目標來幫助你達成最終目標——也就是墊腳石。這些墊腳石的學名叫手段目標(instrumentalgoal)。除非你有不造成傷害的理由，不然你在實現手段目標時候是會造成傷害的。
人類的核心目標是延續自己的基因。要達成這個目標，一個手段目標就是自保，因為死人是不能生孩子的。為了自保，人類要提出對生存的威脅，所以人類會買槍、系安全帶、吃抗生素等等。人類還需要通過食物、水、住宿等來自我供養。對異性有吸引力能夠幫助最終目標的達成，所以我們會花錢做髮型等等。當我們做髮型的時候，每一根頭髮都是我們手段目標的犧牲品，但是我們對頭髮的犧牲不會做價值判斷。在我們追求我們的目標的時候，只有那些我們的道德會產生作用的領域——大部分事關傷害他人——才是不會被我們傷害的。
動物在追求它們的目標時，比人類不矜持的多了。只要能自保，蜘蛛不在意殺死任何東西，所以一個超級智能的蜘蛛對我們來說可能是很危險的——這不是因為它是不道德的或者邪惡的，而是因為傷害人類只是它達成自己目標墊腳石而已，作為一個非道德性的生物，這是它很自然的考量。
當一個人工智慧系統到達強人工智慧，然後升華成超人工智慧時，我們把它稱作人工智慧的起飛。Bostrom認為強人工智慧的起飛可能很快(幾分鐘、幾小時、或者幾天)，可能不快(幾月或者幾年)，也可能很慢(幾十年、幾世紀)。雖然我們要到強人工智慧出現後才會知道答案，但是Bostrom認為很快的起飛是最可能的情況，這個我們在前文已經解釋過了。在隔壁老王的故事中，隔壁老王的起飛很快。
但是當起飛發生後，電腦不只是擁有了高智商而已，還擁有了其它超級能力。這些超級能力是感知能力，他們包括：
§ 智能放大：電腦能夠很擅長讓自己變得更聰明，快速提高自己的智能。
§ 策略：電腦能夠策略性的制定、分析、安排長期計劃
§ 社交操縱：機器變得很擅長說服人
§ 其它能力，比如黑客能力、寫代碼能力、技術研究、賺錢等
要理解我們在和超人工智慧的劣勢在哪裡，只要記得超人工智慧在所有領域都比人類強很多很多很多個數量級。
Bostrom等認為第一個超人工智慧出現後，最可能的情況是這個系統會立刻意識到作為這個世界上唯一一個超人工智慧是最有利的，而在快速起飛的情況下，哪怕它只比第二名快了幾天，它也完全有時間碾壓所有對手。Bostrom把這叫作決定性的戰略優勢，這種優勢會讓第一個超人工智慧永遠統治這個世界，不管在它的統治下我們是走向永生還是滅亡。
Bostrom指出我們有很大的優勢——我們是先手。我們有能力給這個事情提供足夠的預警和前瞻，使我們成功的機會更高。
這一場豪賭的賭注究竟有多高?
如果超人工智慧真的在21世紀達成，而造成的影響真的如大部分專家預測的一樣極端而永久，我們肩上就真的是背負著巨大的責任。接下來幾百萬年的人們都在靜靜地看著我們，希望我們不要搞砸。我們可以給予未來所有人類以生命，甚至是永生，我們也可能終結人類這個特殊的物種，連同我們所有的音樂、藝術、好奇、歡笑、無盡的發現和發明，一起走向滅絕。
當我思考這些事情的時候，我只希望我們能夠慢慢來，並且格外格外小心。從來沒有任何事情比這個更重要——不管我們要花多少時間來把這件事情做對。
（來源：內容翻譯自http://waitbutwhy.com，原文地址：The AI Revolution: Road toSuperintelligence，The AI Revolution: Our Immortality orExtinction，作者：知乎@謝熊貓君)