理性是激情的奴隸。——大衛·休謨
324格的棋盤，一邊坐著李世石——當世頂尖的棋手，另一邊是AlphaGo——號稱在挑戰人類智力極限的人工智慧程序。這一幕被包裝得充滿了儀式感，好像是人類智慧與人工智慧的終極對決，這場對決的結果可能意味著一個時代的開始或者另一個時代的結束。第一場，李世石就敗下陣來，似乎意味著電影《終結者》所描述的人類的宿命正離我們越來越近。這一次，在對弈之外，人們普遍對於人工智慧的未來產生了恐懼，計算機是否已經可以比人類更加「聰明」了？有人疑惑，如果AlphaGo在對弈中的失誤是故意賣給李世石的破綻是否更加可怕？而事實上，這些擔心其實都沒有抓住人工智慧相關科技倫理的癥結。
第一場賽前就有人問我，你覺得李世石和AlphaGo，誰能贏。我的回答是：不重要。大勢不可擋，即使這次李世石贏了，他也會在不久的將來被類似的人工智慧擊敗。本次人機大戰充滿了各種噱頭，Google公司對它進行了精心的商業炒作，這無疑是一則完美的軟廣告。它備受矚目由科技倫理而起：大家都想知道人工智慧是否已經可以戰勝人類智能，它到底預示著一個更加智能化的科技時代的到來，還是人類自掘墳墓的悲劇宿命的開始。無論再多的人從圍棋的角度抑或人工智慧算法的角度解讀這場對弈，大家都不得不承認，這已經不單單是一場圍棋比賽了。大家關心的不只是圍棋，而是李世石所代表的人類智慧是否真的要低頭了。但是大部分人並沒有意識到，這次人機對戰並沒有創造任何新的有關人工智慧的科技倫理問題，只是大家不熟悉這些問題的癥結。
本次人機對戰，本質上仍是人與人之間智慧的較量——一邊是李世石，一邊是AlphaGo團隊。就像兩個人比賽伐木，一個人力大無窮卻沒有工具，但另一個人有刀斧。我們稱AlphGo為人工智慧，而它實際上和人類發明的其他的工具並無本質區別。從深藍到AlphaGo，人工智慧的計算能力在不斷增強，分析網絡不斷複雜化，但他們卻仍然只是計算能力極強的工具，沒有成為我們想像中的「終結者」。大衛·休謨告訴我們：理性是激情的奴隸。現在的人工智慧只有工具理性而不能隨機設定目標，它至多是人類意志的一種延伸。而一種擁有隨機設定目標的能力並擁有無比強大的分析計算能力以實現目的的智能，將是一種「上帝」式的存在。這種智能一旦存在，可能地球的文明形式確實要改寫。
兩個思想實驗
關於能隨機設定目標的人工智慧是否能夠到來，涉及的論證太過複雜，在此只給讀者講兩個思想實驗來解釋。
1950年，計算機之父圖靈發表了一篇題為《機器能夠思維嗎？》的論文，論文中設計了一種非常巧妙的檢測智能的方法：一個人在不接觸對方的情況下，通過某種特殊的方式，與對方進行一系列的問答，如果最終他無法根據這些問題判斷出對方是人還是計算機，那麼，就可以認為這臺計算機具有與人相當的智能。美國著名心靈哲學家約翰·賽爾認為這樣的判斷太過簡單狹隘，他在1980年提出了著名的所謂「中文屋」的思想實驗。該實驗是這樣設計的：塞爾設想他只懂英文不懂中文，被關在一間屋子裡。屋子裡有各種各樣的紙片，上面有一些字符。通過屋子的窗口，屋外的中國人可以遞給他有中國字符的紙片提問，他也可以通過窗口把另外一些紙片遞出來「回答」。屋內有一本英文的規則書告訴他怎樣為這些中文字符配對。於是屋外的中國人發現：屋內人對於用中文提出的問題總能給出恰當的回答，看起來似乎懂得中文。如此一來，賽爾就通過了圖靈測試，但他依然不懂中文。他所做的只是按照規則進行形式的匹配。塞爾由此指出：「程序本身不能夠構成心靈，程序的形式句法本身不能確保心智內容的出現。」顯然，在賽爾眼中，任何電腦程式都是不具有理解力的，再複雜的程序本質上都是在完成句法的設定，屋外的人錯誤地認為屋內的人理解了中文，而屋內的人僅僅是做了簡單的符號對應工作。電腦程式終究是沒有目標的，有目標的是「屋外」的人。
賽爾的思想實驗很快遭遇了反駁。一個叫「發光屋」的思想實驗應運而生：1864年麥克斯韋提出光的本質是一種電磁波的理論，假如此時有人反對麥克斯韋的理論，要求他在一個漆黑的屋子裡擺動磁鐵棒，看看在漆黑的屋子裡是否會有發光現象，麥克斯韋將無法反駁。後來我們知道，電磁棒搖擺頻率低於1015Hz的情況下，不足以產生發光現象，這並不是麥克斯韋錯了，而是我們對於自然的認識還不夠深入。我們不能靜止地看待人工智慧，認為它只是完成一些句法任務的工具。隨著這項技術的不斷發展，它遲早會超越人類現在的認識局限，可能這項技術將發生革命性的變化，甚至人類在不經意之間可能早就這種智能。對於「發光屋」思想實驗，賽爾的反駁不能使我信服。
兩個思想實驗引起了美國社會對於人工智慧倫理的大討論，以《霹靂五號》、《終結者》等為代表的的一系列相關電影應運而生。前者溫情脈脈，認為具有感情的機器和人具有相似的人格，可以類似少數族裔融入人類社會；後者就不那麼樂觀了，認為一旦打開了潘多拉魔盒，人類的「審判日」也就到來了。國人對於相關問題的認識，也大多源於這幾部電影。
2012年，已經80歲高齡的賽爾來到北大，我向他請教了關於「發光屋」實驗的看法。他告訴我：其實類似「發光屋」實驗的命題是基本不可反駁的，因為誰也看不到幾百年後的世界，理論不斷被懷疑和反駁才有價值。他開了一個「牛頓實驗」的玩笑：如果幾百年前有人對牛頓說，你的理論是有局限的，只不過要等幾百年後人類對於世界的認識更加深入，你不覺得很可笑嗎？
的確，在我們現在的認識局限內，「終結者」還難以實現，但是這樣的倫理擔憂還是有必要的。
「終結者」何以實現
關於「真正的」人工智慧將如何出現，學界當然會給出各種各樣的預言。英國物理學家彭羅斯的理論被廣泛推崇。不同於哲學家、心理學家和生物學家，物理學家提出的認識理論似乎是在計算機領域更易實踐的。
我們還是講故事。當一個人接受全身麻醉之後，他會在一段時間之內喪失意識，這似乎可以證明意識是一種可以通過廣義的物理方法阻斷的生理過程。既然如此，我們可以認為意識的本質就是一個廣義物理過程。彭羅斯試圖用量子理論還原這一過程。這個時代，無論多快的計算機都在進行二進位計算，這完全是建立在經典物理學理論基礎上的。彭羅斯認為，人腦顯然不可能按這種簡單的經典計算方式來處理信息。那麼，人腦只能靠更深一層次的物理學，即量子力學來處理信息，產生意識。簡而言之，人腦是一臺量子計算機。彭羅斯隨後和神經學家哈梅羅夫合作，提出了所謂Orch-OR理論，認為人腦中能夠產生量子計算的單元是神經細胞的微管，因為是納米尺度的蛋白質結構，量子效應顯著。他們甚至認為，這可以解釋何為「靈魂」：心臟停止跳動，血液停止流動，微管失去了它們的量子態，但微管內的量子信息並沒有遭到破壞，也無法被破壞，離開肉體後重新回到宇宙。如果患者甦醒過來，這種量子信息又會重新回到微管，患者會說『我體驗了一次瀕死經歷』。如果沒有甦醒過來，患者便會死亡，這種量子信息將存在於肉體外，以靈魂的形式。
儘管這一理論一經出世就遭遇了大量質疑，但隨著量子信息學的發展，意識起源於人腦的量子計算這個未經證實的假說逐漸潛移默化到了很多領域。也就意味著如果這個假說正確，量子計算機可以完美模擬人腦。如《變形金剛》之類的好萊塢的科幻電影，在提到真正人工智慧時都會用到「量子」這個詞。最近一些機器人影片也在熱炒這個概念。當然，谷歌這樣的科技公司更不會放過量子計算機這個噱頭。
一大批科技企業熱衷於量子計算的概念。但至少在當前階段，還沒有經典算法不能轉化的量子算法。也就是說：如果有一個量子算法能夠產生人類的意識，也一定存在一個模擬人類意識的經典算法，反之亦然。看似一切都是科技界的動人外包裝。
當然，人工智慧的力量還很弱小，它再理性也必須接受人類的意志。機器，依然是人類的奴隸。倫理學家擔心的是，一切是否一定會在人類控制之下。須知，人類在其他科研領域經常有種花得柳的表現：我們想製造一種對抗心臟病的新藥，但最終這種新藥成為了萬艾可。我們當然不希望創造一個我們不能控制的怪物，而這個怪物會不會降臨我們確實不得而知。因而，各國的人工智慧倫理研究所紛紛成立，對於相關研究的界限也有待劃清。
我們的科技觀
在我們的語境下，「科學」往往是個褒義詞。「科學規劃」、「科學治理」這樣的字眼常常被寫入政策性文件，我們也並未覺得這有何不妥。本質上，這是一個從前現代到現代過度的國家對於現代性的一種崇拜。
我們崇拜科學，因為它具有改造自然推動生產力發展的偉大力量。但我們中的大多數卻還沒能建立科學本身所蘊含的理性思維方式。只有足夠理性並了解科學才能對科學形成反思。
與人工智慧影響力類似的科技倫理問題還有很多。比如基因改造。我們可以通過檢測發現一些可以造成先天性疾病的基因，並把受精卵中的相應基因置換掉。看似是功德一件的好事，但是如果沒有倫理約束會變得非常可怕：如果我們認為其他的基因也不夠完美需要置換呢？走到極端，我們會創造身高相貌智力都無比優越的人，這樣的人走到社會上會對其他人形成壓倒性的競爭優勢。於是不服氣的父母們會把試管定為每個嬰兒的起跑線。長此以往，會有太多具有類似「優勢基因」的人來到這個世界上。他們太像了，就像工廠的產物一樣，他們會破壞這個因多樣而美好的世界。類似對於科技的反思往往智能因出現在好萊塢電影裡被我們所知。我們習慣性地功利化看待科技，而「科學文化」卻難以形成。中國人並非不對科學進行反思——往往學者們的討論很熱烈，但觀點往往難以走出校門。
這些反思並非只屬於小部分人。人工智慧的長足進步必然引發大量工作崗位的消失，如果把它看成一個必然的歷史過程，那麼這一歷史過程會極為殘酷，甚至造成劇烈的社會動蕩。不止是低端腦力工作行業，法務、金融、醫療這些高端服務行業的大量工作機會都將消失。如果對此沒有清醒的認識，沒有相應的政策早作計劃和應對，結果將是災難性的。
科學崇拜背後，是一種傲慢的現代性。我們實際上已經在品嘗這種現代性帶來的苦果：重度汙染、產能過剩都是它的具體體現。有人說，這是每個國家從現代走向後現代必須經歷的過程，都要痛過，才能學會反思。我們正在痛著，但是真的在反思嗎？
對於科技，不只是決策者，每個人的思考都應當更為立體。科技並非科技本身，它一經出世就已經離不開與社會的互動。希望這次人機大戰能夠引發足夠多的討論，為全民上一場科技倫理教育課。人類應該更加理性地使用自己的「激情」，不是嗎？