來源：澎湃新聞
原標題：往屆回聲|當機器有了意識，我們是謹慎接納還是拒絕
編者按：第三屆世界頂尖科學家論壇將於10月30日-11月1日在上海舉行。包括61位諾貝爾獎得主在內，近140位諾貝爾獎、圖靈獎、菲爾茲獎、沃爾夫獎、拉斯克獎等全球頂尖科學獎項得主出席。論壇期間將有130餘場科學家獨立演講、70餘場主題峰會，大部分活動將通過網絡向公眾直播。
在過往的兩屆世界頂尖科學家論壇上，人工智慧是科學家繞不開的話題。當前的人工智慧遠不如小說那樣先進：它還不具備科幻電影中所描述的意識動機，可這並不能阻止我們擔心：人工智慧危機會發生在人類的未來。
澎湃新聞特此整理世界頂尖科學家論壇往屆參與者關於人工智慧倫理困境的討論，希望能幫助讀者撥開籠罩人工智慧的迷霧，看清人工智慧的未來。
科幻小說、電影中到處都有人工智慧、智慧機器人的例子。比如，《銀河系漫遊指南》中的艾迪、《星際穿越》中的機器人塔斯、《機械姬》中的伊娃。這些作品中描述的機器人都有一個共同點：容易出錯，且會對人造成傷害。
不得不承認的是，當前的人工智慧遠不如小說那樣先進：它還不具備科幻電影中所描述的意識動機，可這並不能阻止我們擔心：人工智慧危機會發生在人類的未來。
恐懼來自未知
造成這種恐懼的原因是，目前，我們對人工智慧的「黑匣子」了解甚少。「現在有一個非常大的爭論，就是人工智慧是不是能夠有一個很深的網絡來描述理解。系統可以學很多的東西，學不同的東西，但是這些不同的東西可能很難變成人們可以認知的東西，等於你是學不同的數學概念、學了不同英語的詞，相互之間好像可以連在一起，但是這裡肯定有一個邏輯推理。」2010年圖靈獎得主萊斯利·瓦利安特說。
以深度學習為例，深度學習網絡一旦被訓練，即使是神經網絡的設計者也不知道它是如何做到的。即便如此，許多大公司正在使用這項技術進行商業活動。例如，谷歌搜索提示、Facebook好友建議，許多公司還希望通過人工智慧在工廠中進行質量控制，並在數據中心的冷卻系統中發揮作用。在自動駕駛汽車的開發中，它也是重要的部分。
人工智慧在生產生活中扮演著越來越重要的角色，給我們生活帶來便利，但我們卻無法解釋人工智慧做出決策的原因。這樣的局面讓人感到不安：人工智慧，或者說智慧機器人，應該以什麼樣的身份出現在人類生活中；當它們失控，做壞事，傷害到人類時，我們該如何解決？
「如果有一個人瘋了，我們可以治好他，或者至少可以控制他；但如果一臺人工智慧的機器瘋了，我們將無計可施。」2014年諾貝爾生理或醫學獎得主、挪威科學家梅-布莉特·莫索爾在第二屆世界頂尖科學家論壇上表示。
對於科學家來說，一方面認同人工智慧對科研的幫助 ，另一方面對於人工智慧產生的負面影響也非常謹慎。
「將人工智慧應用於神經科學領域可以幫助人們更高效地處理數據、理解大腦的工作模式，但同時應警惕人工智慧與腦機科學的風險。」2014年諾貝爾生理或醫學獎得主、挪威科學家愛德華·莫索爾說：「我們應該決定用它做什麼、不做什麼。」
當機器有了意識，當人類植入了晶片
在許多科幻電影中，都描述過這樣的場景：機器人有了自己的意識，開始覺醒，覺醒後的機器人，能力超群，又不受限。所以機器人覺醒後，能被稱為「人」嗎？
反過來，當人類植入了晶片，人類還能稱為完整的人嗎？今年7月份，矽谷「鋼鐵俠」馬斯克旗下的腦機接口初創公司Neuralink宣布了一項在癱瘓患者體內植入電極的計劃，目標是使癱瘓患者能夠用大腦操作計算機。Neuralink公司表示，整個過程是在癱瘓患者的頭骨上鑽4個8毫米的孔，並置入植入物，使他們能夠用自己的想法控制電腦和智慧型手機。
更進一步，當人類能克隆自己時，我們又該如何處置自己與複製人之間的關係？複製人能稱為真正的人類嗎？「在克隆上，你現在有我所有的基因，我身體當中的每一個要素，但是你能夠複製一個我嗎？坐在那裡，然後跟我長得一模一樣，你覺得是可能的嗎？我覺得是不可能的，因為我並不僅僅是我的基因，我現在已經活了55年了，我有了很多的體驗，就是我的複製品是沒有經歷過的。我們之所以為人類，是因為我們有基因、有生物組織，它們在跟環境不斷的交互和互動。」梅·布莉特·莫索爾說。在她看來，把人類所擁有的記憶和體驗都放到機器人身上重現，這才是難點。
謹慎地接納，還是拒絕？
那麼，當人工智慧真的失去控制，做出傷害人類的事情時，我們能採取什麼措施？如果真的來到了複製人與人類共處的時代，我們該如何處理兩者之間的關係？
「我覺得我們首先需要討論，什麼是我們想要的，以及什麼是我們不想要的。我認為，設置具體的界限，現在為時尚早。但不管是神經科學家，還是非神經科學家，需要參與到這個討論中來。」 愛德華·莫索爾認為。
梅·布萊特·莫索爾在討論中舉了人臉識別的例子。當前，人面識別技術已經非常成熟，但如何應用還是難題。今年美國舊金山成為了美國第一個禁止政府使用人臉識別技術的城市。反對使用這項技術的人認為，如果不對這項技術進行規範，將會為政府提供前所未有的權力來跟蹤人們的日常生活，這與健康的民主不相容。
「因為僅僅是一個小像素的不同，就會導致識別的失敗，會把你識別成另一個人了。如果我們用它來追溯罪犯，因這種面部識別的錯誤而抓到錯誤的嫌疑人，這就非常危險。所以我們要非常小心地使用這些工具，這對我們很重要。這些技術可以讓我們生活可以更加高效，但是同時應該也保持警惕。」梅·布萊特·莫索爾說。
同時，梅·布萊特·莫索爾指出，如果我們特別想要解決一個問題，並找到答案，往往有的時候我們會忘記我們做了什麼。
「AI現在已經出現了這是真實的，AI現在的智能是人類沒有辦法理解的情況，是會不斷發展下去嗎？是不是人工智慧的判斷是人類無法理解的東西，這會產生什麼樣的影響？我覺得我們可能必須要小心謹慎，這裡有很多倫理道德的問題。監管可能是非常重要的一點，如何用道德來約束或者監管我們現在做的事情。」
也有人認為應該直接拒絕。「我們正處在大型的革命開端，機器在很多時候被認為可以替代人類了。為了能夠應對自主系統的挑戰，我們需要進一步研究。在不嘗試理解這些機器如何做出決策的情況下，不應該接受這樣的技術在大量場景下使用。」2007年圖靈獎得主約瑟夫·斯發基斯在第二屆世界頂尖科學家論壇上表示。
約瑟夫·斯發基斯闡述了自己的理由，他稱：「要構建下一代自主系統，需要有很多的限制，因為在自主系統當中要用各種保險的技能，能不能信任它們就是一個問題，此外還需要建設各種架構，而整個系統是高度動態變化的，這裡就有一個非常大的安全隱患。」