本文參加百家號＃科學了不起＃系列徵文賽。
儘管奇點有很多面，但它最重要的含義是：我們的技術將匹配並大大超越我們認為的人類最優秀品質的精細化和靈活性。— 雷·庫茲韋爾，《奇點即將來臨：當人類超越生物學》
在30年內，我們將擁有創造超人智力的技術手段。不久之後，人類的時代將會結束。」—弗諾·文奇——《即將到來的技術奇點》
文奇和庫茲韋爾是兩個主要支持者技術奇點科學家，這是人工智慧的概念和整體技術進步，在不久的將來，呈指數增長的機器將比人類更聰明，普通的人類將越來越落後於它。
顯然，科學界的大多數成員都同意，需要有一套規則，所有負責人工智慧和機器人技術的人都必須遵守。然而，這些規則究竟是什麼，仍是未知數。這在很大程度上只是因為這項技術仍處於起步階段，而且迄今為止，向公眾發布的用於大眾消費的那部分技術還相對無害。Siri和Roomba幾乎不會對人類的生存構成威脅。
然而，我們人類以對未知領域的恐懼而聞名。而我們並不真正理解的東西，往往會被我們消滅。現在，我們控制著機器智能的進化。當奇點來臨時，我們的創造物超越了我們，也許只需要幾個小時、幾分鐘甚至幾秒鐘，它們就會超越我們，以至於我們不再理解它們。
我們的科幻小說中有很大一部分都是圍繞著機器人和人工智慧展開的，它們有了自我意識，要麼試圖佔領世界，要麼讓人類滅絕，這是有原因的。我們認識到這是一種可能性。人類擅長想出新奇的方法來危害自己。我們也意識到這一點。
為了避免這種情況，我們有兩個選擇：
放棄或取締所有在AI的工作。就像任何試圖在世界範圍內控制核武器或在道德上有問題的醫學研究一樣，這是不可能成功的。一些玩家會同意，但許多人不會。人類對滿足好奇心和獲得優勢的欲望是不可克服的。除此之外，我們所能做的就是努力確保每個人都意識到潛在的危險，並建立一個框架，在這個框架內，他們的創造物必須在其中運行，並盡最大努力防止我們即將到來的人工智慧控制的機器人傷害我們。幸運的是，自從我們研究奇點以來，我們就一直在思考這個問題。
3條法則
著名科幻作家、未來學家艾薩克·阿西莫夫在1942年的短篇小說《江湖》中提出了他標誌性的機器人三大定律。後來他又加了一條「零」定律，他意識到這條定律必須先於其他定律。它們是：
定律0：機器人不得傷害人類，或袖手旁觀，任由人類受到傷害定律1：機器人不得傷害人類，或因不作為而讓人類受到傷害。定律2：機器人必須服從人類給它的命令，除非這些命令與第一定律相衝突。定律3：機器人必須保護自己的存在，只要這種保護不與第一定律或第二定律相衝突。阿西莫夫將這些法則應用到他在以下虛構作品中所描述的幾乎所有機器人身上，它們被今天的大多數機器人專家和計算機科學家認為仍然是非常有效的。
自從在社會中與人類共存的真正的機器人成為一種真正的可能性，而不僅僅是科幻小說的產物，機器人的想法就成為了技術領域的一個真正的子領域，將我們所有關於人工智慧和機器學習的知識與法律、社會學和哲學結合在一起。隨著技術和可能性的發展，許多人已經把他們的想法加入到討論中。
電子隱私信息中心的主席，馬克·羅滕貝格認為，阿西莫夫的名單中還應該包括兩項法律：
定律4：當被要求時，機器人必須向人類展示它們作為機器人的身份和本性。定律5：當被要求時，機器人必須向人類展示它們的決策過程。6條規則
微軟現任執行長薩蒂亞納德拉列出了他認為人工智慧科學家和研究人員應該遵循的六條規則：
人工智慧必須存在，以幫助人類；人工智慧的內部運作必須對人類透明；人工智慧必須在不損害任何獨立群體的情況下使事情變得更好；人工智慧的設計必須保證個人和群組信息的私密性；人工智慧必須足夠接近，人類可以防止意外傷害；人工智慧不得對任何一方有偏見。5個問題
谷歌的計算機科學家也提出了5個不同的「實際研究問題」，供機器人程式設計師考慮：
機器人不應該做任何事情，使事情變得更糟；機器人不應能夠「發揮其獎勵功能」；如果缺乏做出正確決定的信息，機器人應該向人類尋求幫助。只要機器人保持安全，在這個過程中不傷害人類，它們就應該保持好奇。機器人應該識別和適當的反應空間和情況，他們發現自己在。5個原則
或許最直接的人類保護指南是由英國藝術與人文研究委員會和工程與物理科學研究委員會共同提出的的狀態：
機器人的設計不應該僅僅或主要是為了殺死或傷害人類。人類，而不是機器人，是負責任的代理人。機器人是用來實現人類目標的工具。機器人的設計應確保其安全性。機器人是人工製品，區分機器人和人類總是有可能的。總是有可能找出誰對機器人負有法律責任。
這些擬議的規則中有一些已經被忽視了。例如，納德拉的「人工智慧的內部運作必須對人類透明」。在過去的幾十年裡，有許多人工智慧程序已經被應用於醫療診斷、下棋和車輛控制等領域，這些程序使用機器學習來不斷改進。然而，即使是機器本身也不知道它們到底是如何工作的，而且它們背後的程式設計師和機器人專家也無法跟上它們的創造物的一切。
很明顯，這些信條的主旨是我們必須盡最大努力來阻止我們的人造物殺死我們。如果我們認為他們是人類的「孩子」，我們當然有很多工作要做。總的來說，大多數父母在撫養孩子方面都做得很好，他們最終都尊重人類的生命。但相當比例的人口變成了壞蛋。有時是父母不好，有時是基因不好，有時沒有明顯的原因。
如果我們發現自己生活在奇點之中，而我們的孩子很快就超出了我們監視他們的能力，我們可能就無法依賴我們為他們制定的任何規則。它們的進化將超出我們的控制。我們可能很快就會發現自己處在一個類似於大猩猩或大熊貓的位置上。
因此，最好是向他們灌輸我們希望自己能更好地遵循的道德觀念，並希望我們的孩子能自我監督。