內容提要：隨著人工智慧的發展，智能機器逐步進入人類社會。智能機器與人類社會的交互，尤其是人-機交互中涉及的倫理道德問題，越來越受到眾多研究者的重視。本文主要關注智能機器道德框架構建及人們對智能機器行為道德判斷兩方面，整理了近年來關於智能機器道德決策的相關研究文獻，重點探討智能機器的道德體系，人們對人類-機器行為道德判斷的差異，對智能機器行為的道德取向及影響人們對其道德判斷的主要因素等，並指出未來研究方向。
關 鍵 詞：人工智慧；智能機器；道德判斷
作者簡介：趙雷，李園園，浙江工業大學管理學院；葉君惠，浙江警察學院；胡鳳培（通訊作者），男，浙江工業大學管理學院教授。
基金項目：國家自然科學基金(31900781)；教育部人文社會科學研究青年基金項目(19YJC190033)；浙江省社科規劃課題成果(20XXJC05ZD)。
1 引言
智能機器/人工智慧指的是能夠在不確定的環境中自主做出合理(智能)行為的機器(系統)(Albus，1991)。隨著現代科技的發展，智能機器正逐步邁入民眾的實際生活。「AlphaGo」戰勝圍棋大師，谷歌、起亞等自動駕駛汽車獲得上路執照、即將實用化等，無不意味著智能時代的迫近(唐寧等，2018；周吉帆等，2016)。人工智慧無疑將給人類社會帶來巨大的進步，在各行各業發揮巨大的作用。如自動駕駛汽車可極大地降低交通事故，緩解交通壓力，減少空氣汙染等；智能看護機器人可在家庭中照顧老人，其對老齡化日益嚴重、人力成本不斷高漲的國家尤為重要。然而，人工智慧也受到來自社會各界及相關領域的爭議，如技術、立法、倫理道德等方面。鑑於人類社會的複雜性和智能機器的「自主性」，在人-智能機器交互(甚至智能機器-智能機器交互)中，智能機器必然面臨諸多的道德情境，做出自主選擇的相關道德行為。如當自動駕駛汽車遭遇道德兩難困境時(緊急避險可拯救多人性命，但會導致少量無辜者犧牲)，應當如何決策？看護機器人是否可以通過「善意的謊言」讓抗拒吃藥的病人吃藥(如機器人欺騙病人說如果病人不按時吃藥，那它就會因為無法勝任工作而被回收毀滅)？因此，如何設計人工智慧體的道德決策體系，使其在社會交互中符合社會公眾的道德準則，成為影響智能機器實用化的關鍵因素，受到越來越多該領域研究者的重視，並成為一個研究熱點(Allen，Varner，& Zinser，2000；Anderson & Anderson，2011；Scheutz & Malle，2014)。
目前，關於智能機器道德研究主要集中在以下兩個方面。絕大部分研究者關注於如何為智能機器構建道德相關模塊及整體道德框架，如道德體系設計取向、道德圖靈測試(moral turing test，MTT)(Arnold & Scheutz，2016；Gerdes & hrstrm，2015)、道德算法(algorithmic morality)(Goodall，2014，2016；Purves，Jenkins & Strawser，2015)、道德模塊組成(Malle & Scheutz，2014，2015；Scheutz & Malle，2014)等，其主要致力於如何採用算法、決策樹等建立智能機器道德決策的規範集(moral principle set)。然而，此取向顯然簡化了人類的道德判斷，僅將人類的道德準則、行為規範等賦予智能機器，讓其按照人類道德行為模式運行，一定程度上忽略了人類對智能機器行為的表徵及道德判斷。道德本身就具有複雜性，如道德是否為人類所特有，智能機器是否可以成為道德主體？此外，人類對於智能機器的態度、認知、信任也與對人的態度、認知、信任等存在一定的差異。因此，人們在對智能機器行為進行道德判斷時，極有可能採用與對人類行為判斷不同的道德準則及加工機制。基於此，另一些學者借鑑道德判斷(moral judgment)理論，從人們對智能機器行為道德判斷的角度出發，採用實驗倫理(experimental ethic)的方法，探究人們對智能機器行為的道德判斷模式，以及人們期望智能機器在社會交互中採用什麼樣的行為道德規範等問題(e.g.，Bergmann et al.，2018；Faulhaber et al.，2018；Malle，Scheutz，Arnold，Voiklis，& Cusimano，2015)。研究者希望通過這些研究，為構建智能機器道德體系提供理論依據和指導。本文從這兩方面出發，首先回顧有關智能機器道德體系設計取向、模塊框架等方面，然後重點論述人對智能機器行為道德判斷領域的相關研究，旨在為國內相關領域研究提供借鑑，並為設計符合人類社會道德標準的智能機器道德行為體系，以及為有關部門制定經濟、行政、交通等政策法規提供科學依據。
2 智能機器的道德體系構建
自Allen et al.(2000)啟發性地提出有關人工智慧道德的討論後，構建智能機器的道德規範獲得了越來越多的關注。Anderson & Anderson(2011)和Scheutz & Malle(2014)等強調了考慮智能機器道德的重要性，指出在眾多領域中智能機器與人類交互，不可避免地會遭遇到道德挑戰乃至道德兩難情境，需要受到道德準則的約束。因此，眾多研究者開始思考如何為智能機器構建相應的道德體系，他們從道德設計取向、道德模塊組成、道德圖靈測試等不同角度對它進行了研究，獲得了大量的研究成果(e.g.，Allen，Smit & Wallach，2005；Gerdes & hrstrm，2015；Scheutz & Malle，2014)。
2.1 智能道德機器(artifical moral agents)的設計取向
目前，在有關如何使智能機器獲得道德的問題上，主要包含3種不同的理念：自上而下(top-down approach)，自下而上(bottom-up approach)及混合取向(hybrid approach)(Allen et al.，2005；Arkin，2009；Bringsjord & Taylor，2012)。自上而下取向認為，在設計智能道德機器時，人們應當運用道德準則和道德理論，將其變成規則(算法)來指導智能機器做出恰當的行為，這一理念又被稱為基於規則的取向(rule-based approach)。自上而下的道德設計重點在於提供一系列抽象的道德準則供智能機器來遵循，如著名的阿莫西機器人三定律。這些準則既包含基於道義論(deontology)式的道德核心概念、特定領域的道德規則(domain-specificity of rules)和衝突解決規則(resolution of conflicting rules)，也包含基於功利論(utilitarianism)的收益損失分析的計算情境(computational context)(Arkin，2009；Bringsjord & Taylor，2012)。然而，基於規則的道德取向由於是事先設定的，往往無法完全面對複雜情況(未包換相應規則等)，且規則間極有可能相互衝突。與之相反，自下而上的取向認為，智能機器不應該被直接賦予特定的道德倫理，而是應該通過為它提供一個恰當的環境(鼓勵智能機器做出恰當的行為)，使其通過經驗而學習(learning through experience)、進化出整體的道德意識。這一取向與兒童的道德發展觀十分類似，即兒童通過社會情境中的體驗、學習來獲得道德教育，辨別什麼是合適或不合適的行為，而不需要顯性地向其提供道德理論(Allen et al.，2005)。然而，自下而上的智能機器道德設計取向在實際的實現上特別地困難，在進化與學習過程中存在著大量的錯誤和失敗。混合取向則認為，為了應對上述取向的問題，我們需要將自上而下和自下而上的取向結合起來，可以通過自上而下的方式為智能機器設定一些基礎性道德語法(foundation moral grammar)，並通過自下而上的學習(神經網絡、機器學習)來發展和進化，從而整合形成智能機器的道德決策體系(具體見Allen et al.，2005)。
2.2 智能機器的道德能力模塊
一些研究者基於智能機器的道德模塊組成，研究智能機器的道德能力(moral competence)模塊及組成成分，以此構建智能機器整體道德模型(Malle & Scheutz，2015；Scheutz & Malle，2014)。Scheutz & Malle提出智能機器的道德能力應包含道德核心(moral core)、道德知覺與認知過程(moral perceptual and cognitive processes)、道德問題解決、決策過程(moral problem solving，decision-making process)和道德交流(moral communication)四個組成模塊。道德核心包括道德相關的核心概念(準則)、語言標籤(linguistic label)及概念間的聯結關係，即知道什麼是符合(違背)道德規範和準則的；道德知覺和認知過程包括所有在道德判斷中與道德推理(reasoning)相關的知覺和認知的過程；道德問題解決、決策過程模塊則表徵道義式道德，計劃道德決策路徑(planning paths)和決策樹(decision tree)；道德交流模塊則讓智能機器具備運用人類自然語言與人類進行道德交流的能力，為其道德行為選擇進行解釋和辯護。在此基礎上，Malle等人(Malle & Scheutz，2014，2015)將道德詞彙(moral vocabulary)獨立出來，並整合了道德行動(moral action)及情感(affect)，提出了包含道德核心、道德詞彙、道德認知與情感、道德決策及行動、道德交流5個組成成分的智能機器道德框架(具體見Scheutz & Malle，2014，2015)。研究者們認為智能機器道德能力框架的構建，是解決智能機器在社會交互中面臨道德情境問題的必要條件(e.g.，Bigman & Gray，2018；Payr，Werner，F.，& Werner，K.，2015)。
2.3 智能機器道德圖靈測試
一些研究者則關注如何評價智能機器的道德水準，或者說如何界定某一智能機器是一個有道德的個體。這些研究者借鑑圖靈測試，試圖從測試的視角入手，即考察智能機器能否通過有關道德的圖靈測試，來驗證該智能體是否是一個具有道德的個體(Arnold & Scheutz，2016；Gerdes & hrstrm，2015；Wallach & Allen，2012)。對「智能機器」這一概念的界定來源於「圖靈測試」。圖靈測試(Turing testing)是Turing(1950)提出的一種測試機器是否具備人類智能的方法：如果機器能夠通過一系列的人類詢問的測試(非接觸條件)，即人類詢問者無法通過回答判斷出回答問題的是人還是機器，那麼，即認為這一機器是智能的。通過借鑑圖靈測試，眾多研究者考慮構建基於道德的圖靈測試，即如果人類「詢問者」在詢問有關道德方面的問題時，無法區分回答者是機器還是人類，那麼就可以認為該智能機器是一個道德個體。道德圖靈測試的實質在於智能機器能否按照人類社會道德規範進行道德反應(行為選擇)。
然而，也有學者對道德圖靈測試提出質疑，認為無法通過道德圖靈測試的途徑來真正地構建道德智能機器(e.g.，Arnold & Scheutz，2016)。他們認為，任何道德圖靈測試(只要是基於原有圖靈測試的結構特性)都面臨著道德風險(moral compromise)的問題，主要包括：(1)圖靈測試的核心是依賴於隱藏身份後的模仿(imitation)來達到通過測試的目標，而在道德圖靈測試時，為了達到這一目標，道德永遠在成功模仿的動機之下(如通過欺騙來實現模仿)。比如，圖靈本人就曾指出，智能機器本身就可能在其擅長的任務(如複雜數學計算)上有意誤導(拖延時間，錯誤回答等)以避免被認出是機器，那麼，一個道德智能機器是否也可以故意呈現道德瑕疵以避免被識別？(2)黑箱問題，即道德推理過程的不可訪問性(inaccessibility)。(3)道德推理與行為間的鴻溝：圖靈測試中人類詢問者只能看到通過中介(對話或者人類控制者)後的反應(行為)，但從行為反推道德推理存在巨大鴻溝。(4)人類本身對智能機器就具有更高的道德要求的現實，即人們對智能機器的道德水準要求很可能高於對人類道德水準的平均水平(具體見Arnold & Scheutz，2016)。
3 智能機器行為的道德判斷研究
上述研究主要由人工智慧、計算機科學等領域的學者開展，他們往往就是智能機器的設計製造者，因此主要關注於如何為社會型智能機器構建道德決策體系，如該系統應該包含哪些模塊(道德能力組成)，如何從無到有構建(設計取向)等問題。近年來，越來越多的研究者則從人類道德判斷本身出發，借鑑道德判斷的相關理論，採用實驗倫理法，來探究如人們對智能機器行為的道德判斷模式及規律如何，人們期望智能機器在社會交互中採用什麼樣的行為道德規範等問題，從而揭示人們對於智能機器行為道德評價的特殊性(e.g.，Bergmann et al.，2018；Faulhaber et al.，2018；Malle et al.，2015)。研究者希望在此基礎上，為智能機器相關道德設計提供依據，如設置一些特定的智能機器道德準則、行為模式等，使智能機器符合人們對它的期望，從而更好地融入到人類社會中。
3.1 道德判斷理論模型
3.1.1 理性模型
傳統的道德判斷理性模型認為道德判斷主要是通過人們的思考和推理這一理性過程完成的，而情感、無意識等非理性要素並非道德判斷的重要因素(Kohlberg & Krämer，1969；Piaget，1965)。
3.1.2 社會直覺模型
理性模型忽略了情緒的作用，Hadit把情緒引入道德，並形成了道德判斷的社會直覺模型。該模型認為直覺加工是道德判斷的基本過程，道德判斷是基於自動化、快速的道德直覺的評價過程(Haidt，2001；Haidt & Bjorklund，2008；Haidt & Joseph，2004)。該模型不再強調個體推理的重要性，而是重視社會和文化影響的重要性。
3.1.3 雙加工理論模型
雙加工模型整合理性與情緒，認為道德判斷是情緒和認知共同作用的結果(邱俊傑，張鋒，2015；Greene，2003)。在某一特定情境中，當個體進行道德判斷時，既需要有意識的推理，也依賴於直覺過程。在道德判斷中，這兩個過程對應於兩個相對立的倫理視角：道義論和功利論(Bartels，2008；Carney & Mason，2010；Conway & Gawronski，2013)。道義論認為行為的對錯在於行為本身的責任、權利與義務等(比如，無論結果如何，傷害他人是錯誤的)；而功利論認為行為的對錯取決於行為結果的收益-損失(比如，功利主義者認為為了救5人而犧牲1人在道德上是正確的，而道義論者則採取相反的觀點)。
3.2 智能機器行為的道德判斷
目前，智能機器已被人類看作是道德行為者，成為道德主體(Wallach & Allen，2008)。如Kahn Jr et al.(2012)等人發現絕大部分公眾認為機器人是對輕微犯罪行為負有道德責任的。Monroe，Dillon & Malle(2014)認為機器人的選擇能力是決定人們是否責備其犯罪行為的重要因素。相關結果表明，人們將智能機器看成是道德體，會對其行為進行道德判斷、評價。目前，研究者在探究公眾對智能機器行為道德判斷時，通常基於雙加工模型，借鑑經典的電車困境(trolley dilemma)難題(尹軍，關旭，花蕊，張鋒，2018；Foot，1967)。基於電車困境及其改編版本，研究者主要考察了公眾對智能駕駛汽車和智慧機器人在遭遇道德兩難困境時的行為選擇期望(道德取向)及對其相關行為的道德評價(e.g.，Hristova & Grinberg 2016；Voiklis，Kim，Cusimano，& Malle，2016)。
3.2.1 人對人類和智能機器行為的道德判斷差異
現有研究表明，公眾對智能機器和人類，很可能採用不同的道德判斷準則：相比於人類，人們更希望智能機器做出功利主義取向行為，對其功利取向行為的道德評價也高於對人類做出同樣的行為的評價，即存在人-智能機器異質性(human-robot asymmetry)。比如，Malle et al.(2015)採用類似電車困境(trolley dilemma)的情境(電車困境要求人們在放任一輛失控的電車殺死5人和將電車轉向另一軌道導致1人死亡，但可以拯救5人的兩難困境中做出選擇)，首次系統考察了這一問題，結果發現：相比於人類，公眾更希望智能機器做出功利論取向的行為選擇(犧牲少數而救下更多人)。當智能機器做出道義論的選擇時(不改變軌道)，公眾對其行為選擇的道德評價也低於人類做出同樣的選擇，認為其行為在道德上更加錯誤，對其選擇也表現出更高的責備度。Malle，Scheutz，Forlizzi，& Voiklis(2016)，Hristova & Grinberg(2016)的後續研究也驗證了這一點，公眾對智能機和人類在做出功利論行為和道義論行為時的評價並不一致，更希望智能機器做出功利論行為。
Voiklis et al.(2016)在Malle et al.(2015)研究的基礎上，通過詢問被試開放性問題(為什麼你認為人類/機器人的選擇在道德上是許可的/錯誤的？你為什麼會給人類/機器人該程度的道德責備度評分？)，進一步探討了人們對智能機器在道德困境中行為選擇的道德評價機制。結果發現，在被試對人類和智能機器的行為選擇進行道德許可度評價時，對於被試不許可人類採取功利主義，但許可智能機器採取功利主義的理由中，均提到了道義規範(deontological norms)，表明人們對智能機器和人類在此評價上採用不同的道德準則。
然而，並非所有研究都支持了公眾對智能機器和人採用不同的道德評價標準的觀點，極少數研究也發現了人們對人和智能機器行為可能存在同樣的道德判斷標準。Komatsu(2016)採用日本人被試重複了Malle et al.(2015)的研究(不過僅測量了道德錯誤度[moral wrongness]一個指標)，但獲得了完全不同的研究結論。他們發現，日本被試對智能機器和人類採用完全相同的道德判斷準則，即被試對人類和智能機器在道德兩難困境中採取道義論或功利論的行為選擇的道德評價上並沒有差別。Malle et al.(2016)在其研究的實驗2中，改變了道德困境的描述方式，採用連環畫形式呈現多張圖片來描述道德困境，結果發現人們對於智能機器和人類行為道德評價(錯誤度、責備度)上的不對稱性效應消失，即給予了同樣的道德評價。褚華東等人(2019)的研究則表明，公眾對人-智能機器行為道德判斷的差異性受到道德情境的影響：在非個人道德困境(電車困境)下，人們對智能機器和人採用相同的道德評價標準；而在個人道德困境(天橋困境)下，人們對兩者採用不同的道德評價標準，更希望智能機器做功利主義取向行為。因此，人們很可能對人類和智能機器行為的道德判斷存在差異，但在特定情況下(比如特定道德情境，文化背景)也可能表現出一定的一致性。
3.2.2 公眾可接受的智能機器行為道德取向
Malle et al.(2015)、Malle et al.(2016)等研究表明，相比於道義論式行為，人們似乎更偏好智能機器在道德兩難困境中做出功利論行為。Bonnefon，Shariff，& Rahwan(2016)考察了人們對自動駕駛汽車在道德兩難困境中行為選擇的道德判斷(車前突然出現數位行人，唯一的解救辦法是緊急避險，但會導致道旁位行人或車內乘客死亡)。研究者通過一系列實驗發現，相比於道義論式行為選擇，人們更希望自動駕駛汽車做出功利主義取向行為，對該取向自動駕駛汽車的道德評價也更高。隨著獲救人數的增加，認可功利取向的被試也相應增加，即使犧牲的是決策者自己或家人，這種傾向仍然存在。考慮到問卷情境的有效性問題，一些研究者則結合虛擬實境(VR)技術考察人對自動駕駛汽車行為的道德判斷問題，亦獲得了相同的研究結論：人們更喜歡功利論取向的智能機器，拯救的人數越多，人們越傾向於自動駕駛汽車做出功利論取向道德行為，即使這麼做需要其違背交通規則。而且，人們更希望自動駕駛汽車挽救更年輕的生命(兒童)(Bergmann et al.，2018；Faulhaber et al.，2018)。
最近，MIT一項基於全球(233個國家和地區)的大規模調查，運用在線程序，收集了近4000萬次人們對自動駕駛汽車在面臨各種道德兩難困境時的期望行為(Awad et al.，2018)。研究者通過設計各類不同的道德情境，考察了挽救主體(挽救人類vs.寵物)、默認行為(保持直行vs.轉向)、挽救對象(乘客vs.行人)、人數(挽救更多人vs.挽救少數人)、性別(挽救男人vs.女人)、年齡(挽救青年人vs.老人)、規則(挽救合法過馬路者vs.亂穿馬路者)、健康(挽救健康者vs.不健康者)和社會階層(挽救高社會地位者vs.低社會低位者)等因素對人們對自動駕駛汽車預期行為的影響。研究結果呈現出三種十分強烈的選擇偏好，這些偏好都支持了人們希望智能機器採用功利論取向的觀點：①希望自動駕駛汽車在遭遇道德兩難困境時保護人類而非保護動物；②保護更多的生命；③保護年輕的生命。
然而，當涉及自身利益時，人們對智能機器的這種功利論偏好可能反轉。Bonnefon et al.(2016)在研究中詢問了被試對不同道德取向(道義論、功利論)的自動駕駛汽車的購買意願，發現雖然人們更加認可功利論取向的自動駕駛汽車，並希望他人購買，但人們更願意給自己購買那些無論何時都優先保護車內乘客(自我)的汽車，哪怕這意味在道德困境中犧牲更多人。不過，也有研究發現(Faulhaber et al.，2018；Bergmann et al.，2018)，人們並非純粹的利己主義者，當可能死亡的人數逐漸增加時(≥5)，人們更願意自動駕駛汽車犧牲乘客(自己)來挽救更多的人。同樣，隨著自我犧牲概率的降低，人們也更加願意自動駕駛汽車採用功利主義取向(Wintersberger，Prison，Riener & Hasirlioglu，2017)。
3.2.3 公眾對智能機器行為道德判斷的影響因素研究
智能機器的外形會影響人們對其行為的道德判斷。在智能機器設計中，主要存在著兩類不同外形的機器，即人形機器人(humanoid robot)和機器型機器人(mechanical robot)。Malle et al.(2016)對比了被試對人類、人形機器人和機器型機器人在道德困境下行為選擇的道德評價。研究發現雖然被試在對三者行為道德錯誤度的評價上沒有差異，但人們對於機器型機器人和人類行為在道德責備度評價上並不對稱——被試對智能機器做出功利論行為的道德責備度低於其做出道義論行為，而對於人類行為的道德評價則恰恰相反，相比於道義論行為，被試更加責備人們的功利論行為。而對於人形機器人，被試對其的道德評價(錯誤度、責備度)和對人類的評價類似，並不存在顯著差異。Hristova & Grinberg(2016)同樣對比了被試對人類與人形機器人、智能系統(automated system，無外形)在道德困境中行為的期望及道德評價。研究表明，人們更希望智能機器(人形機器人，智能系統)做出功利取向行為，認為該行為更正確，道德上更被許可(morally permissibility)，而對人類則不存在取向偏差。但在道德責備度上，人們對於人形機器人的道德責備度顯著地低於人類和智能系統。後續分析發現，儘管實驗中對人形機器人的描述已經讓其儘可能地接近人類，但被試仍然認為其不具有與人類相同的道德代理能力(更低的道德辨析能力和道德責任承擔等)，這可能導致了被試對其道德責備度的減少。
事故風險、不確定性也會影響到人們對智能機器行為的道德判斷。Meder，Fleischhut，Krumnau，& Waldmann(2019)的研究表明，當自動駕駛汽車面臨無法避免的道德兩難困境時，引發事故結果的好壞顯著影響了人們對自動駕駛汽車的道德判斷。隨著自動駕駛汽車轉向發生碰撞結果的風險增加，人們更加偏向自動駕駛汽車「不作為」(停車)。同時，人們對發生轉向產生碰撞結果的自動駕駛汽車給予更低的道德評價。Wintersberger et al.(2017)的研究也表明，隨著車內乘客犧牲概率的降低，人們更期望自動駕駛汽車能夠避免衝撞行人。
另外，人們對於智能機器行為的道德判斷還受到文化背景、經濟、制度等諸多因素的影響。Awad et al.(2018)的全球調查研究證實，來自東方群體(日本、中國臺灣等)的個體更不願意自動駕駛汽車在兩難困境下犧牲老人的性命來挽救年輕人，而南方群體(大部分中美洲和南美洲的拉丁美洲國家)的個體則更可能這麼做。此外，南方群體的個體，相比東方群體和西方群體(北美及許多歐洲國家的基督教團體)的人，更少地願意以犧牲寵物來救人。同時，集體主義和個體主體文化也會影響人們對智能機器的道德判斷。來自個體主義文化的個體，更加強調每個個體的獨特價值，因此更偏好自動駕駛汽車保護更多的人；而來自集體文化的個體，強調對年長者的尊重，因此對保護年輕人的偏好相對較弱。來自較貧窮和規則不完善國家和地區的個體對非法過馬路的行人更寬容，這可能與他們遵守規則程度較低，違規懲罰較輕有關。此外，貧富差距也影響人們的判斷。貧富差距大的國家和地區的個體對待富人和窮人也更不平等，更可能希望自動駕駛汽車犧牲窮人。對女性越尊重的國家和地區(更好的女性健康水平和更平等的男女地位)，也越偏向於挽救女性(相比於挽救男性)。
3.2.4 智能機器行為道德責任承擔
智能機器行為的道德評價，還涉及智能機器的責任主體問題(誰應該為智能機器的行為選擇負責)。大部分研究者將智能機器的責任主體分為三大類：製造商或政府、智能機器的擁有者或使用者、智能機器本身(Hevelke & Nida-Rümelin，2015；Li，Zhao，Cho，Ju，& Malle，2016)。智能機器已經被人們看成是一個道德主體，但人們對其承擔責任的要求受到其能力、外形、與人交互方式等的影響(Hevelke & Nida Rümelin，2015；Woerdt & Haselager，2016；Li et al.，2016)。Li et al.(2016)的研究發現，當自動駕駛汽車遭遇無法避免的事故時，人類會更多地將責任歸因於自動駕駛汽車的製造商以及政府，而對自動駕駛汽車的責備最少。Komatsu(2017)同樣利用道德困境研究範式來探究人類對人工智慧系統設計者和使用者的責備度，其結果亦發現，不管人工智慧系統做出哪種選擇，人們對設計者的責備都要顯著高於使用者。這些結果表明，人們更可能將這種道德責任歸咎到人類(個體或政府)，而並非智能機器上，並未將智能機器看成是一個完整的道德承擔者。而且，無論如何完善(具有完全的人類能力和外形)，智能機器似乎始終無法達到與人類個體相當道德體的程度(Hristova & Grinlerg，2016)。
4 總結
本文聚焦於人工智慧領域，詳細論述了智能機器的道德構建及人對智能機器行為的道德判斷研究，並著重於後者，重點聚焦公眾對智能機器在社會道德情境中的期望道德行為規範及對其行為的道德判斷。眾多研究表明，公眾在對待智能機器時，很可能採用與對人類不同的道德準則，對其行為的道德評價機制也很可能與對人類評價存在一定的差異。但是，目前現有的文獻研究尚不能很好地解釋這種差異背後的機制。總之，有關智能機器行為道德判斷的研究仍在初步發展當中，實際應用與現有理論間還存在著巨大的差異。在世界範圍內推出智能機器之前，人們還需要從各個方面考慮社會的接受度，並且要儘可能找到所有預期道德風險發生的解決辦法。建立人工智慧的道德規範體系將要遠比人們想像中的困難得多，需要前期大量的相關研究來支撐。
5 研究展望
從整合現有的研究結果大致可以發現，公眾更希望智能機器在面對道德兩難困境時做出功利性行為。但是，導致這一差異背後的機制目前並不明確，缺乏足夠的研究來驗證。一種可能的解釋是人們很容易採用他人的視角思考(代入感更強)，天然地拒絕殺害他人的行為，因此對人類採取更加嚴苛的道德標準；相反，人們很難將自己放到智能機器的位置上，因此也不具有這種天然的反應，所以對其採用寬容得多的道德標準。另一種可能的解釋與人們維護自己的聲望有關。一個願意犧牲他人性命的人往往被看成是一個不可信的社會夥伴，人們更願意和採取道義論取向的個體合作(Everett，Pizarro，& Crockett，2016)。因此，在道德兩難困境中，人們更可能做出道義論行為；相反，人們可能並不認為智能機器是社會共同體的一部分，因此僅根據行為本身判斷，做出更加功利性的取向。此外，公眾對智能機器的道德評價還受到文化背景、經濟因素、制度等因素的影響：東西方文化差異、集體與個體文化差異、宗教思想、經濟發展水平差異等，均會影響到其社會民眾對於智能機器在道德情境下的行為預期和道德判斷。因此，對智能機器的道德判斷還需要在具體的社會情境下深入探討。
總而言之，智能機器的道德判斷研究目前尚處在起步階段，通過對現有研究和發展趨勢的梳理，本文提出了以下幾點研究展望：
首先，以往研究中絕大部分都採用情境問卷，但已有研究表明人們在道德兩難困境中的實際行為選擇和問卷情境下的選擇並不相同(Feldman Hall et al.，2012)。因此，這些研究獲得的結論並不總是能夠真實反映出當智能機器真正在人類社會中交互，做出道德行為時人們的評價。隨著技術的進步，少數研究者已經通過採用VR技術等來模擬虛擬實境場景下智能機器的道德行為，從而進行研究。後續研究應更加注重完善實驗範式，融入更多的研究手段，儘可能在接近真實的情境下獲得更多公眾對於智能機器行為道德判斷的規律。
其次，當前的所有研究幾乎都借鑑了電車困境，採用在要麼犧牲少數人挽救多數人，要麼不做這樣犧牲放任多人死亡的兩難困境中做出選擇的研究範式。然而，智能機器在未來人類社會的交互中，涉及的道德情境將十分複雜，遠遠超出類似電車困境的範疇。比如，自動駕駛汽車是否應該為了某些乘客或公眾的某些利益而違背交通規則(闖紅燈、超速)？智慧機器人是否可以做出「善意的謊言」的行為？因此，後續研究需要關注在各種道德場景下公眾期望智能機器的道德準則、對其行為的道德評價。
再次，目前絕大部分的研究來自於西方國家，而道德倫理顯然是與文化背景、社會形態等密切相關。比如，相比於西方人，中國人更少在道德兩難困境中做出功利論行為，這可能與中國人相信宿命論有關。因此，不同社會對於什麼是符合倫理規則的智能機器行為顯然有不同的評價標準。Awad et al.(2018)的研究初步檢驗了不同國家和地區的人們對於自動駕駛汽車在道德兩難困境中的選擇偏好，證明了這種文化背景、社會形態差異。因此，後續研究也應當更加深入到這一方面，考慮不同文化背景、不同道德倫理規範群體對智能機器的道德判斷問題。
最後，目前絕大部分的研究還在描述公眾對智能機器在道德情境下的行為預期和道德評價的基本模式上，對於人們為何對智能機器採取這樣的道德判斷模式的背後機制還知之甚少。比如，智能機器與人本身的心理距離是否是影響對其道德判斷的一個關鍵因素？人們對於智能機器在道德困境中做出的選擇是否激起與人類選擇不同的情緒反應，從而導致了不同的道德評價？對於這些問題的深入探討，有助於我們進一步加強對人類如何對智能機器行為進行道德判斷的認識，為設計出符合人類社會規範的智能道德機器提供理論指導。
原文參考文獻：
[1]褚華東，李園園，葉君惠，胡鳳培，何銓，趙雷.(2019).個人-非個人道德困境下人對智能機器道德判斷研究.應用心理學，(in press).
[2]邱俊傑，張鋒.(2015).道德困境中行為判斷的認知與情緒問題：從道德雙加工模型到建構水平理論.應用心理學，21(3)，271-280.
[3]唐寧，安瑋，徐昊騤，周吉帆，高濤，沈模衛.(2018).從數據到表徵：人類認知對人工智慧的啟發.應用心理學，24(1)，3-14.
[4]尹軍，關旭，花蕊，張鋒.(2018).審慎加工對形成道德判斷外語效應的作用.應用心理學，24(04)，37-47.
[5]周吉帆，徐昊騤，唐寧，史博皓，趙陽，高濤，沈模衛.(2016).「強認知」的心理學研究：來自AlphaGo的啟示.應用心理學，22(1)，3-11.
[6]Albus,J.S.(1991).Outline for a theory of intelligence.IEEE Transactions on Systems,Man,and Cybernetics,21(3),473-509.
[7]Allen,C.,Smit,I.,& Wallach,W.(2005).Artificial morality:Top-down,bottom-up,and hybrid approaches.Ethics and Information Technology,7(3),149-155.
[8]Allen,C.,Varner,G.,& Zinser,J.(2000).Prolegomena to any future artificial moral agent.Journal of Experimental & Theoretical Artificial Intelligence,12,251-261.doi:10.1080/09528130050111428.
[9]Anderson,M.,& Anderson,S.L.(2011).Machine ethics.New York,USA:Cambridge University Press.
[10]Arkin,R.(2009).Governing lethal behavior in autonomous robots.New York,USA:Chapman and Hall/CRC.doi:10.1108/ir.2010.04937bae.001.
[11]Arnold,T.,& Scheutz,M.(2016).Against the moral turing test:Accountable design and the moral reasoning of autonomous systems.Ethics and Information Technology,18,103-115.doi:10.1007/s10676-016-9389-x.
[12]Awad,E.,Dsouza,S.,Kim,R.,Schulz,J.,Henrich,J.,Shariff,A.,Bonnefon,J.F.,& Rahwan,I.(2018).The moral machine experiment.Nature,563,59-64.doi:10.1038/s41586-018-0637-6.
[13]Bartels,D.M.(2008).Principled moral sentiment and the flexibility of moral judgment and decision making.Cognition,108,381-417.doi:10.1016/j.cognition.2008.03.001.
[14]Bergmann,L.T.,Schlicht,L.,Meixner,C.,König,P.,Pipa,G.,Boshammer,S.,& Stephan,A.(2018).Autonomous vehicles require socio-political acceptance:An empirical and philosophical perspective on the problem of moral decision making.Front Bchav Neurosci,12,31.doi:10.3389/fnbeh.2018.00031.
[15]Bigman,Y.E.,& Cray,K.(2018).People are averse to machines making moral decisions.Cognition,181,21-34.
[16]Bonnefon,J.-F.,Shariff,A.,& Rahwan,I.(2016).The social dilemma of autonomous vehicles.Science,352,1573-1576.doi:10.1126/science.aat2654.
[17]Bringsjord,S.,& Taylor,J.(2012).The divine command approach to robot ethics.Robot ethics:The ethical and social implications of robotics,85-108.
[18]Carney,D.R.,& Mason,M.F.(2010).Decision making and testosterone:When the ends justify the means.Journal of Experimental Social Psychology,46,668-671.doi:10.1016/j.jesp.2010.02.003.
[19]Conway,P.,& Gawronski,B.(2013).Deontological and utilitarian inclinations in moral decision making:A process dissociation approach.Journal of personality and social psychology,104,216-235.doi:10.1037/a0031021.
[20]Everett,J.A.,Pizarro,D.A.,& Crockett,M.J.(2016).Inference of trustworthiness from intuitive moral judgments.Journal of Experimental Psychology General,145(6),772.
[21]Faulhaber,A.K.,Dittmer,A.,Blind,F.,Wachter,M.A.,Timm,S.,Sutfeld,L.R.,...Konig,P.(2018).Human decisions in moral dilemmas are largely described by utilitarianism:Virtual car driving study provides guidelines for autonomous driving vehicles.Sci Eng Ethics.doi:10.1007/s11948-018-0020-x.
[22]FeldmanHall,O.,Mobbs,D.,Evans,D.,Hiscox,L.,Navrady,L.,& Dalgleish,T.(2012).What we say and what we do:The relationship between real and hypothetical moral choices.Cognition,123(3),434-441.
[23]Foot,P.(1967).The problerm of abortion and the doctrine of double effect.Oxford Review,5,5-15.
[24]Gerdes,A.,& hrstrm,P.(2015).Issues in robot ethics seen through the lens of a moral Turing test.Journal of Information,Communication and Ethics in Society,13,98-109.doi:10.1108/JICES-09-2014-0038.
[25]Goodall,J.N.,(2014).Machine ethics and automated vehicles.Road Vehicle Aulomation,Springer,93-102.doi:10.1007/978-3-319-05990-79.
[26]Goodall,J.N.,(2016).Can you program ethics into a self-driving car? IEEE Spectrum,53,28-58.doi:10.1109/mspec.2016.7473149.
[27]Greene,J.(2003).From neural 'is' to moral 'ought':What are the moral implications of neuroscientific moral psychology? Nature Reviews Neuroscience,4,846-850.doi:10.1038/nrn1224.
[28]Haidt,J.(2001).The emotional dog and its rational tail:A social intuitionist approach to moral judgment.Psychological Review,108,814.doi:10.1037/0033-295x.I08.4.814.
[29]Haidt,J.,& Bjorklund,F.(2008).Social intuitionists answer six questions about morality.Social Science Electronic Publishing.
[30]Haidt,J.,& Joseph,C.(2004).Intuitive ethics:How innately prepared intuitions generate culturally variable virtues.Daedalus,133,55-66.doi:10.1162/0011526042365555.
[31]Hevelke,A.,& Nida-Rümelin,J.(2015).Responsibility for crashes of autonomous vehicles:An ethical analysis.Science and Engineering Ethics,21,619-630.doi:10.1007/s11948-014-9565-5.
[32]Hristova,E.,& Grinberg,M.(2016).Should moral decisions be different for human and artificial cognitive agents.Paper Presented at the 38th Conf.of the Cognitive Science society.
[33]Kahn Jr,P.H.,Kanda,T.,Ishiguro,H.,Gill,B.T.,Ruckert,J.H.,Shen,S.,...Severson,R.L.(2012).Do people hold a humanoid robot morally accountable for the harm it causes? Paper presented at the Proceedings of the seventh annual ACM/IEEE international conference on Human-Robot Interaction.doi:10.1145/2157689.2157696.
[34]Kohlberg,L.,& Krämer,R.(1969).Continuities and discontinuities in childhood and adult moral development.Human Development,12,93-120.doi:10.1159/000270857.
[35]Komatsu,T.(2016).Japanese students apply same moral norms to humans and robot agents:Considering a moral HRI in terms of different cultural and academic backgrounds.Paper presented at the Human-Robot Interaction(HRI),2016 11th ACM/IEEE International Conference on.doi:10.1109/hri.2016.7451804.
[36]Komatsu,T.(2017).Owners of Artificial intelligence systems are more easily blamed compared with system designers in moral dilemma tasks.Paper presented at the Proceedings of the Companion of the 2017 ACM/IEEE International Conference on Human-Robot Interaction.doi:10.1145/3029798.3038416.
[37]Li,J.,Zhao,X.,Cho,M.-J.,Ju,W.,& Malle,B.F.(2016).From trolley to autonomous vehicle:Perceptions of responsibility and moral norms in traffic accidents with self-driving cars.SAE Technical Paper,I,1-8.doi:10.4271/2016-01-0164.
[38]Malle,B.F.,& Scheutz,M.(2014).Moral competence in social robots.Paper presented at the Proceedings of the IEEE 2014 International Symposium on Ethics in Engineering,Science,and Technology.doi:10.1109/ethics.2014.6893446.
[39]Malle,B.F.,& Scheutz,M.(2015).When will people regard robots as morally competent social partners? Paper presented at the RO-MAN.doi:10.1109/roman.2015.7333667
[40]Malle,B.F.,Scheutz,M.,Arnold,T.,Voiklis,J.,& Cusimano,C.(2015).Sacrifice one for the good of many?:People apply different moral norms to human and robot agents.Paper presented at the Tenth ACM/IEEE International Conference on Human-Robot Interaction.doi:10.1145/2696454.2696458.
[41]Malle,B.F.,Scheutz,M.,Forlizzi,J.,& Voiklis,J.(2016).Which robot am I thinking about?:The impact of action and appearance on people's evaluations of a moral robot.Paper presented at the The Eleventh ACM/IEEE International Conference on Hunan Robot Interaction.doi:10.1109/hri.2016.7451743.
[42]Meder,B.,Fleischhut,N.,Krumnau,N.C.,& Waldmann,M.R.(2019).How should autonomous cars drive?:A preference for defaults in moral judgments under risk and uncertainty.Risk Analysis,39(2),295-314.
[43]Monroe,A.E.,Dillon,K.D.,& Malle,B.F.(2014).Bringing free will down to earth:People's psychological concept of free will and its role in moral judgment.Consciousness and Cognition,27,100-108.doi:10.1016/j.concog.2014.04.011.
[44]Payr,S.,Werner,F.,& Werner,K.(2015).Potential of robotics for ambient assisted living.Vienna:FFG Benefit.
[45]Piaget,J.(1965).The stages of the intellectual development of the child.Educational Psychology in Context:Readings for Future Teachers,98-106.
[46]Purves,D.,Jenkins,R.& Strawser,B.J.(2015).Autonomous machines,moral judgment,and acting for the right reasons.Ethical Theory and Moral Practice,18,851-872.doi:10.1007/s10677-015-9563-y.
[47]Scheutz,M.,& Malle,B.F.(2014).Think and do the right thing:A plea for morally competent autonomous robots.Paper presented at the Proceedings of the IEEE 2014 International Symposium on Ethics in Engineering,Science,and Technology.doi:10.1109/ethics.2014.6893457.
[48]Turing,A.(1950).Computing Machinery and Intelligence.Mind,59:433-460.
[49]Voiklis,J.,Kim,B.,Cusimano,C.,& Malle,B.F..(2016).Moral judgments of human vs.robot agents.IEEE International Symposium on Robot & Human Interactive Communication.IEEE.
[50]Wallach,W.,& Allen,C.(2008).Moral machines:Teaching robots right from wrong.Oxford University Press.
[51]Wallach,W.,& Allen,C.(2012).Hard problems:Framing the Chinese room in which a robot takes a moral turing test.
[52]Wintersberger,P.,Prison,A.K.,Riener,A.,& Hasirlioglu,S.(2017,June).The experience of ethics:Evaluation of self harm risks in automated vehicles.In:2017 IEEE Intelligent Vehicles Symposium(Ⅳ)(pp.385-391).IEEE.