大數據文摘作品
編譯：Happen、Chloe、田奧、糖竹子、及子龍、林海、Aileen
最近兩年，雖然AI這個詞語充斥在人類的媒體和生活中，但實際上AI技術的發展才剛剛起步，目前AI能做的事情還非常初級。黑暗森林法則裡的「技術大爆炸」不知道何時會突然到來，各種法律、倫理和人性都會受到前所未有的挑戰。本文的團隊認為未雨綢繆，在那個時代到來之前做好準備，現在開始制定最完善＂AI政策 」 也許是對世界最有貢獻的事情之一。
這是一篇來自牛津大學人類未來研究所的萬字長文，由專注於研究AI政策的 Miles Brundage撰寫，並獲得八萬小時（80,000 Hours，大學研究機構）團隊和其他人員的幫助，希望給願意從事"AI政策"行業的人們一些指導和方向。
為什麼要寫這些？
現在能夠改善世界的最具影響力事情，可能就是積極推動人工智慧的發展了。在過去短短幾年中，從事AI技術研究的人數急劇增長，他們致力於解決如何安全地規劃人工智慧，因此我們為正考慮從事這項工作的人提供這本指南。
還有一個很重要卻很有可能被忽視的話題：AI政策和戰略的改進。這包括了許多問題，比如：
我們怎樣才能避免為了發展強大的AI系統而開展危險的軍備競賽？
先進的AI系統帶來的好處如何才能廣泛分配？
AI研究開放程度可以多大？
我們估計，目前從事AI行業的人中，僅有不到10%特別關注未來開發出的高性能AI系統所產生的種種問題。越來越多的工作集中在更短期的問題上，如無人駕駛汽車政策和無人駕駛飛機政策。
我們迫切需要解決AI政策與戰略相關問題，這是因為：
1.實施解決方案耗時長；
2.在AI還不夠先進且這個話題涉及到較少的意見、利益的當下，有些問題會得到更好地解決；
3.我們不知道何時能開發出AI一些特定技能，無法排除突然技術大爆炸的可能性。
因此，對於合適的人來說，努力去解決這些問題，是為當今世界作出貢獻的並且最有前途的職業之一。
「AI政策」職業是什麼？
「AI政策」是關於AI的社會決策制定的分析和實踐（注意，廣義上，我們說「社會」而不是政府，因為許多決策制定者都參與制定「政策」）。「AI策略」這個術語有時指的是研究「AI政策」的大局問題，例如：我們希望AI技術應該小範圍傳播還是廣泛傳播、那些研究問題應該優先考慮。接下來，我們將介紹「長期AI政策」底下的幾個戰略問題。文章結尾處的參考文獻很好地介紹了AI政策及AI戰略協議下的一些問題。
短期與長期問題
AI政策分為短期政策和長期政策。
短期AI政策側重於當前社會需要解決的問題。這些問題包括無人駕駛汽車的責任問題、相對小規模的工人下崗問題、算法偏差以及越來越多的自動監控。
長期AI政策側重於在未來的AI比今天更為先進的情況下，出現影響整體甚至更大程度的問題，尤其當AI快速發展的時候。這將產生非常持久的後果，例如與人類智力相當或超智能AI帶來的AI安全風險或與不穩定性。
短期和長期政策之間的這種區別並不是一成不變的：比如，如果我們把高級AI出現的時間估計得過長，那麼，最終本文提及的長期問題，就很有可能出現得比許多人的預期要早。事實上，AI專家們對高級AI出現時間的估計確實存在著較大的差異。也許，與安全問題相比，AI中最嚴重的經濟問題可能需要更長的時間才能出現。
但是，短期或長期問題的劃分是很有用的粗淺分類，它反映了普遍存在的觀點，即認為與人力智力相當或者超智能AI不可能在短期內出現，然而，一旦它出現了，它將產生變革性、持久的社會影響。
大多數與短期「狹義AI」系統有關的政策，都不大可能對它們本身產生極其持久的影響，但是研究這些問題可能有助於獲得經驗，以便在長期的更強大AI系統的政策問題上開展工作，一些相同的政策框架和工具也適用於兩者。另一方面，從長遠來看，上文所提到的長期政策與戰略比起短息的策略更加重要得多，尤其是當AI系統開發進展迅速時，就更可能如此。
AI政策中需要回答的具體問題
在研究AI政策時，為了讓你對於各種問題有所了解，請考慮以下問題。
AI系統可能發展出什麼能力？
如果未來的AI系統將擁有哪些能力，會造成哪些社會後果？例如，如果AI系統能夠…將發生什麼？比如：
分析物理論文並提出新的實驗？
在其他領域做同樣的事情，包括AI開發？
分析社會科學論文、網際網路內容和/或監測數據，對於不同情況下的人類行為作出預測？
為了說服特定人群相信某些特定觀點而生成語言及圖片？
分析各種領域和來源的文獻，以生成新材料、技術或軟體？
有計劃劃的進行以上這些事情？
計算機安全意味著什麼？
擁有比人類更多的技能，能夠低成本、高效並可靠地找到電腦系統的漏洞，這種AI系統可能性有多大？哪種指標能夠在這方面提供最新消息？
國家或非國家行動者應採取哪些措施來防止這種情況發生，並/或減輕潛在的負面影響？
AI系統是否能夠在提高抵禦黑客攻擊能力方面提供幫助？與此同時，AI能否協助開展黑客攻擊？在某種程度上，黑客與擁有敏感數據的機構之間存在「計算軍備競賽」，是否應該給後者提供補貼或監管，以增加他們現有的計算資源？
自動武器會帶來什麼影響？
在近期、中期以及長期中應該發展哪種自動武器？哪種指標能夠在這方面提供最新消息？
不同種類的自動武器可以有哪些應用？例如，哪種自動武器可能應用到空中支援、巷戰、偵察、監視被佔領土、暗殺或其他秘密行動上？
考慮到自動武器的種類和應用，它對世界和平與安全有哪些影響？
擁有能力更強的自動武器將有哪些潛在優勢（更高的精確度、更少的人員死亡、減少對人類士兵的需求）與潛在劣勢（更容易發生戰爭、潛在的地緣不穩定性，例如軍備競爭、意外風險、濫用）？
相對廉價的自動武器開發，是否有可能導致私人更容易獲得武器，並更具有破壞性？為了防止這種可能性，應該採取哪些監管措施，何時實施比較合適？AI發展的哪些指標表明了這種行動的正當性？
從其他新武器技術（例如核武器、化學武器、地雷）的發展以及國際監管的回應中，我們能夠吸取哪些相關經驗教訓？
在限制或停止自動武器的開發與部署方面，存在哪些可行的途徑？限制開發的做法是否一直可取？推動其地下開發或者轉移給不那麼負社會責任的政黨，是否風險太大？
如何確保廣義AI系統的安全部署？
一個在廣泛領域中具有創造性的長期推理能力的AI系統的行為是很難被預測的。一旦這種強大的AI在行動時有目標偏差，結果可能將會造成全球災難性風險。
即使AI系統與用戶追求一致，運行一個有明確目標的AI系統仍舊可能導致非法行為，這對於沒有仔細檢查系統的人來說是難以預料的——甚至那些做過檢查了的人。例如，一個目標為「賺錢」的AI系統可能會為了這個目標而觸犯法律，儘管在系統開發與測試階段，發生這種情況的跡象可能不明顯。
介於上述考慮，開發和部署這種具有潛在危險性的系統，就合作和衝突產生了一些重要的問題，例如：
在開發和部署安全AI時，如何激發相關角色之間的合作精神？
基於博弈論的國際競爭與合作如何形成與分析？
相關的多方機構之間就構成部署AI系統潛在風險的因素達成預先協議是否有幫助，在哪種條件下這種部署是合法的？
多方機構之間的哪種協議具有強制性？
你立志成為什麼角色？
問自己一個關鍵問題：你認為在哪裡你對那些最重要的AI政策問題擁有最大的影響力。粗略概括為四種主要角色：直接研究、在政府和企業內工作、宣傳及協助招聘。
你可能對研究AI政策有興趣：分析AI短期和長期的戰略考慮，評估提出的解決方案，並給出新的方案建議。或者你有興趣在政府工作——從各個利益相關方收集信息，與政府其他部門同事商議哪些方案可行，再直接實行方案。你可能想在企業做這些事情，而不在政府。再或者，你想做政策宣傳——擴大宣傳好方案的聲音，提高公眾對特定問題重要性的認識。或者你想做招聘——幫助人們做這些選擇，為求職者和僱主牽線搭橋，使人們確信AI政策以及其中的某些問題非常重要。
由於目前值得倡導的提案非常有限，與宣傳相比，戰略分析、制定並實施可行方案在當下可能有更多的長期價值。然而假以時日，宣傳最終會很重要，多個利益相關方都要參與確立首選方案。不同技能適用於這些不同的解決方法，而有些是通用技能，如AI知識、寫作能力、網際網路熟練度。現階段，強烈建議有研究經驗的人考慮上述各種研究問題，有其他技能的人也可以在許多潛在領域有所作為。
下文舉例說明在AI政策領域可以做些什麼，並特別關注研究和實踐兩大方面。
AI政策研究員
籠統地說，這一職業發展道路包括成為專家、並推動AI政策思考及幹預過程不斷向前發展。在舉例列出具體研究領域和可能感興趣的僱主之前，先說明你可以在政府、企業、學術界或是非盈利組織做這一工作。通常，政府不在新的政策思路發展的前沿，至少對長期AI政策而言是這樣，但隨著AI安全性和經濟相關性日益受重視，這點可能會改變。注意你可以跨過研究和實踐的界限——貢獻構思的同時也實施解決方案。
短期政策研究選擇
如果你有興趣做短期政策研究，比如在這一領域建立直接影響力或專業可信的形象，你可以在各種機構工作。我們認為著重於短期的工作不太可能有很大影響力，因為到現在已經受到足夠多的關注，但對很多人來說，為獲得技能和信譽從而能研究更緊迫的問題，這是必要而有用的一步。
至於哪個機構或部門能使你取得最大的影響力，沒有一個清晰明確的第一名，比如你的興趣、你知識儲備的領域、職位細節、你的國籍（如果想在政府工作）及其他因素也起作用。因此，致力在AI政策領域工作的人應該適應AI領域的變化。對此，我們提出了一些建議。例如，兩年前OpenAI還沒產生但現在已經是AI領域的重要角色，中國AI行業整體也在迅速發展。
正進行或即將進行這些研究的相關機構，以及有發展機會的地方，舉例如下：
牛津大學，正對未來的工作進行大量的分析；
各種智庫，比如布魯金斯學會、新美國安全中心、數據與社會、國際特赦組織和阿蘭圖靈學院；
諮詢公司，比如麥肯錫；
谷歌、DeepMind、微軟、OpenAI、百度、騰訊、亞馬遜等公司，以及非營利組織；
美國聯邦航空局，無人機方面；
AI合作組織（The Partnership on Artificial Intelligence to Benefit People and Society）
當然，在任何大學都能做學術研究，但是，在一個人才充足的相關問題研究團隊中工作能帶給你很多幫助。擁有這種研究團隊的大學包括牛津大學、劍橋大學、加州大學伯克利分校、麻省理工學院、華盛頓大學和史丹福大學。如你認為自己能得到一個以上這樣的工作，建議你找開放式工作，這樣你既能與技術專家保持密切聯繫以便調整自己的研究，同時能靈活決定自己的研究目標，影響相關組織的研究方向（而不是鑽進牛角尖）。
長期政策及戰略研究選擇
對於長期政策及戰略研究，並沒有多少嚴肅的研究工作正在進行，短期內也看不到會出現太多嚴肅研究的苗頭。以下名單幾乎囊括全部：
Superintelligence的作者Nick Bostrom教授創辦的牛津大學人類未來研究所（下文簡稱FHI）。 FHI /耶魯大學AI全球政治研究小組有意聘請研究員、研究助理和實習生，研究方向是AI戰略及政策，特別是長期戰略問題。查看現需職位並訂閱新職位開放通知。可隨時向FHIjobs@philosophy.ox.ac.uk發送簡歷和研究興趣簡述。
劍橋大學生存風險研究中心和位於劍橋大學的利弗休姆智能未來中心，研究有關AI安全性的技術和戰略問題。查看現需職位並訂閱新職位開放通知。
Alphabet旗下的DeepMind可能是規模最大、最先進的強機器智能研究團隊。團隊有一些專門研究安全和道德問題的工作人員。查看現需職位並訂閱新職位開放通知。Google Brain是Google的另一個深入學習研究項目。
OpenAI，2015年成立，旨在「建立安全的AGI（強人工智慧），確保AGI的利好被儘量廣泛均勻地分配」。OpenAI已從科技界獲得10億美元資金承諾。
全球災難性風險研究所（CGRI）是一個無黨派智庫，旨在降低大到嚴重危害甚至毀滅人類文明的事件發生的風險。
如在政府從事這項工作，無法指出哪裡最好，但可以是國防界和情報界（如美國情報高級研究計劃局、美國國防高級研究計劃局、美國國防部淨評估辦公室）和美國白宮科技政策辦公室（OSTP），後者發布了《時刻準備著：為了人工智慧的未來》報告。這三者在AI領域都有影響力，已經資助並開展相關研究。在美國國家科學基金會、美國國土安全高級研究計劃局、美國海軍研究局以及美國數字服務小組也對決定哪些研究項目撥款施加影響。
AI合作組織很可能在促進關於這些問題的討論和共識建立上起到一定作用。至於它會否進行大量內部研究，尚不清楚。
雖然通常在上述組織中，至少有一個會發布空缺職位，但你也應儘量廣撒網，了解哪些職位將會公布、哪些職位沒有大範圍公布。上述考慮同樣適用于衡量工作機會的優劣—— 例如，與技術專家的接觸程度，甚至對長期問題而言，與技術專家保持密切聯繫都非常重要，以確保你的工作符合合理的AI應用前景。然而，如前文所述，專家意見各不相同，所以你也應盡力觀察AI趨勢、獨立而批判性地思考，多去理解合理的AI應用場景的範圍，少作具體預測。
AI政策實施者
除了制定和評估政策外，還需要有人落實政策。
最終，你想得到可能的最有影響力且最相關的職位。在其它條件相同時，你在政府或主流AI公司的職位級別越高，AI成熟後你能決定政策的可能性就越大。
以下具體步驟以供考慮：
短期政策實踐選擇
參見上文討論的政府機構，比如無人機和自動武器系統政策落實到的機構。也應考慮地方和州政府，國際機構（比如聯合國裁軍研究所、聯合國裁軍審議委員會），非營利組織如阻止殺手機器人運動、勞工部、美國國內政策委員會（及其他地方的同等機構），以及主要國家的國家立法機構。
如果你的目標是發揮最大作用，那麼地方和州政府的工作、小企業的工作，只是獲取經驗的途徑，而非目的。也有特例，包括特別傑出的司法管轄區（如美國加利福尼亞州），它能給其他各州或聯邦政府提供示範，也包括發展前景特別好的初創公司。
此外，私企和非營利組織目前扮演重要角色，至少近期內很可能仍是AI行業發展的領跑者。因此如果你有興趣將政策落到實處，那麼應該首選Google、DeepMind、微軟、Facebook和OpenAI這一類作為理想工作處。
長期政策實踐選擇
如果你的目標是在將來實施人工智慧政策，那麼，現在還不好說在哪裡工作最好，因為這將取決於在這些年間制定和提出的各種政策。但是，傑出國家的立法和行政部門（例如內閣，美國國家安全委員會，科學技術政策局，美國國會），聯合國（目前正在成立一個犯罪和司法研究所下屬的AI中心）和歐洲委員會，以及一些關鍵性的企業應該被納入考慮範圍之中。
在申請或考慮接受工作時，請務必尋求有關行業和政策趨勢的意見，以確保進入比較貼近實用的組織機構工作。對於那些還沒能在長遠AI問題上獲得相關行業資質的人來說，在未來幾年內想辦法獲得知識和經驗是更有意義的事情，而不僅僅是為了儘快地到一個最有潛力的組織機構工作。要讓長期的AI政策實踐而不是政策研究變得尤為重要可能還要很長一段時間，而且將來有更多信息來讓你辨別哪些組織更接地氣。
為了進入角色，你是如何自我定位？
要了解哪些領域
AI政策不是一個非常成熟的領域，它涉及了許多其他學科。理想情況下，你會熟悉許多學科，並且至少在一個領域內具有深厚的專業知識。例如：
AI（人工智慧）
毫不奇怪的說，要做AI政策工作，最好要知道AI的科學技術概況。這將有助於你將炒作與實際情況分開，對其現狀形成良好感覺，並且可以更加明智地思考這個領域在將來會如何演變。
政治學與公共政策
這些學科可以幫助你了解不同機構在處理人工智慧方面問題的作用及其制約（例如國內政治學和比較政治學相關子學科）和國際問題/動態（國際關係是一個相關的子學科）。科學和技術政策的子領域與AI政策極其相關，並提供了大量可供學習的案例以及一些基礎性的概念框架。在諸如核武器競賽和國際網絡衝突等政治學領域，有許多類似的問題，這些問題與長期的AI政策相關，而且這兩門學科的本科/研究生課程都傾向於強調統計分析和博弈理論等工具，可能對AI做出政策分析有用。
法律
這是許多在AI政策上工作的人所具有的背景。例如，有一個我們機器人年會系列，主要由法律學者組織，研究AI（主要是短期的）法律/政策問題，如責任，問責制，軍事等問題。面對組織需要處理的AI相關細粒度問題，法律對於促進深入思考是有用的，而政治學和公共政策傾向於在更高的抽象層次上運作。理解法律還允許人們識別各種工具和槓桿來影響AI開發和部署。最後，國際法作為對國際關係的補充，提供了有關國際規範的一些有洞察力的觀點，這些準則可能會形成並約束任何大型政府的先進AI的決策程序。
經濟
當仔細思考工作的未來時，經濟學是至關重要的。但是，在廣泛的經濟學文獻中也有可能對其他AI政策問題有所了解，如工業組織和博弈理論。尤其是遊戲理論在具備了非常先進的人工智慧後可以用來映射思考一些關於協作的問題。
其他社會科學
以上只是相關學科的一些例子，但其他有關學科包括科學和技術研究，這是一個實證/概念領域，旨在促進對科學技術在社會中的作用的科學思考和科學家和工程師的決策過程；社會學和人類學，在考慮人工智慧的社會和經濟影響時尤為重要；心理學有助於研究小規模的人工智慧所產生的影響，並了解人類與AI和機器人的如何交互作用，從而反過來可能會形成適應的政策和這個主題框架；媒體和傳播學，與研究公眾對AI的態度有關，以及更強大的有說服力的AI系統的潛在影響。
哲學與倫理
哲學家有能力以嚴謹的方式構建人工智慧政策問題，倫理與分析何種未來更為美好直接相關。諸如尼克·博斯特羅姆和託比·奧德這樣的AI政策工作中的很多研究人員在其他領域都有哲學背景。
安全和情報研究/國家安全
現在以及將來的一個特別關鍵的研究領域涉及到人工智慧的安全隱患問題。未來AI可能會在這些領域更大程度上地使用，而且更為重視安全決策。目前，在AI政策領域，安全和情報研究專家和國家安全執法領域還沒有得到充分的重視。
如何從總體上建立你的職業資本
如果你不能直接進入頂級政策職位，以下是你可以在該領域建立職業資本的一般步驟。
我們對這一領域任何人士的主要建議都是深入淺出的：儘可能多地學習，與其他對AI政策感興趣的人進行交流，培養自己的技能、想法和相關工作經驗，並嘗試闡明和解決問題。
除此之外：
網絡
AI政策是新穎的和迅速變化的，如果你正在尋找這方面的工作，你應該能夠找到合適的人，以找到工作機會或被推薦。因此，如果經濟上允許的話，就去參加AI大會並參加有關政策性問題的會議；與AI研究人員交談；參加Facebook相關主題討論群組，如人工智慧安全；與圈內人員聯繫，談談你們的工作；即使沒有空餘的職位，如果你認為可以為將來增加價值，也可以表示出對工作的興趣。
與人事政策研究與實踐「前線」人員的交流是非常寶貴的，因為對這個話題的大部分分析還沒有公布，所以考慮去人類未來學院這樣的地方實習（或至少考慮註冊他們的空缺職位資訊，上面會列出他們組織和其他地方的工作機會，包括實習和志願者工作）。參加你的「本專業」學科或行業的會議和研討會，以找到對AI感興趣的其他人也是有價值的，幫助在其他領域工作的人員了解最新的發展情況，並找到可能的合作者。
跟蹤AI的發展
如前所述，你將需要在一定程度上集中精力，了解最先進的技術狀態，合理的趨勢判斷對於選擇關注正確的問題來說至關重要。跟隨AI發展的簡單做法是訂閱傑克·克拉克的Import AI資訊 （編者注，或者關注「大數據文摘」微信公眾號），並遵循一些引導，如果你還不知道什麼是「熱點」，還要查看arXiv Sanity Preserver，它會過濾最新的上傳到預列印的網站arXiv上的文章。
對於那些對術語背景知之甚少的人，參加Peter Norvig和Sebastian Thrun或Andrew Ng的在線課程可能是一個好主意。
一個粗略的經驗法則是每周閱讀三篇左右AI論文，以了解領域中發生的事情，人們使用的術語，以便能夠區分真實和虛假的AI新聞。關於AI術語，你的目標應該是至少達到可互動級別的專業 - 基本上是能夠在會議中進行非正式對話以通過AI研究員圖靈測試，即使你無法自己撰寫新奇的研究論文。
廣泛閱讀
請參閱下面的閱讀材料清單。不幸的是，沒有一本關於人工智慧政策的規範教科書，你可以閱讀以了解基礎知識，也許那些關鍵的觀點並沒有包含在上面提到的學科中。所以廣泛地閱讀你不熟悉的領域，同時也利用你現有的專業知識。如果你剛開始（例如本科生），你可以考慮在主修計算機科學專業同時輔修政治科學，公共政策或經濟學等專業，同時在這些領域之外廣泛閱讀。但是，要採取哪些課程以及主修哪些課程取決於你的特殊優勢和可選項（例如你所在學校的課程）。
獲得經驗
為了了解如何制定政策，除了在政府或公司任職別無他法。許多有關例如「拉動哪個槓桿」，哪個是關鍵人物，什麼問題在政治桌面上/下面的等等方面的知識，都不存在於書籍和文章，而是存在於處理這些問題的人身上的隱性知識。如果你可以在白宮，國會，聯邦機構，地方/州政府，與政府進行互動的宣傳團體，公司的政策/法律部門等地方實習，那麼請努力爭取。
在美國，AAAS科學和技術獎學金是博士們獲得政策相關經驗的一個成熟媒介。公共關係也是與政策密切相關的一個領域，在此領域中獲得經驗是很有價值的- 實際上，面向不同領域的團隊往往會在公司和政府中共同合作。
在英國，政黨政治（例如議會助理）和/或公務員制度（例如在商業，能源和工業戰略部工作）方面的經驗可能是有幫助的。 同樣，將利益相關者聚集在一起討論問題的經驗也是有價值的，這種經驗可以來自私營部門或智囊團。另一個經驗來源是開展政治活動，這可能是溝通，政策研究，言語寫作，聯盟建設，事件管理，團隊建設等方面所需技能的重要來源。
最後，在一家類似谷歌的主流技術公司擔任戰略職務，即使最初的工作並不與AI直接相關，也將對轉向AI政策行業提供很大幫助。你需要權衡取捨是將時間花在解決研究問題上還是在積攢相關經驗上，但如果對AI政策感興趣，有條件的人應該努力在實際政策問題上積攢一些工作經驗。
常見的職業轉換
這一部分總的來說將介紹兩種典型的進入AI政策領域工作的方法——從一名AI研究員轉變為一名AI政策研究員/從業者，或者從其他領域的政策研究員/從業者轉向關注AI政策問題。
從AI技術到政策
有AI技術背景的人在政策工作中是重要且稀缺資源。然而，這份工作需要一定的政策專業知識。一種方式是尋找有政策專業知識的同伴或組織，加入他們並從中學習。總體來說，建議對政治和政策都有所涉獵。先了解政策問題的整體形勢，再根據自己對不同領域的適應性和重要性判斷主攻哪個方向是非常有效的方法。文末推薦的閱讀資料對這種方法會有一定幫助。
我們認為這會是一個充滿激情的職業生涯，它為少數有強硬AI技術背景的人提供了在政策領域工作的機會和創造「元」價值的機會。相比研究一個個的技術項目，有些人通過幫助AI組織發展，倡導國家AI研究還有在國際層面溝通解決問題，能在AI領域能創造更大的影響力。
從其他政策領域轉向AI政策領域
對於擁有其他政策研究背景的人，想轉向AI政策研究應當迅速了解AI政策問題的大致輪廓（詳情可參考資料列表）並且找到自己想要深入研究的方向。AI是一個令人興奮的領域，它的政策環境也將隨著新的技術成就而迅速轉變。因此，打下堅實的技術基礎並且密切關注事態發展是非常有意義的。
除去上述建議，為了有政策研究背景的人能夠快速熟悉AI領域，還有一些非常有效的方法：學習AI在線課程，參加相關課程培訓（有些大學開設了相關課程，並且大型公司有時也會提供培訓機會）或者讀一個AI的碩士課程。另外，參加We Robot 和Governance of Emerging Technologies 這類會議對他們也十分有幫助，能讓他們對AI政策與原研究領域的相似和不同之處有更好的認識。
資料
以下資料列表可以根據個人背景情況和理解能力選擇閱讀。如果你致力於AI政策事業，我們選擇的這些行業內有代表意義的材料，應該會讓你感到有趣。如果你對這些內容感到無聊枯燥，那可能是一個糟糕的信號。另一方面，如果閱讀這些材料後你感到討論的內容十分重要，或者在這些文獻中發現能用自己的專業能力補充相關內容，將是很贊的開始。
一個需要注意的地方是列表中有些相當專業的內容與專業研究AI政策更加相關——例如，一些AI課程教材會比較難懂，而《為人工智慧的未來做好準備》這類報告對入門者來說更加容易理解。在以下各板塊中，我們大致對提供的材料按照初級到高級進行了排序。
我們的建議是先查看一些資料，找到自己的興趣點，再決定進入哪一領域並閱讀大量相關信息。
在介紹並列出相關課程、書籍和論文後，我們也給出了科技政策課程的教學大綱案例，這些大綱提供了更加廣泛的文獻指引。
視頻
Beneficial AI 2017會議視頻（多場演講）
https://futureoflife.org/bai-2017/
Nick Bostrom的《AI中的道德倫理》，紐約大學Virginia Dagnum, and Yann LeCun的公開討論會
https://www.youtube.com/watch?v=RXCqKwMHpb0
Miles Brundage《AI政策的遠期規劃》，多人演講
https://www.youtube.com/watch?v=RXCqKwMHpb0
書籍
Bostrom, N.《超智:規劃、危險與策略》（2014）
此為對長期AI政策有興趣的必讀書籍
Erik Brynjolfsson and Andrew Mcafee《第二次機器時代》（2014）
Lin, P., Abney, K., and Bekey, G. (eds).《機器人倫理：社會和政策對機器人學的影響》
(這是一篇很好的關於AI和機器人學的道德倫理與政策問題的介紹。包括對自動武器和社會服務型機器人的討論。
Russell, S. and Norvig, P. 《人工智慧入門》第三版（2010）；Goodfellow, I., Courville, A., and Bengio, Y.《深度學習》，（2016）
這兩本書是最好的了解人工智慧背後應用科技的書籍。Russell and Norvig’s的教材被各類AI課程採用而且介紹了許多重要概念和術語。然而它對深度學習少有介紹，因為編寫時期AI這一子領域還未像現在這樣熱門。Goodfellow et al的課本是關於深度學習最好的材料，網上也可找到免費資源。技術背景相對較弱的同學可以先觀看AI網絡視頻，例如Norvig and Thrun’s 網絡課程和Andrew Ng’s網絡課程。
Neal, H., Smith, T. and McCormick, J《除了衛星：二十一世紀美國科技政策》
Howlett, M. et al. 《公共政策研究：政策周期與政策子系統》第三版
第一本書概括性描述了美國科學政策的歷史、機構和相關問題。而第二本書介紹了更多公共政策原理，包含什麼是公共政策、怎樣實施公共政策以及政策是怎樣變化的。
文章和報告
2016年白宮發表《為人工智慧的未來做好準備》
這篇報導反映了全美四家研究會為白宮總結的當下頂尖的AI短期政策思路。英國和歐洲政府也有發表相關文件，但白宮的報告是公認最優秀的一篇。報告對一些值得認真評估的短期和長期政策關係發表了相關聲明（例如，我們應當不計時長的致力於同一件事）。
其他政策報告：
o 當代AI報告（2016）：近期人工智慧科技對社會和經濟造成的影響
o 英國下議院科學技術委員會2016年報告：機器人技術與人工智慧
o 經濟學人（2016）：人工智慧特別報告
Bostrom, N《AI發展開放的戰略意義》
儘管AI學者們在關於促進分布式控制、人工智慧帶來的福利和降低AI安全風險等不同目標上意見分歧，但開放是AI政策永恆的主要問題之一。這篇文章是相關戰略問題最好的入門讀物。
Bostrom, N., Dafoe, A., and Flynn, C.《發展超智機器的政策需求》
這篇文章對長期AI政策評估提供了總體框架，並且強調了在未來幾年會影響AI發展形態的幾項主要研究內容。
Brundage, M. and Bryson, J. 《人工智慧的智策》2016
這篇文章描述了當今美國短期「實際意義」的AI政策的概況（一些政策可能沒有以AI的名義出臺，但對其實際產生了影響）並就加強政府相關專業技能提供了一些建議。文章也提到了其他相關文章，例如無人駕駛汽車政策。
We Robot會議論文，主要討論了短期AI政策：
這裡是2016年會議內容和2017年會議內容。
大會是法學界關於人工智慧和機器人學舉辦的重要會議。2018屆會議將在斯坦福召開。
AI法律、政策和倫理
Burton, Emanuelle, Judy Goldsmith, Sven Koenig, Benjamin Kuipers, Nicholas Mattei, and Toby Walsh. 2017《人工智慧課程的道德思考》arXiv:1701.07769 [Cs].
納什維爾範得比特大學法學院法律與創新項目組教學資料與討論案例。
其他閱讀清單
全球AI政策參考書目
http://www.allandafoe.com/aireadings
80,000小時AI安全技術大綱
https://80000hours.org/ai-safety-syllabus/
匯總了大量關於AI政策和策略的工作
科學技術政策大綱
o Andrew Maynard的《高等科學技術政策 》
https://sfis.asu.edu/sites/default/files/hsd_502_s16.pdf
o David Hart的《科學、技術和公共政策》
https://schar.gmu.edu/sites/default/files/current-students/Courses/Spring_2017/PUBP/Hart-PUBP-710-002-Spring-2017.pdf
機器學習的公平性、責任心和透明性（FATML）-教學大綱和資料
o 哥倫比亞大學獎學金項目《關於機器學習的公平性、責任心和透明性》
http://www.fatml.org/resources.html
o FATML相關項目獎學金列表
http://www.fatml.org/resources/relevant-scholarship
其他問題
你認為一個聰明的人可以獨自推動這些議題還是不得不加入某個團隊？
我認為會是獨自推動的形式，因為這個領域還沒有得到充分發展。因而，相關議題的解決需要很強的自我導向。那些對這個問題很有興趣並且特別具有自我導向的聰明的人，我相信投入50-500個小時進來去測試一下取得進展的能力，是一個合理的行為。
什麼類型的獨立研究項目最讓你為看到人們在這些問題上努力而感到興奮？
有人寫關於以上話題的論文並且給這些問題一些有幫助的廣泛的概述（很好的解釋他們，全面的討論不同的方法，在一個高的水平上討論各方法的優缺點）或者攻克一小塊他們可以詳細解釋或者有獨到看法的內容。
在你看來，目前AI政策領域最大的突破是什麼？
我認為一系列具有交叉性的思考非常重要。我認為單個最重要的戰略思考是：快速的開始可能使某些人或者某些事獲得決定性戰略優勢（其中某些事可以是為了某個目標AI系統的最優化）。另一個也同樣是最重要的事是，存在一個排列的問題，這個很難，但是我們在實現超級智能系統之前我們需要解決它。
哪三個人選你認為最有潛力在AI政策方面可以做博士生導師？
我不認識很多能在這些領域帶學生的人，尤其是那些對於變革性AI感興趣的人。我猜Allan Dafoe可能是最好的人選。也可以考慮在劍橋大學獲取博士學位，即使沒有該領域背景的指導老師的情況，也可以同時尋求機會與FHI合作。
Helen Toner曾經提出的一些建議：
上面提到的UCLA的PULSE團體，斯坦福的CISAC，伯克利的長期網絡安全中心，賓夕法尼亞大學的Perry World House也是一定的自我導向研究能力，並令人信服（也許不是去讀博士，而是做博士後）。
對於正在開始AI政策職業的人，你有什麼大多數其他人不會給的建議？
試著獨立研究一個相關的問題幾個月。如果資金是一個瓶頸的話可以通過EA Grant申請資金或者試著為此籌集資金。
但是獨立工作不意味著拒絕尋求建議，最好去和儘量多的在這些問題上有深刻思考的人去交流。
如果你想從事AI政策工作，擅長政治有多重要？
對於所謂的從業者會相當重要，但是對於研究員重要度會小一些。
不同「開放」程度下，從事AI工作的相關組織成本和收益是什麼？
一個組織是不是應該發表論文，公布他的原始碼，和大學等其他組織合作，這些取決於它工作有多麼高級，多麼接近上面所說的AI的重要類型。
開放會推動科學快速發展（通過共享好的東西），減少威權主義和AI誘發的單極性風險。但是也會增加AI被惡意分子濫用和技術競賽的風險。
對於什麼樣的開放是受歡迎的擁有一個完善的原則，怎樣是令人滿意的，在什麼時候，什麼條件下開放，將能夠便利人們更容易踐行開放的受益形式，而不會產生未來開放形式的問題。我們有興趣分析一個組織開放的各種方法以及潛在的代價和益處。
其他的風險：
上面的部分指出了種種高級AI系統潛在的風險，下面我們列出了三個其他的廣泛的風險：
對於十分強大的AI系統失去控制：AI系統將在大範圍的環境下變得更加強大，可以使他們以創新的方式達到特定的目標。但是，設計出可以被人類有意識的控制的AI系統，並能夠可靠地避免負面影響，將會很有挑戰性，尤其是當AI系統的能力和可能影響的方面超越了人類的預見能力。設計魯莽的系統會將限制他們的人類設定為需要克服的阻礙，追求不合理目標的強大AI系統對於人類也將非常難以控制。相較於現在的電腦蠕蟲或者網絡犯罪，被用於錯誤目的的AI系統理應被認為會製造出困難（很有可能更大的困難）。如果被錯誤使用的AI系統變得足夠強大，他們對於目標的追求有可能嚴重的危害人類長久的未來。對於我們有可能會嚴重到人類的毀滅。
逐漸地丟失對於社會方向重要的把控：逐漸失去對社會方向的有意義的控制：隨著越來越多的控制逐漸被分解為複雜而難以理解的AI系統，這些系統追求的是實現我們的目標（比如利潤最大化），人類可能丟失對於我們社會發展方向做出有意義的集體決定的能力。最新出現的關於基於種族或者性別產生歧視的AI系統就是這個趨勢一個早期的例子。基於個人愛好口味預測進行特定消息推送過濾器事件也是一個例子。如果我們設計的系統忠實而透明地反映我們價值觀的技術能力遠遠落後於我們的決策自動化的能力，那麼這可能會給文明的軌跡帶來長期的問題。
AI系統的道德相關性：目前，關於什麼類型的非人類可以算作「道德相關「基本沒有達成一致（黑猩猩？豬？螞蟻？）。儘管對此沒有很好的定義，但是我們發現一些AI系統在某些方面變得具有道德相關性貌似是合理的。如果發生，對AI系統應該如何設計和使用將會產生重大的影響，對於特定的AI代理需要一些保護。例如，它可能廉價的複製AI 「工人」；如果這樣，他將降低這些「工人」可以從事的勞動的價值，潛在的創造一個情景，在其中AI 「工人」只能有維持生活的基本收入（比如，足夠支持硬體和電的成本）。這種情況值得避免的程度直接和AI系統值得被定以一定的」人權」的程度緊緊相連。
致謝
Miles Brundage是本篇指南的作者，感謝Jan Leike, Jelena Luketina, Jack Clark, Matthijs Maas, Ben Todd, Sebastian Farquhar, Nick Beckstead, Helen Toner, Richard Batty, David Krueger, Jonathan Yan, Brittany Smith, Robert Wiblin, Carrick Flynn, Allan Dafoe, Niel Bowerman, 還有Michael Page對本文早期版本提供的寶貴建議。他們對最終版本的內容仍保留各自的意見。
原文連結：
https://80000hours.org/articles/ai-policy-guide/