人類進入現代以來，從社會到生產各個環節都出現了所謂的控制的危機。這一危機是從熟人社會走向陌生人社會，從手工勞動到現代化工廠勞動的必然結果。為此，人們不得不引入基於信息通信技術的控制的革命來應對控制的危機。當代歷史學家和傳播社會學家貝尼格（James Beniger）將現代社會視為一種開放的信息處理與控制系統，在《控制革命：信息社會的技術與經濟起源》（1986）一書中用「控制的革命」闡發了信息革命、信息社會、技術化社會的動力機制。自19世紀到20世紀中葉，不論是電報、電話、無線電和計算機等信息通信技術，還是生產流水線和科學管理等生產管理技術，以及調查統計與戶籍檔案制度等社會管理技術，縱貫其中的就是控制的革命。20世紀中葉時，機械化、電氣化與計算機通信技術的結合呈現出用機器對社會實施總體控制的反烏託邦前景，這在阿西莫夫的機器人科幻、奧威爾的《1984》和赫胥黎的《美麗新世界》等小說中均有所體現。為抵抗這一總體控制圖景，20世紀60年代以降的反主流文化運動中形成了一種凸顯主體與技術結合的賽博文化，主張從人的能動性出發，探尋以分布式、交互性的信息系統取代基於巨型計算機的官僚控制體系的新進路。上世紀最後的20多年間，賽博文化通過個人電腦和網際網路得以落地開花，賽博空間一度被想像為可以與現實世界比肩而行的虛擬世界。
在人們歡呼比特取代原子和賽博空間獨立於現實世界之後的最近20年裡，新的控制的危機與控制的革命此消彼長，虛擬世界非但沒有完全獨立於現實世界，反而發展出個人數據被信息平臺所掌控、分析、解讀與引導的全景監控的態勢。一方面，對於社會管理者而言，網絡空間的虛擬性、交互性和匿名性無疑給現實世界帶來的新的控制的危機，網絡空間的治理成為一種辯證的必然。另一方面，隨著移動網際網路、雲計算、大數據和人工智慧的發展，人們在享受信息交互與數據共享的好處的同時，其網絡和社交媒體行為所產生的數據則成為對其身份、行為、情感、傾向等進行數據挖掘和數據畫像的資源。在智能化的商業、管理和治理中，數據智能的應用日漸廣泛。數據標註、算法設計以及對相關性等數據洞察的解讀並不都是絕對客觀的，而往往負載著各種價值，擁有數據並設定算法的智能化平臺具有很強的主導性，甚至形成了所謂讓數據說話的算法權力。
二、政治算術與世界的數據化在社會管理和治理層面，算法權力至少可以追溯至調查統計的社會應用及其背後的政治算術的觀念。古典經濟學家威廉· 配第提出了「政治算術」的思想，斷言大凡統治的事項、君主的榮耀、人民的幸福和社會的繁盛，都可以用算術的一般法則加以論證。馬爾薩斯的《人口論》的第一版並不暢銷，其核心論點就是「如果人口不加以控制，災亂就會來臨」。這一觀點與當時進步主義的濫觴不甚合拍，而該書並未採用數據，遂引發了激烈的辯論。這促使英國政府於1801年開展了首次人口普查，而因為有了數據的指出，《人口論》的第二版（1803）大獲成功，並於隨後的幾年裡四次再版。統計的出現使數據在應對控制的危機中大顯神威，數據不僅使馬爾薩斯從一個災難預言家轉變為所謂的自由主義者，還成為現代政治和治理的基礎。數據讓國王知道士兵在哪裡，有多少人可以去打仗。類似地，法國大革命一開始，革命者就急切地開展了人口普查，以了解他們所繼承的國家的數據。從理性主義的角度來看，讓數據說話相對於人憑感覺的判斷更加客觀和無偏見。而密爾和邊沁的功利主義或效益論主張的基礎，實際上就是人的幸福和快樂的數量化。
政治算術將對世界的掌控變成了基於數據的控制，這一需求使得世界在19世紀之後走上了管理與治理數據化的進程。隨著控制論、系統論、社會物理學、計算社會學研究與網際網路、社交媒體、物聯網、雲計算和大數據等技術的結合，一個基於世界的數據化的平行世界正在形成，並將整合為信息物理系統（CPS）。當然，能否或者說能在多大程度上構建起世界的數據鏡像並使之成為認識和控制世界的總體性工具尚待探討。但值得追問的是，數據分析作為認識和控制世界的新透鏡不應只是管理和治理的新工具，也應該擔當起個體行為智能化調適的「化妝鏡」和「後視鏡」，成為智能化時代的「自我技術」。
三、人工智慧體：從人類代理到人類監護者目前，人們對人工智慧的疑懼不僅限於對透明人和隱私裸奔的不安，而更在於對作為創造者的人是否會被作為其「終極創造物」的人工智慧取代、傷害或毀滅的深度擔憂。人工智慧的內在操作基礎是算法，人工智慧在與人的交互中則呈現出某種擬主體性，又可以視為某種具有一定主體能動性的人工智慧體或擬主體。在此，人們所關注的不再是組織和社會層面控制的危機與控制的革命，而是對人類而言人工智慧和智慧機器人是否會失控。
現在所謂的智能革命時代也可以說是算法決策時代與多智能體時代，從自動交易系統、自動駕駛到自動致命武器系統，從聊天機器人到陪伴機器人與伴侶機器人，一個人類主體與人工智慧體相交互和共同決策的泛主體或混合主體社會即將來臨。而其弔詭之處在於，人類似乎是在以一種飛蛾撲火的心態擁抱所謂的智能革命。一方面，人們抑制不住奔向智能時代的激情，希望用智能算法更好地去預見和控制，但同時又擔心反被其所控制。另一方面，人們本來是想用人工智慧體代替我們做一些事情，使之成為人類的代理，但卻很可能不得不面對它們發展為人類監護者的可能。值得思考的是，在自動駕駛等人工智慧場景中，在機器比人的判斷和決策能力更強的情況下，機器與人的關係會不會類似於直系親屬或法定監護人與喪失知情同意能力的重症患者的關係？如果可以這麼類推，作為強者的機器是否應該擔當作為弱者的人類的監護者？或者說，在一個決策場景中，機器與人必將構成混合主體關係，而兩者對於決策的後果應擔負多少責任，必須要有所權衡。
四、預見人工智慧未來的四種方法及其啟示首先是時間軸預見。例如，圖靈曾於1950年指出，人工智慧將於2000年通過圖靈測試。最近有人預言，十年內，人工智慧將取代科學家和其他智識性專業。這類預測是否準確比較容易檢驗。第二類是基於條件關係的未來情境分析，即如果滿足什麼條件就可能會出現什麼情形。例如：如果我們建造出的人類水平的人工智慧易於複製和低成本運行，將導致普通人的大規模失業。通過未來情境分析，可以探尋各種條件下可能出現的結果並加以權衡，從正面的可能性中尋找機遇，針對負面的情況提出預防措施。第三類是未來規劃。其基本思路是：如果決定執行某項特殊的研究計劃，將可能實現某一特定目標。中國的新一代人工智慧發展規劃所運用的，就是將這一預測用以引導行動的方法。從人工智慧的發展歷程來看，每一波人工智慧的熱潮都與軍方的支持相關，這同軍事目標往往指向明確和訴求強烈不無關係。最近美國對人工智慧的投入與其所謂的「第三次抵消戰略」密切相關，同樣地，中國對人工智慧的巨大投入也得益於反抵消戰略剛性需求。而無論是軍事還是產業上的規劃，都應防止盲目性、避免投資泡沫。第四，專家觀點與常人觀點調查，其思路是將不同專家和不同階層的公眾對人工智慧未來的觀點搜集起來，再加以比較分析後供決策者、產業界或公眾參考。歷史上，很多人工智慧專家做出了非常樂觀的預言，但往往並未得到驗證。常人的觀點則在很大程度上受到媒體或科幻作品的影響。
在所有關於人工智慧未來的預見中，讓人們最為興奮同時又非常不安的是一句話是「未來已來」——人不得不以其有限的生命追逐技術永無止境的演進。對此，德國當代哲學家京特·安德斯曾振聾發聵地指出，雖然人們一再強調「創造是人的天性」，但當人們面對其創造物時，卻越來越有一種自愧弗如的羞愧——「普羅米修斯的羞愧」——在機器面前，這種「創造與被創造關係的倒置」使人總覺得自己是過時的人！技術時代的經驗告訴我們，我們一生下來就是過時的，要一直學習，不學習就會落後於我們所創造的技術。
技術本來是我們創造出來的，但卻站在我們之上讓我們深感羞愧。是選擇繼續羞愧下去，還是應該尋找一種必要的節奏？面對所謂人工智慧達到或超越人類的「奇點」的來臨有兩種策略，一種是快轉換，另一種是慢轉換。快轉換就是有條件要上，沒有條件也要上。慢轉換就是要考量機器與其背後的人的關係，不單將人和機器放在對立的兩方面來看待，而深入到相關行動者網絡中，看到由人工智慧的應用所會聚的不同主體和擬主體的能動性，釐清其中的權利和責任，使其發展既體現出社會的公正性、包容性和對偏見的抑制，又能在整體上為人所控並符合公眾和人類的利益。這就要求我們構建一套預防機器失控的機制，通過精細的評估方法尋找控制的著力點。對此，人們提出了加強算法的透明性、可解釋性和可追責的研究以及強化人機協同等構想，旨在尋求對機器失控的反控制。但問題是，人工智慧的目標至少是使人工智慧體在某些方面超越人的智能，這又使得智能算法的不可理解性難以克服，保留算法黑盒子之類的設計也未必有效。總之，在沒有搞清楚人需要站在什麼樣的位置去控制智能機器的情況下，人工智慧的發展難免有其不確定性甚至是盲目性。所以，應該主張慢科學，也就是審慎的科學。
五、人工智慧的價值與倫理審度的基點人工智慧是一場開放性的人類科技—倫理試驗，其價值反省與倫理追問具有未完成性。為此，人工智慧的價值與倫理審度應把握以下反思與建構的基點。第一，人工智慧的發展將導致一種新的權力——算法權力或智能權力，它是由信息權力、數據權力發展而來的。算法權力或智能權力是一種新型的控制的權力，由於其對人的身份、認知、行為、傾向、情感乃至意志具有精準的認知與操控力，必須使其具有必要的透明性、可解釋性和可追責性。第二，數據框定實在，算法設定認知。數據即經驗事實在不同抽象水平上的表徵與呈現，鑑於數據框定實在，對數據的標註和處理背後的價值取向和利害關係應該得到必要的揭示與披露，以儘可能消除偏見與利益衝突的影響。同樣的，由於算法日益成為人們認知和行動的基本工具，必須對其技術上的不確定性加以管理，同時應校勘其價值取向、審度其倫理影響。第三，人的機器化和機器的人化。人機融合與人機共生不是簡單的有機體與無機體的合一，而是在主體與擬主體的交互中不斷演進的。其一，人的機器化。人是未完成的主體，人一直在機器的發明和技術的使用中重新定義自己。例如手機特別是智慧型手機重新定義了人的拇指。其二，機器的人化。人們會不自覺地把智能機器看成與人類似的實體，賦予智能機器某種擬主體性。聊天機器人、陪伴機器人、伴侶機器人、軍事機器人等人工智慧體或代理主體的應用日廣，把機器當作人而帶來的情感乃至沉溺與依賴等問題在所難免。
六、餘論：人工愚蠢與深度科技化時代的抉擇現在，普通人的認知大部分是靠計算機和各種電子終端設備，政府則日益依靠各種基於網際網路、雲計算、大數據和人工智慧的智能化社會治理系統。但是不要忘了，人們藉助智能機器而實現的認知延展實際上超越了人的判斷能力，超越了整個社會總體的理解和掌控能力。比信息爆炸更令人無所適從的是，面對智能機器的建議或決策，我們並不完全理解其內涵與後果，往往無法做出理性的判斷與選擇。耐人尋味的是，智能化時代人類最需要的可能不再是知識論而是無知學，即人們迫切需要了解的是怎樣在無知的情況下做出恰當的決策。應該令人們警覺的是，如果人工智慧在實現某些強大的功能的同時帶給我們越來越多的無知，是不是意味著人類對於知識和智能的尋求走到了它的反面，即建立在認知延展之上的人工智慧會不會一開始就在將人類引向人工愚蠢？而且這種人工愚蠢一旦發生就會引發很多問題，甚至會觸發巨大的風險與災難。實際上，不論是信息存儲和數據記憶，都不是人類自身的記憶，而所謂的腦機接口和記憶植入的未來解決方案無疑有其不確定性與風險性。
從人類演化的當代趨勢來看，人已經走上了以科技改變自身甚至超越自身的深度科技化之路，對人工智慧乃至超級人工智慧的追逐便是具體體現之一。當代科學哲學家和科學技術論學者史蒂夫·富勒指出，在面對未來的不確定性時，人們一般遵循兩種原則，一是風險厭惡性的預防性原則，二是風險偏好型的主動性原則。預防性原則強調在決策前要把所有的情況想到最壞，審慎地做出選擇。主動性原則主張充分地考慮最樂觀的情況，面對任何事情都以最樂觀的態度面對，認為一切都會朝著好的方向發展，為了抓住可能出現的機遇而甘冒風險。從人類的命運來說，甘冒風險和主動地尋求顛覆性的創新似乎是人性中固有的訴求，創新既充滿風險又似乎是無止境的。在波音公司製造出可以乘坐十人的飛機時，有人預言人類再也不會造出更大的飛機，而今天的波音787的承載量遠遠地打破了這一保守的預言。由此，人類2.0之類的前景還不能輕易否定。
如果說人類文明源於第一個敢於直立行走的猿人，那麼放在生命演進的宇宙時間裡看，主動性原則很可能更能體現人類的初心。展望人類深度科技化的未來情境，大致可以指出三點。其一，人類文明的未來是高度不確定的，如果可以用量子態來表徵的話，人類將處於飛升與幻滅的疊加態。其二，只要人類無法抑制其對不斷創新的好奇心，其未來情境必然是控制的危機與控制的革命永無止境的纏鬥。其三，如果前面兩點分別由人類的命運和人性的訴求所決定，那麼人類可以做的一個關鍵性選擇是確立創新的速度和限度，或者說如何在顛覆性的創造和顛覆性的毀滅之間找到一個人類文明可以承受的界限。更進一步而言，是否存在這個界限以及這個界限是什麼——無疑是宇宙與生命最為終極的問題，而奇點是否會降臨的謎底，大抵可在此問題的答案中得到線索。
（本文為段偉文在2017年8月28日由上海市社聯《探索與爭鳴》雜誌社和華東政法大學政治學研究院共同主辦的「人工智慧與未來社會：趨勢、風險與挑戰」學術研討會上的主題發言，經本人整理。首發微信公號：tansuoyuzhengming，澎湃新聞經授權刊發。）(本文來自澎湃新聞，更多原創資訊請下載「澎湃新聞」APP)