對話無政府主義者:諾姆·喬姆斯基談深度學習的未來

2021-01-20 網易

  

全文共3392字,預計學習時長9分鐘

  

  圖源:forbes

  在過去的幾周裡,筆者一直在和最喜歡的無政府主義辛迪加主義者諾姆·喬姆斯基進行電子郵件交流。最初聯繫是為了確認,人工神經網絡(ANNs)的最新發展是否促使喬姆斯基重新考慮他的著名語言學理論——普遍語法。

  談話觸及了深度學習可能存在的局限性,ANNs在多大程度上模擬了生物大腦,同時也涉及了更多的哲學領域。因為這是場非正式的討論,在這篇文章中不會直接引用喬姆斯基教授的話,筆者將嘗試總結其中的關鍵內容。

  

  諾姆·喬姆斯基是誰?

  筆者非常欣賞喬姆斯基的作品,尤其是他對美帝國主義、新自由主義和媒體的批判。我們的觀點有些微分歧的地方是關於他對大陸哲學家(特別是法國後結構主義者)的摒棄。

  也許因為筆者過多地從福柯、拉康和德希達的作品中汲取靈感而有些思想固化,但我總能發現喬姆斯基對哲學的分析方法在道德上很有吸引力,但它們有點太「乾淨」了,因而無法令人滿意地解釋我們的世界。

  儘管喬姆斯基對這些後結構主義傑出人物的不屑是顯而易見的,但他的哲學觀點實際比他的批評者所認為的更為微妙。

  

  圖源:Nathan Saad.

  

  普遍語法

  聲明在前,筆者並不是語言學家,但在這一節中,我將嘗試對普遍語法理論作一個概述。

  在喬姆斯基之前,語言學上的主流假設是,人類天生就像一張白紙,通過強化來習得語言。也就是說,孩子們聽到父母說話,他們模仿他們聽到的聲音,當他們正確地使用一個詞或結構一個句子時,他們會受到表揚。

  喬姆斯基的研究表明,強化只是故事的一部分,人類大腦中一定普遍存在著固有結構,有助於語言習得。他的主要論點是:

  · 兒童習得語言的速度太快,而輸入的數據太少,無法用強化學習來解釋(這也被稱為「刺激的貧乏」論點)。

  · 即使面對與人類相同的數據,動物也無法習得語言。20世紀60年代有一個著名的實驗,語言學家們試圖教一隻名叫「NimChimpsky」的猩猩學習手語。但10年後,他除了一些基本的交流技能外,仍然無法與人交流。

  · 所有人類語言之間都有共性。這表明,即使語言已經獨立發展,因為人類大腦結構相同,所以也存在著普遍的特徵。

  · 孩子們並不是天生就學習一種特定的語言。如果你在德國撫養一個出生在肯亞的孩子長大,他們會像德國孩子一樣容易地學會德語。

  這個關於基因編碼的語言能力的理論在科學界得到了廣泛的接受,但是接下來有一個不言而喻的問題,「這種普遍語法實際上看起來像什麼?」勇敢的研究人員很快開始發現所有人類語言的共同特性,但對於我們天生的語言能力是什麼形式,仍然沒有達成共識。

  可以有把握地假設,普遍語法不包括具體的語法規則,但更有可能是一種基本的認知功能。喬姆斯基假設,在人類歷史的某個時刻,人類發展出了執行一種簡單的遞歸過程的能力,稱為「合併」,這是我們在人類語言中看到的語法結構的屬性和約束的原因。

  它有點抽象,但本質上「合併」是指獲取兩個對象並將它們組合成一個新對象的過程。雖然這種能力看似平淡無奇,但在精神上結合概念,並遞歸地這樣做,卻是一種令人不解的強大能力,它允許我們構建「無數種層次結構的表達式」。

  這一微小但至關重要的基因飛躍不僅可以解釋我們的語言交流能力,而且可以得出結論,它至少部分地在更廣泛的範圍內對我們的數學天賦和人類創造力負有責任。這種「融合」突變發生在我們的一個祖先身上,大約10萬年前,它可能是區分人類和其他動物的關鍵因素之一。

  

  人工神經網絡

  

  圖源:unsplash

  聯繫喬姆斯基教授的主要原因是,筆者想聽聽他對人工神經網絡的看法。ANNs是機器學習模型的一個子集,它以人類大腦為模型,並以類似的方式學習(通過查看大量的例子)。這些模型只需要很少的硬編碼,並且可以用相對簡單的架構執行相當廣泛的複雜任務(例如圖像標記、語音識別、文本生成)。

  這種方法的一個有益例子是谷歌開發的AlphaGo Zero模型,它學會了圍棋,最終被人類世界冠軍擊敗。最令人印象深刻的是,它被訓練在沒有硬編碼或人工幹預的情況下完成所有這些,這就是「白板」(tabula rasa)。

  雖然ANNs肯定不是人類大腦的完美類比,但我問喬姆斯基教授,這些模型是否表明,我們實際上並不需要硬編碼的認知結構來從分散的數據中學習。

  喬姆斯基正確地指出,ANNs對於高度專業化的任務是有用的,但這些任務必須受到嚴格的限制(儘管考慮到現代計算機的內存和速度,它們的範圍可能看起來很大)。他把ANNs比作在高層建築上工作的巨型起重機。

  儘管令人印象深刻,但這兩種工具都存在於具有固定邊界的系統中。這一推理思路與我的觀察相符:我所目睹的所有深度學習突破都發生在非常特定的領域,我們似乎沒有接近人工普遍智能之類的東西。

  喬姆斯基還指出,越來越多的證據表明,人工神經網絡不能準確地模擬人類的認知,大腦的計算系統是相對豐富的,涉及的內容甚至可能擴展到細胞水平。

  如果喬姆斯基是對的(就其價值而言,我認為他是對的),那麼深度學習研究的進展意味著什麼?歸根結底,人類的大腦並沒有什麼神奇之處。它只是一種由原子組成的物理結構,因此完全有理由相信,在未來的某個時刻,我們可能能夠創造出一種具備一般智能能力的人工大腦。

  儘管如此,目前的神經網絡只提供了這種認知的模擬,而根據喬姆斯基的邏輯,如果我們不首先提高對有機神經網絡運作方式的理解,我們就不可能到達下一個前沿。

  

  道德相對主義

  

  對現代數據科學家來說,人工智慧的道德使用是一個顯著的擔憂,但有時,在一個具體的領域,這個概念可能有些模糊和主觀。喬姆斯基的工作不僅為深度學習的未來提供了一個獨特的技術視角,他的普遍語法也有著深刻的道德含義,因為語言是我們討論和解釋世界的方式。

  例如,喬姆斯基的觀點是,上述先天神經結構排除了道德相對主義,而且肯定存在普遍的道德約束。道德相對主義有許多不同的流派,但其核心原則是倫理決定不存在客觀基礎。

  道德相對主義者斷言,雖然我們可能會深深相信「奴隸制是不道德的」這樣的說法,但我們沒有經驗的方法來向不同意這種觀點的人證明這一點,因為任何證明都必然依賴於價值判斷,而我們的價值觀最終是外生的,是由文化和經驗決定的。

  喬姆斯基認為,道德表現在大腦中,因此根據定義,道德是一個生物系統。所有的生物系統都在變化著(自然變化和受到不同的刺激),但它們也存在局限性。以人類的視覺系統為例:實驗表明,它具有一定的可塑性,是由經驗塑造的(尤其是在幼兒時期)。

  通過改變提供給人類視覺系統的數據,你可以改變受體的分布,從而改變個體感知水平線和垂直線的方式。然而,你不能把人的眼睛變成昆蟲的眼睛,或者賦予某人看x光的能力。

  根據喬姆斯基的理論,生物系統(包括道德)可以發生很大變化,但不是無限的。他接著說,即使你相信我們的道德是完全從文化中衍生出來,你仍然需要以同樣的方式獲得文化,就像你獲得任何系統一樣(這是普遍性的先天認知結構的結果)。

  我對這種解讀最初的保留意見是,如果我們假設道德只是「合併」(或同樣原始的東西)的結果,那麼儘管這可能會施加理論上的約束,但我的直覺是,我們的道德可能會變化如此之大,以至於實際上不可能做出普遍的總結陳論。

  過去,喬姆斯基討論過道德進步是如何遵循某些趨勢的(例如,接受差異,拒絕壓迫等),但很難看出這些廣泛的趨勢是如何從這樣簡單的原子認知結構中持續出現的。

  當我把這一點告訴喬姆斯基教授時,他認為這種觀點是虛幻的,當我們不理解事物時,它們看起來比它們實際的樣子更加多樣化和複雜。他舉了一個寒武紀大爆發以來動物體型變化的例子。

  僅僅在60年前,生物學上的主流觀點是,有機體的差異如此之大,必須以個體為基礎進行研究,但我們現在知道,這是完全錯誤的,物種之間的遺傳變異相當小。複雜獲得系統的變化必須是最小的,否則我們就無法獲得它們。

  

特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺「網易號」用戶上傳並發布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關焦點

  • 格雷伯的禮物|最後的訪談:無政府主義者如何理解疫情?
    格雷伯自稱為人類學家和無政府主義者。但是,如果你稱呼他為「無政府主義人類學家」,他則不會高興,因為這一框架並不存在,他也在這次交談中解釋了這一點。格雷伯也是一名社會活動家。在過去的一、二十年裡,他參與了非常多的社會運動和抗爭。
  • 2020年深度學習發展大盤點及對2021年深度學習的未來展望|極客雲算
    深度學習框架作為AI底層工具,對個人而言是進入深度學習世界的一把鑰匙,掌握深度學習框架並不等於理解了深度學習,要在AI開發中有所作為,關鍵還是要真正理解框架背後的技術、實踐和生態。隨著近年來的人工智慧發展,2020年深度學習依然是發展最快的領域之一,直奔未來工作。其發展是多方面的,而且是多方位的。
  • 深度學習框架的前世今生
    機器學習現階段最熱門最有效的方法就是深度學習算法。  在深度學習興起之前,機器學習的主要方法是以做特徵工程為主流的統計學算法,即通過參數調節不斷提取優化特徵。此類方法的一大弊端就是對於語音視頻等多維度信號,很難進行特徵提取。通過深度學習,在神經網絡的每一層,計算機都可自動學習出特徵,從而解決了多維度信號特徵提取困難的問題。
  • LeCun、Jeff Dean等大神激辯AGI和深度學習
    爭論焦點:特定的人工智慧發展模式是否必然是通向 AGI 的途徑Gary Marcus:既然你加入了符號處理的陣營,我拜託你認真讀下我的論文《深度學習:一些批判建議》,再來跟我討論你不同意的觀點。Yann LeCun:我不明白的是你為什麼對深度學習抱有這麼大的敵意,我們有分歧的是它在前進道路上有多重要,但是現在我們顯然都認為深度學習是解決方案的一部分。
  • 對話|姜大方:社區化將是常青藤計劃的未來方向
    2020常青藤計劃 展覽現場 源起於天津的青年藝術NPO項目「常青藤計劃」,自2014年創立伊始便確立了「發現·成長·對話此外,也源於「常青藤計劃」與天津華僑城基於對「讓藝術成為一種生活方式、優質生活創想家」的共識達成深度的戰略合作,讓文化藝術反哺社會,讓藝術深入對話大眾,共同創想美好的優質生活。 這也就是姜大方講到的「社區」藝術的建構。
  • AI 學習的未來更多取決於先天還是後天?
    LeCun 是人工智慧領域深度學習技術的開拓者,這項技術幫助科技巨頭實現了許多大眾化智能服務,如 Facebook 的人臉識別功能以及 Google Translate 的中英互譯等。深度學習算法使人工智慧技術可以在缺乏人和動物的先天認知能力的情況下執行這些任務。
  • 細數二十一世紀以來深度學習框架的發展歷程
    在本文中,Waymo 軟體工程師 Lin Yuan 細數了二十一世紀以來深度學習框架的發展歷程,並劃分為了石器、青銅、鐵器、羅馬和工業化時代。  過去十年,機器學習(尤其是深度學習)領域湧現了大量算法和應用。在這些深度學習算法和應用湧現的背後,是各種各樣的深度學習工具和框架。
  • 承認不完美,是完美主義者的終極解藥。
    根據經驗,越是覺得自己落於人後,優勢全無的人,越是同齡人中的佼佼者。 他們,不過是沒有他們所設想的那麼好罷了。 「可是,你成績好呀!上學期考試,你不還考了全班第一嗎?」 我向來訪者指出。 「那有什麼用?」
  • 法國女影星談「學做中國人」:中國人是完美主義者
    她發誓苦學中文,邊拍戲邊學習,還特地去美國參加了8周的高強度中文學習班。此外,身兼歌手的白露娜求教於中國老師學唱中文歌曲。「我一開口講漢語,人們就會發出驚嘆和讚美,但卻不好意思糾正我的錯誤」,她幽默地說。白露娜在新書中寫了她在中國的經歷,描繪了中西文化的不同和碰撞。
  • 深度學習筆記:AlexNet
    2012年,Hinton的學生Alex Krizhevsky提出了深度卷積神經網絡模型AlexNet,在ImageNet大賽上一舉奪魁,開啟了深度學習的時代,後來大量比AlexNet更快速更準確的卷積神經網絡結構相繼出現。
  • 馬雲談未來十年房價 未來十年房價走勢如何?
    這就給很多有購房意向的人帶來了很大的難題,未來十年,究竟是將資金存入銀行,還是用來買房?究竟哪一個選擇能夠最大程度的實現保值?其實這個問題的核心,就是未來房價調整的幅度,究竟能否趕上國內通貨膨脹的速度。  回望過去十年,中國經濟始終處於高速發展期,這也是使得國內的物價飛漲,造成貨幣貶值。
  • 【創業在青島】于洋:創業是條不歸路 深度學習方能行遠
    本期,我們走進青島柒貳法則科技服務有限公司,對話創始人于洋。「期間我深度參與了幾個項目從拿地、開建、落成、出售以及招商的全過程,基本了解了地產行業的運營模式,也引發了我對地產行業和城市發展之間關係的新一輪思考。」于洋表示,在地產企業工作的同時,他也經常回到設計院幫忙,「還是不想脫離這個行業,因為熱愛。」于洋說。
  • 國觀智庫舉辦「國觀智庫-東協智庫對話會」,與東協學者共商南海合作
    對話會共有中外發言嘉賓24位,圍繞以下議題展開討論:1、「大國互動下東協的戰略選擇」2、「後仲裁案時期區域秩序的重塑」3、「區域秩序重塑過程中的中國貢獻」4、「南海的未來:共同發展」國觀智庫創始人、總裁任力波對話會伊始,國觀智庫創始人、總裁任力波致歡迎辭,
  • 圓桌對話《鄉村的未來:外部力量與在地力量》
    海峽之聲網7月24日訊(記者梁華)7月23日,「2019海峽兩岸鄉村可持續發展研討會」在福州舉辦,在上午的圓桌對話環節,《鄉村的未來:外部力量與在地力量》由福建省青年創業促進會副會長兼秘書長黃紹慶主持,新華社瞭望智庫鄉村振興研究中心主任王先知、臺灣薰衣草森林股份有限公司負責人王村煌、廈門朗鄉投資有限公司負責人李亞明博士、鄉伴創客學院院長
  • 告別2019:屬於深度學習的十年,那些我們必須知道的經典
    在這十年中,伴隨著計算能力和大數據方面的發展,深度學習已經攻克了許多曾經讓我們感到棘手的問題,尤其是計算機視覺和自然語言處理方面。此外,深度學習技術也越來越多地走進我們的生活,變得無處不在。這篇文章總結了過去十年中在深度學習領域具有影響力的論文,從 ReLU、AlexNet、GAN 到 Transformer、BERT 等。
  • 美圖秀秀推出人工智慧手繪特效 深度學習「一秒轉手繪」
    (原標題:美圖秀秀推出人工智慧手繪特效 深度學習「一秒轉手繪」)
  • 伯樂型性格INFJ適合的職業、學習成長、人際關係深度指南
    NF理想主義者型的孩子需要父母承認自己的獨特性,並充滿愛心的認可他們的重要作用,有助於他們認定自己的獨立、有價值的家庭成員資格。他們需要這樣的訊息「你是很特別的人、我重視你、你對我很重要」。5INFJ的學習方式對INFJ來說,學習是擴展視野和促進成長和發展的方法,能使其獲取額外的學習滿足感,這是他們學習的動力。
  • 政府說這是「旺旺叫的雞」年
    人民網訊 據BBC報導,狗年來臨,馬來西亞政府在報紙打廣告,祝願當地華僑農曆新年快樂,但廣告上卻印上一隻會「旺旺叫的雞」。馬來西亞政府隨即道歉,指這是「技術錯誤」。 報導說,廣告只在當地的中文報章刊登,而其他部分則正確寫出今年是戊戌狗年,並祝賀馬來西亞各界新春快樂。
  • 完美主義者的10條標準
    人們經常所說的、典型的完美主義者,是順應不良型完美主義者(Maladaptive Perfectionists)。他們執著於追求一個目標,對任何事情永遠都不夠滿意,永遠過多地關注事情不好的一面,對於完美的追求會影響到正常的表現。本文中使用的「完美主義者」指代的都是「順應不良型完美主義者」。完美主義不等於對卓越的追求。
  • 馬英九前兩岸智囊:2021年兩岸對話「機不可失,失不再來」
    例如,當中國大陸和歐盟要完成雙邊投資協議的前夕,拜登未來的國家安全顧問蘇利文(Jake Sullivan)立即出手,在推特發文要求歐洲夥伴先來與美國新政府磋商。《紐約時報》認為,此暗示拜登對這項協議感到不滿。文章說,中國大陸在疫情肆虐下,還能成為全球唯一實現正成長的主要經濟體,確實是難能可貴;但如同大陸經濟事務部門官員所說:「日子未必好過」。