【獵雲網（微信號：ilieyun）】11月22日報導 （編譯： Shane）
編者註：本文作者為James Somers，外媒科技專欄作家。
在AI領域，幾乎每個人們所熟知的技術革新都仰仗於三十年前出現的突破性理論。想要跟進AI技術的發展步伐，人們必須考慮由此帶來的嚴重局限性。那本突破性的著作出版於20世紀80年代中期，闡述了建立多層次神經網絡的方法，為之後十年AI的發展奠定了基礎。
站在我身邊的Jordan Jacobs是我們所處的Vector 人工智慧研究院的創建人，這間研究院今年秋天剛剛開幕，旨在成為全球人工智慧的技術中心。
Jacobs透露，之所以將研究所建在多倫多是因為「深度學習之父」——Geoffrey Hinton也在此地，他是AI浪潮翻湧之下的技術靠山。「回顧過去的30年時間，Geoff可以稱之為深度學習，也就是我們所認為AI領域的愛因斯坦。在AI領域的頂尖人才中，Hinton一人貢獻的可引用文獻數比位列他其後三人的總和還要多。他門下的學生和博士後遍布蘋果、Facebook和OpenAI等大公司的AI實驗室; Hinton自己是Google Brain AI團隊的首席科學家。事實上，AI的最近十年幾乎每一個成就——翻譯、語音識別、圖像識別和遊戲在某種程度上都要歸功於Hinton的工作。
VectorAI研究所是Hinton理論的結晶，許多來自美國和加拿大的公司，如谷歌、Uber和Nvidia將作為贊助方為AI技術的商業化做出努力。不用Jacobs開口，資金便源源不斷地湧入進來。研究所的兩位共同創始人在多倫多地區對公司開展調查表明，現在AI專家的需求量是加拿大每年能夠培養數量的10倍。Vector研究所在這場深度學習的全球熱潮中，從一定意義上來說剛剛起步：深度學習技術需要先注入資金，然後進行訓練、改進和應用。研究所的數據中心正在建設，初創公司紛紛進駐，新一代的學生開始走上這一舞臺。
深入學習技術的特殊之處就在於它的中心思想年代已久。 Hinton與其同事David Rumelhart和Ronald Williams一起於1986年出版了一篇突破性文章。該文章詳細闡述了一種被稱為「反向傳播」的技術。普林斯頓的計算心理學家Jon Cohen認為反向傳播是「深度學習的根基，幾乎一切都與之相關」。
總結一下，現在人們所說的AI即為深度學習，而深度學習實際上就是反向傳播，這一點很神奇，因為反向傳播已經有了30年的歷史。值得人們深思的一點便在於，這樣一門技術如何在蟄伏這麼久後製造了這一番巨浪。在了解了反向傳播的發展歷史後，也許我們會開始看清AI目前的局勢，特別是開始意識到我們已經走到了一場技術革命的盡頭，並非之前所認為的開端。
AI的反向傳播多倫多是繼墨西哥城、紐約和洛杉磯之後的北美第四大城市，而其多樣化程度則可稱為北美之最：多倫多一半以上的人口出生於加拿大境外。來看科技展覽的人們並不都是穿著連帽衫的年輕白人，相反，而是各色人種都摻雜其中。免費的醫療保健服務、良好的公立學校、友好的國民，相對穩定的政治秩序等吸引了像Hinton這樣的人。
Hinton今年69歲高齡，高挺的鼻梁、薄薄的嘴唇、厚厚的耳朵構成了一張寬厚的英國臉龐。他出生於英國溫布爾登，他說話的神情好似在講一本關於科學的兒童書：口吻裡充滿好奇、吸引力與解釋新鮮事物的渴望。
在20世紀80年代，Hinton就已經是神經網絡領域的專家了，那時的神經網絡是簡化過的大腦神經元與突觸網絡模型。然而，當時人們堅持認為神經網絡是AI研究的死胡同，雖然最早的神經網絡——開發於在20世紀60年代的感知器被譽為達到人類水平的機器智能第一步。1969年由麻省理工學院的Marvin Minsky和Seymour Papert發表的《感知器》在數學上證明了這樣神經的網絡可執行最基本的功能。
這種神經網絡只有兩層神經元，分別為輸入層和輸出層。在輸入和輸出神經元之間存在很多層的神經元，理論上可以解決各種各樣的問題，但沒有人知道如何訓練這些神經元層，所以放到實踐中沒有任何用處。除了像Hinton這樣的幾個堅持的學者之外，《感知器》令大多數人望洋興嘆，完全放棄了神經網絡。
Hinton的理論在1986年迎來突破，他表明反向傳播可以訓練深層次的神經網絡，意味著建立超過兩三層的神經網絡成為可能。但是由於計算能力有限，Hinton和他的兩位多倫多學生又花了26年在2012年發論文表明，使用反向傳播訓練的深層神經網絡在圖像識別中擊敗了最先進的系統。 「深度學習」技術一時聲名大噪。對於外界來說，AI似乎是一夜夢醒，而對於Hinton來說，這是一份遲到太久的黎明。
AI的「現實主義」人們常用三明治來描述神經網絡，一層一層疊在一起。這些神經層包含人造神經元，這是可激發興奮的最小計算單位，興奮激發的方式與真正的神經元相同，並可將這種興奮傳遞給所連接的其他神經元。神經元的興奮程度由數字表示，如0.13或32.39。
而另外一個關鍵的數字則在於兩個神經元之間的連接，表示從其中一個神經元到傳遞了多少興奮到另一個。這個數字是為了模擬大腦神經元之間突觸的強度。當數字較大時，意味著連接更強，所以更多的興奮流向對面的神經元。
圖：Hinton、David Rumelhart和Ronald Williams關於「錯誤傳播」的開創性圖表。深層神經網絡最成功的應用之一圖像識別，就像美國家庭影院一部關於矽谷劇作的難忘一幕中一樣，劇中團隊寫出一個程序，可以判斷圖片中是否有熱狗。這樣的程序實際上真的存在，能在十年前就實現實在不可思議。運行該程序的第一步是先打開一張圖片。比如說，簡單起見，打開一張黑白的小圖像，寬和高都為100像素，設置輸入層中每個模擬神經元的興奮度，使其與每個像素的亮度相符，將圖像輸入神經網絡。這是「神經網絡」三明治的最底層：10000個神經元（100x100），代表圖像中每個像素的亮度。
然後將這一層神經元連接到上面的另一神經元層上（可能包含幾千個神經元），然後再和另一神經元層相連，又是幾千個神經元，依此類推。最後，在「三明治」的最上層也就是輸出層，只有兩個神經元——一個代表「熱狗」，另一個代表「不是熱狗」。重點在於訓練神經網絡，在圖片中有熱狗時激發屬於「熱狗」的神經元，沒有時激發「不是熱狗」神經元。 Hinton傾盡半生致力研究的反向傳播就是實現這些的方法。
反向傳播儘管在處理大量數據時效果最好，實際原理卻非常簡單。這就是為什麼大數據在AI中如此重要——也就解釋了為什麼Facebook和Google對用戶數據如饑似渴，為什麼VectorAI研究所決定在加拿大四家最大的醫院之間的街區設立商店，並與它們建立數據合作關係。
在這種情況下，數據以數百萬張圖片的形式輸入，有些上面有熱狗，有些則沒有。訣竅在於這些有熱狗的照片要進行標記。第一次創建神經網絡時，神經元之間的連接可能具有隨機權重——也就是隨機數，比如每個連接所能傳遞的興奮程度。就像模仿還沒反應過來的大腦突觸。 反向傳播的目標是改變這些權重，使神經網絡起作用：將熱狗的圖像傳遞到最底層，最終讓最頂層的「熱狗」神經元變得興奮起來。
神經網絡可以看做是把圖像、文字、錄音、醫學數據 等轉入為數學家稱之為的高維向量空間，在此空間中事物之間的距離或者接近程度反映了其在實際中的一些重要特徵。 Hinton認為這是大腦本質所做的工作。
他說：「如果你想了解一個人的思想，我們可以用一串詞語來將其描述出來。我可以說『約翰想，糟糕。』」但是，如果你問『約翰的想法是什麼？約翰有這個想法是什麼意思？』這並不表示約翰的腦海裡有個引號，引號裡是『糟糕』二字，甚至是連引號也沒有，這表明他的頭腦裡面有大規模的神經活動。」對於數學家而言，大規模地神經活動可以在一個向量空間中捕獲，每個神經元的活動對應一個數字，每個數字代表一個很大矢量的坐標。在Hinton看來，這就是思想——許多向量的交織。
未來AI的發展方向深度學習在某種程度上模仿了人類大腦的活動，但只是以一種更為淺顯的方式——這也許解釋了為什麼有時人工智慧並不那麼「智能」。 事實上，反向傳播模式並非通過深入探索大腦，解讀思想本身而發現的，它源自於經典條件反射實驗中動物通過試錯法學習的模式。反向傳播技術發展中的大部分關鍵步驟並不涉及神經科學的新見解，而是得益於數學和工程領域多年來的技術改進。 我們對大腦的了解程度與其未知的廣泛性並不衝突。
但是當偉大的突破一個接著一個，外界很難理解的一點是，AI的最新進展與其是科學的進步，不如說是工程科學的突破。 雖然我們已經開始探索如何改善深度學習系統，但關注點很大程度上仍在於系統如何工作，以及是否可以達到人腦的強度。
值得人們思考的問題是，我們是否已經將反向傳播理論利用透徹。如果是的話，這是否意味著AI已經達到了發展的平臺期。
因此如果想要期待下一個突破的來臨，並以此突破性理論為依託，可以製造具有更靈活智能的機器，我們應該參考一下八十年代反向傳播理論剛剛出現的研究文獻：聰明的人們早已將行不通的想法一一排除。
要訓練一個人工智慧系統認出有熱狗的圖片，要輸入4000萬張熱狗的圖片。人們有時會擔心有一天電腦會搶走人類的工作，這有點杞人憂天，因為電腦無法代替律師的原因並不在於律師所做的工作有多麼複雜，而是因為律師會與客戶交談，閱讀資料。電腦代替人腦的那一天還遙遙無期。
對於Hinton而言，他相信，克服AI的局限性是建立「計算機科學與生物學之間的橋梁」。這種觀點認為反向傳播是一種生物啟發式計算的勝利，這個想法最初是來源於心理學而非工程學，所以現在，Hinton正努力將此為他所用。
現在的神經網絡是由大規模神經元平面層組成的，但是在人類新皮層中，真正的神經元不僅僅水平分布為層，還有垂直排列。 Hinton表示他知道這些垂直排列的意義，例如，在視覺識別過程中，即使我們的視點位置改變，也能保證我們識別對象的能力。所以他正試圖建立一種「膠囊」模型來測試這個理論。到目前為止還沒什麼大的進展。神經網絡的表現並沒有因「膠囊」模型得到顯著提高。但是，他在研究「反向傳播」的近30年來也是這樣過來的。
他說：「這件事肯定是正確的，」他談到膠囊理論，自嘲著自己莽撞的勇氣。 「現在行不通只是暫時的。」