大數據文摘出品
作者：DV
昨日，清華大學主樓報告廳迎來了人工智慧的一次小高潮。
被稱為「人工智慧三巨頭」之一的蒙特婁大學計算機科學與運算研究系教授Yoshua Bengio為清華的師生帶來了一場長達一個半小時的充實演講。
剛剛入場就被清華同學團團圍住籤名合照的Yoshua教授
本次計算機科學與系列講座第59講暨CCF YOCEEF TDS Special系列講座，Yoshua Bengio帶來的主題講座名為《深度學習抵達人類水平面臨的挑戰（Challenges for Deep Learning towards Human-Level AI》。
本次演講講述了人工智慧尚未達到人類水平的原因，以及機器學習和自然語言處理遇到的挑戰，整個演講娓娓道來且讓人意猶未盡。
大數據文摘微信公眾號後臺回復「Bengio」獲得完整版PPT以及講座錄音
在演講中，Bengio提到AI如今的大獲成功主要是靠有監督學習，而有監督學習裡的高級概念（比如label）是人類給的，不是機器自己去發現的。沒有這個主動認知的過程，機器對數據的理解其實是相當膚淺的，改幾個像素就會錯把狗的圖片當成鴕鳥。
Bengio和Yann LeCun在2007年的一篇論文裡提出：我們需要學到一個好的表示。好的表示到底是什麼，這尚無定論，但我們希望學到的表示能抓住事物的原因和數據的內在解釋。
Bengio進一步認識到，既然好的表示可以得到簡單的相關性，又沒有免費的午餐，那麼就一定需要先驗去輔助分離內在的因子變量。
這類先驗可以是空間和時間尺度上的先驗（比如變量變化的快慢），也可以是高層表示之間應具有統計獨立性。
好的表示還應具有這樣的先驗：能把數據映射到一個空間，在這個空間裡做什麼都很簡單，計算簡單、學習簡單、因子之間的相關也很簡單。
還有一類先驗不是被動給予的，而是主動與環境交互獲取的，這是強化學習的範疇。
心理學家提出認知任務有兩種不同類型，這可以幫助我們理解深度學習當前存在的局限，以及該向何處發展。
第一類認知任務是可以快速完成的、無意識的動作，比如口渴時一下就能把水杯拿起來喝水，而不是盯著水杯刻意地識別它。
第二類任務則是速度較慢的、有意識的，包含邏輯、語言、計算等。經典符號AI曾經嘗試去解決這類任務。
意識空間裡的事物維度很低，因此我們能在這樣的空間裡進行推理。
「下雨時打傘」，這個句子雖然只有「下雨」和「打傘」兩個變量，但因為它高概率為真，所以具有很強的預測能力，這說明僅用很少的信息就能做出預測。
意識先驗就是假設有很多隻包含很少變量但為真的事情，因此，好的表示的一個性質，就是當我們把數據映射到表示空間之後，變量之間只有少數相關。
我們也可以在這樣的空間裡討論變量的因果性：在像素空間裡說一個像素引起另一個像素的變化是沒有意義的，但在表示空間裡就可以說一個變量引起另一變量的變化。
無意識狀態是高維的，有意識狀態是低維的，可以用注意力機制選擇較少維度去表示有意識狀態。
借鑑GAN的思想，訓練可區分來自P(A,B)和P(A)P(B)這兩個分布的(A,B)的判別器，如果區分不出則說明它們是獨立的。這樣可以讓encoder學到的表示儘可能獨立。
直接計算互信息往往是困難的，我們也可以用類似的思想，用判別器去學習互信息的估計。這樣學到的互信息估計可用來提高GAN的性能。
現在的NLP任務只是在文本上訓練模型。
這樣會出現很多常識性的錯誤，因為它並沒有理解語言內在的含義。
想要真正理解自然語言，不僅要對語言本身建模，還要對所處環境進行建模。要將語言學習和世界運轉方式的學習相結合。
機器需要對事物之間的因果聯繫進行建模。
BabyAI通過19個由易到難的遊戲關卡而不斷學習，就像嬰兒成長的過程一樣。這很像課程學習（curriculum learning）。