流行病導致所有離線會議都按下暫停按鈕，而AI也不例外。
但是，年度「高層會議」無法召開，因此在4月26日，ICLR 2020（國際代表性學習會議）採用了虛擬會議的形式，所有網民都可以參加盛會。
值得一提的是，本次ICLR會議接受了2,594篇論文中的687篇，吸引了來自近90個國家/地區的5,600多名與會者，是2019年2,700篇論文的兩倍。
在這種情況下，是否有任何新事物值得我們考慮和探索？
然後，我不得不提到圖靈獎獲得者，蒙特婁學習算法研究所所長Yoshua Bengio所強調的「 AI喚醒」。
在我們普及科學之前，一般的人工智慧有多遠。人工智慧如何在短短幾年內醒來？這必須從Bengio視為機器學習殺手的注意力機制開始。
將意識注入機器：注意力機制增加了另一項任務
腦極體的高級讀者應該熟悉注意力機制。在機器學習任務中，例如圖像處理，語音識別和自然語言處理，過去兩年中引入了注意力模型。
在行業中如此受歡迎，其特點自然是突出的：
一種是讓神經網絡學習僅專注於特定部分，從而大大提高任務的有效性和效率。在諸如神經機器翻譯，預訓練語言模型和圖像識別等任務中，它已顯示出前所未有的結果。根據Bahdanau等。在2015年提出了關注機制後，它們被ICLR接受，如今，它的各種變體已成為機器翻譯算法的「標準」。
第二個是減少機器學習的成本，同時增加可解釋性。眾所周知，深度學習神經網絡的模型訓練通常取決於大規模數據集。不僅數據獲取的成本非常高，而且訓練力和時間也很昂貴，並且關注機制的「選擇性」可以直接提高質量和效率，還可以為序列數據建立權重和映射，從而可以連結輸入和輸出，避免了算法的「黑匣子」。
由於注意力機制並不是什麼新鮮事物，為什麼Bengio在他的報告「與意識相關的深度學習超越」中故意將注意力機製作為規則，甚至成為AI的希望？
簡單來說，Bengio認為注意力機制可以幫助機器學習模型實現「有意識的」推理。
以前，許多算法創新（例如自我監督學習，元學習，多任務學習，轉移學習等）都在幫助機器學習獲得「無意識」，這類似於人類的直覺，習慣和先前的經驗。 。
藉助此功能，AI可以快速執行一些直觀的任務，使人們感到非常聰明。例如，當訓練AI以學習一些隱性知識時，它可以將這些知識內化並迅速適應，而不會在遇到新事物時進行重新訓練。例如，當AI記住路況時，它可以與乘客自由聊天，而不會延遲自己對交通狀況的響應並隨時安全駕駛。這已經超過了許多人類駕駛員嗎？
但是，如果您在嶄新的道路上行駛，如果有人在耳邊嘈雜，則會打擾駕駛員的思維，並阻止另一方專心處理。這時，上述「有意識的」系統將用於在新情況下將一些新概念與陌生事物聯繫起來。
正如西方世界的神經科學家和神經科學家大衛·伊格曼（David Eagleman）所說，意識是一種貫穿編程的聯繫。
當機器可以超越設置並開始自己思考和思考，適應甚至推斷外界變化的原因時，這不是Deloris（「西方世界」的女主人公）醒來的時刻嗎？
從這個角度來看，深度學習需要變得更強大，這是「自覺」推理能力。
從超越人類到模仿人類，人工智慧的回歸
既然「操縱」的感覺是如此轟動，學者們將如何工作呢？在過去的幾年中，注意力機制已經有了長足的發展和進步。
從時間的角度來看，注意力機制的功能開始被AI使用，該機制可以追溯到2014年，當時Google團隊使用它在RNN卷積神經網絡模型上對圖像進行分類。但是真正的爆炸主要是由於其在NLP機器翻譯任務中的證明。
在2017年，由Google的機器翻譯團隊發布的「注意力就是您所需要的」提出了一種新穎的基於注意力的機器翻譯架構。大量的自我注意機制被用來學習文本表示。最有影響力的論文之一。
後來，它開始廣泛用於基於RNN / CNN等神經網絡模型的NLP任務，並且還擴展了許多變體，例如基於輸入項的逐項軟注意力，基於輸入的軟注意力核心指導思想逐項硬注意力，按位置軟注意力等類似，即增加神經網絡隱藏層中注意力機制的權重。
但是應該注意，注意力機制仍然存在許多問題：
例如，注意力機制與其說是指導思想，不如說是一種技術。通過模擬人類閱讀和聽力中的注意力行為，為不同的輸入數據分配了不同的權重。為了獲得期望的結果，訓練仍需要大量數據。
可以說，注意機制在神經機器翻譯（NMT）任務上的出色表現仍然是基於擁有大量高質量語料庫的前提。一旦遇到更極端的情況，例如某些語言幾乎沒有雙語語料庫的事實，那麼無論注意力機制有多強大，它都必須是盲目的。
另一個例子是，注意力機制達到了「有意識的」推理的前提，這是理解默會知識的能力，也就是說，那些沒有邏輯推理而是通過感覺難以用語言，文字和圖表表達的知識。 ，直覺，理解獲得的能力。
對於人類來說，這是小菜一碟，但將其嵌入深度學習算法並不是一件容易的事。 DeepMind開發了一個交互式網絡，試圖教會代理快速學習某些物體（如嬰兒）的屬性和關係。交互式網絡的預測結果比普通的神經網絡要準確得多，但是模擬人類的直覺並快速反饋還為時過早。而且，機器必須犯成千上萬個錯誤，才能像人一樣正確操作。
換句話說，Bengio眼中的「注意力機制」實際上是「注意力3.0」的升級版本，對於「機器喚醒」來說還為時過早。
機器醒了，但僅依靠注意力是不夠的
上述問題不僅阻礙了注意力機制的「通往上帝之路」，而且阻礙了人工智慧發揮更高的價值。
下一步，也許就像將注意力機制引入RNN一樣，繼續在其他領域積極引入算法和模型，這將帶來不可思議的魔術效果。
從ICLR 2020技術趨勢的角度來看，還有許多算法已用於解決重要問題，例如機器注意力機制的直覺和泛化。
如元學習。在今年的精選論文中，Google有五篇致力於元學習。
簡單來說，元學習就是讓代理使用以前的知識經驗來「學習學習」（Learning to Learn），然後更有效地完成新任務。
有了這一能力，它自然就能解決訓練數據不足和系統通用性低的問題，並幫助AI繼續豐富和修改自己的知識網絡。通過這種能力，已經獲得人類常識的AI可以希望達到「有意識的」推理。
最後，還需要打開大腦。想像一下，如果實現了「有意識的」推理，那麼AI就會真正喚醒，它將為人類帶來什麼？
猜想一，人工智慧的服務能力將明顯提高。在實踐中，不斷學習處理複雜任務將不再困難。想像中的智能管家機器人和智能女友不再是問題。
猜想二，人工智慧可以像人類一樣推理，同時擁有情感，那麼自然就有可能形成自己的社會關係。那時，為什麼整個社會仍然需要像我這樣的普通人，我們不知道。
幸運的是，無論是今天的注意力機制還是人工智慧本身，都需要更長的時間和更多的耐心來再現人的腦力。更令人欣喜的是，在流行病「黑天鵝」的席捲下，人工智慧仍然引領著全球行業參與者連接，思考和探索未來的藏寶圖。這可能是最令人上癮的技術。