現在深度學習在許多監督式機器學習的任務中扮演著領頭羊的角色。也可以這樣認為，在近幾十年中，深度學習已經產生了最實用的非監督式機器學習算法。興奮之餘，這也引發了一系列的研究和聳人聽聞的新聞頭條。雖然我警惕這些炒作，但是我也發現了令人興奮的技術，並且最近加入了一個社團，針對回歸神經網絡序列學習發表了 一篇30頁的關鍵評語。
但很多機器學習研究者並不奉承深度。事實上，對於那些利用數學語言和理論保證來挽救人工智慧研究的人抗爭過的人而言，深度學習代表了一種時尚。更糟糕的是，對於一些人來說，它似乎是一種倒退。在這篇文章中，我會盡力對理論保證的有用性提供一個高層次的、公平的分析，並說明為什麼他們可能不總是像智力獎勵那樣實用。更重要的是，我將提供論據來解釋為什麼經過這麼多年越來越健全的統計學機器學習，對今天許多表現最好的算法並沒有理論保證。
保證是一個聲明，可以用數學確定其行為、性能或一個算法的複雜度。在其他條件不變的情況下，給定足夠的時間，我們的算法A可以從某種模型分類器{H1,H2,···}找到一個分類算法H，它的性能不比H*差，H*是這個類中最好的分類器。當然，這和一些固定的損失函數L有關。簡短來說，我們可能很樂意用一些常數來固定H與H*之間的性能差異或比例。缺少這樣一個絕對限制，我們可能會喜歡去證明，在固定的時間內，運行算法之後，H和H*能夠給出相近的結果。
許多現有的算法能夠提供強大的統計學保證。線性回歸會有一個確切的解決方案。邏輯回歸能夠保證收斂。通常情況下，深度學習算法不能夠提供什麼保證。給定一個任意壞的起點，我知道沒有理論能夠證明，經過SGD變種訓練的神經網絡一定會隨著時間推移優化而不會陷入局部最小。近期的工作表明，在神經網絡的誤差平面（一個m維平面，m是學習參數的個數，通常是節點邊緣之間的權重）上，鞍點的數目比局部最小值要多。然而，這不等於證明不存在局部最小或者它們不能任意壞。
可證明的數學性質顯然是可取的。它們甚至已經拯救了機器學習，AI領域曾經一度被認為設計不明確，承諾過度，總在實施。然而，今天許多最好的算法並沒有提供任何保證。這怎麼可能呢？
首先，對於某個給定的類，理論保證通常會確保一個假設會接近最佳假設。沒有辦法保證在給定的類中，一個假設能夠表現得令人滿意。
這裡有個棘手的例子：我希望有一個人來幫助我撰寫文檔。拼寫檢查會保證它將如何表現。它將100%識別某些拼寫錯誤。但是，現有的自動校對工具不能夠提供像智能人那樣的洞察力。當然，人不能給出任何形式的數學保證。人會睡覺，無視我的郵件，或者胡亂回應。然而人可以比工具助手表達更多有用的想法。具有諷刺意味的是，可能可以採取兩種方法來提高理論保證。一個是改進算法，另一個減少假設類的成員。而神經網絡很少提供保證，它們提供了比大多數更好理解的機器學習模型更豐富的潛在假設。啟發式學習技術和更強大的計算機已經排除了有效學習的障礙，很明顯，對於許多模型，為給出實用性的預測，這種增強的表現力是不可少的。
保證通常是在最壞的情況下給定的。通過保證最佳係數ε得到結果，最壞的情況也不過於是保證一個普通的係數ε得到的結果。但是在實踐中，最壞的情況可能永遠不會發生。現實世界中的數據通常都是高度結構化的，並且最壞的情況可能具有這樣的結構，即在標準數據集和錯誤數據集之間沒有重疊。在這些假設中，最壞情況下的約束仍然成立，但這可能是所有算法都更好執行的情況。可能沒有理由相信，更壞情況下的算法能夠保證會有一個更好的典型性能。
理論合理的模型可能不能轉為真實性能的另一個原因是，生成理論結果而假設的數據通常都是假的。以潛在狄利克雷分布（LDA）為例，它是一個易於理解的非常有用的用於話題建模的算法。大量關於LDA的理論依據都是基於一篇文檔在主題上與分布相關這個假設之上。每個主題都依次與分布在詞彙表中所有單詞相關聯。生成過程如下，對於文檔中的每個字，文章主題根據每個主題的相對概率來隨機選擇。然後，以選中的主題為條件，從這篇文章的主題詞分布中選取一個詞語。反覆這個過程直到所有的詞都被選中。
顯然，這種假設在任何自然語言的數據集上並不成立。在實際的文檔中，單詞要從上下文中選取，而且很大程度上取決於它們所處的語境。此外文檔的長度不是任意的，儘管這種情況可能在本科課程中出現。然而，對於這樣的生成過程，LDA具有許多理論特性的優雅證明。
需要明確的是，LDA的確是一個用處廣泛、最先進的算法。而且，我相信，算法的性能理論研究，即使是基於不切實際的假設，仍然是提高我們對更一般和更強大定理做出理解和基礎工作不可或缺的步驟。在這篇文章中，我只思考眾多知名的理論，以及為數據科學工作者解釋關於為什麼具有良好理論性質的算法並不總是表現最好的。
有人可能會問，如果不是完全由理論引導，是什麼讓像深度學習這樣的方法流行？另外，為什麼由直覺判斷支撐的經驗方法會如此廣泛成功，即使在幾十年前他們並不受歡迎？
在回答這些問題上，我相信大量良好標記的數據的出現，比如ImageNet，是啟發式方法東山再起的原因。給定了足夠大的數據集，過度擬合的風險很低。此外，對測試數據的驗證提供了解決典型案例的手段，而不是著眼於最壞的情況。並行計算和存儲器大小的進步讓人們可以通過實證分析來同時跟蹤許多假設。由強大直覺判斷支撐的實證研究，在我們達到理解的極限時，為我們提供了前進的道路。
對於在機器感知和自然語言領域深度學習所取得的成功，人們可以合理地認為，到目前為止，三個最有價值的機器學習算法是線性回歸、logistic回歸和K-均值聚類，它們在理論上都非常易於理解。而迄今為止，反駁經驗主義勝利的最合理的理由可能是，最好的算法是由理論驅動和限制的，而經驗主義則只是用於最新的突破，並不是最重要的。
實現算法時，理論上的保證是很優美的。它們反應了清晰的思維，提供了對問題結構的深刻洞察。給定一個可工作的算法，理論解釋了其性能，加深理解，提供了進一步判斷的基礎。缺乏可工作的算法，理論提供了實現這個算法的思想。
不過，這種想法也有其美妙之處，搭配嚴謹的實證研究，有理有據的直覺判斷可以產生勝過更好理解模型的持續運作系統，有時在許多重要任務中，甚至超過人類。經驗主義為形式分析受到抑制的應用場合提供了前進的道路，並可能為將來可能最終承認深入理解理論知識打開了新的方向。
英文原文： Deep Learning and the Triumph of Empiricism（譯者/劉翔宇 審校/劉帝偉、朱正貴 責編/周建丁）
關於譯者： 劉翔宇，中通軟開發工程師，關注機器學習、神經網絡、模式識別。
【預告】首屆中國人工智慧大會（CCAI 2015）將於7月26-27日在北京友誼賓館召開。機器學習與模式識別、大數據的機遇與挑戰、人工智慧與認知科學、智慧機器人四個主題專家雲集。人工智慧產品庫將同步上線，預約諮詢：QQ：1192936057。歡迎關注。
本文為CSDN編譯整理，未經允許不得轉載，如需轉載請聯繫market#csdn.net(#換成@)