機器學習界有一群煉丹師，他們每天的日常是：
拿來藥材（數據），架起八卦爐（模型），點著六味真火（優化算法），就搖著蒲扇等著丹藥出爐了。
不過，當過廚子的都知道，同樣的食材，同樣的菜譜，但火候不一樣了，這齣來的口味可是千差萬別。火小了夾生，火大了易糊，火不勻則半生半糊。
機器學習也是一樣，模型優化算法的選擇直接關係到最終模型的性能。有時候效果不好，未必是特徵的問題或者模型設計的問題，很可能就是優化算法的問題。
說到優化算法，入門級必從SGD學起，老司機則會告訴你更好的還有AdaGrad/AdaDelta，或者直接無腦用Adam。可是看看學術界的最新paper，卻發現一眾大神還在用著入門級的SGD，最多加個Moment或者Nesterov ，還經常會黑一下Adam。比如 UC Berkeley的一篇論文就在Conclusion中寫道：
Despite the fact that our experimental evidence demonstrates that adaptive methods are not advantageous for machine learning, the Adam algorithm remains incredibly popular. We are not sure exactly as to why ……無奈與酸楚之情溢於言表。
這是為什麼呢？難道平平淡淡才是真？
1 一個框架回顧優化算法首先我們來回顧一下各類優化算法。
深度學習優化算法經歷了 SGD -> SGDM -> NAG ->AdaGrad -> AdaDelta -> Adam -> Nadam 這樣的發展歷程。Google一下就可以看到很多的教程文章，詳細告訴你這些算法是如何一步一步演變而來的。在這裡，我們換一個思路，用一個框架來梳理所有的優化算法，做一個更加高屋建瓴的對比。
首先定義：待優化參數：
而後，開始進行迭代優化。在每個epoch
掌握了這個框架，你可以輕輕鬆鬆設計自己的優化算法。
我們拿著這個框架，來照一照各種玄乎其玄的優化算法的真身。步驟3、4對於各個算法都是一致的，主要的差別就體現在1和2上。
SGD先來看SGD。SGD沒有動量的概念，也就是說：
代入步驟3，可以看到下降梯度就是最簡單的
SGD最大的缺點是下降速度慢，而且可能會在溝壑的兩邊持續震蕩，停留在一個局部最優點。
SGD with Momentum為了抑制SGD的震蕩，SGDM認為梯度下降過程可以加入慣性。下坡的時候，如果發現是陡坡，那就利用慣性跑的快一些。SGDM全稱是SGD with momentum，在SGD基礎上引入了一階動量：
一階動量是各個時刻梯度方向的指數移動平均值，約等於最近
也就是說，t時刻的下降方向，不僅由當前點的梯度方向決定，而且由此前累積的下降方向決定。
SGD with Nesterov AccelerationSGD 還有一個問題是困在局部最優的溝壑裡面震蕩。想像一下你走到一個盆地，四周都是略高的小山，你覺得沒有下坡的方向，那就只能待在這裡了。可是如果你爬上高地，就會發現外面的世界還很廣闊。因此，我們不能停留在當前位置去觀察未來的方向，而要向前一步、多看一步、看遠一些。
NAG全稱Nesterov Accelerated Gradient，是在SGD、SGD-M的基礎上的進一步改進，改進點在於步驟1。我們知道在時刻t的主要下降方向是由累積動量決定的，自己的梯度方向說了也不算，那與其看當前梯度方向，不如先看看如果跟著累積動量走了一步，那個時候再怎麼走。因此，NAG在步驟1，不計算當前位置的梯度方向，而是計算如果按照累積動量走了一步，那個時候的下降方向：
然後用下一個點的梯度方向，與歷史累積動量相結合，計算步驟2中當前時刻的累積動量。
AdaGrad此前我們都沒有用到二階動量。二階動量的出現，才意味著「自適應學習率」優化算法時代的到來。SGD及其變種以同樣的學習率更新每個參數，但深度神經網絡往往包含大量的參數，這些參數並不是總會用得到（想想大規模的embedding）。對於經常更新的參數，我們已經積累了大量關於它的知識，不希望被單個樣本影響太大，希望學習速率慢一些；對於偶爾更新的參數，我們了解的信息太少，希望能從每個偶然出現的樣本身上多學一些，即學習速率大一些。
怎麼樣去度量歷史更新頻率呢？那就是二階動量——該維度上，迄今為止所有梯度值的平方和：
我們再回顧一下步驟3中的下降梯度：
可以看出，此時實質上的學習率由
這一方法在稀疏數據場景下表現非常好。但也存在一些問題：因為
AdaDelta / RMSProp由於AdaGrad單調遞減的學習率變化過於激進，我們考慮一個改變二階動量計算方法的策略：不累積全部歷史梯度，而只關注過去一段時間窗口的下降梯度。這也就是AdaDelta名稱中Delta的來歷。
修改的思路很簡單。前面我們講到，指數移動平均值大約就是過去一段時間的平均值，因此我們用這一方法來計算二階累積動量：
這就避免了二階動量持續累積、導致訓練過程提前結束的問題了。
Adam談到這裡，Adam和Nadam的出現就很自然而然了——它們是前述方法的集大成者。我們看到，SGD-M在SGD基礎上增加了一階動量，AdaGrad和AdaDelta在SGD基礎上增加了二階動量。把一階動量和二階動量都用起來，就是Adam了——Adaptive + Momentum。
SGD的一階動量：
加上AdaDelta的二階動量：
優化算法裡最常見的兩個超參數
Nadam最後是Nadam。我們說Adam是集大成者，但它居然遺漏了Nesterov，這還能忍？必須給它加上，按照NAG的步驟1：
這就是Nesterov + Adam = Nadam了。
補充：指數移動平均值的偏差修正前面我們講到，一階動量和二階動量都是按照指數移動平均值進行計算的：
實際使用過程中，參數的經驗值是
初始化：
這個時候我們看到，在初期，
說到這裡，大概可以理解為什麼j經常有人說 Adam / Nadam 目前最主流、最好用的優化算法了。新手上路，先拿來一試，收斂速度嗖嗖滴，效果也是槓槓滴。
那為什麼Adam還老招人黑，被學術界一頓鄙夷？難道只是為了發paper灌水嗎？
請繼續閱讀：
2 Adam的兩宗罪可以看到，一代又一代的研究者們為了我們能煉（xun）好（hao）金（mo）丹（xing）可謂是煞費苦心。從理論上看，一代更比一代完善，Adam/Nadam已經登峰造極了，為什麼大家還是不忘初心SGD呢？
舉個慄子。很多年以前，攝影離普羅大眾非常遙遠。十年前，傻瓜相機開始風靡，遊客幾乎人手一個。智慧型手機出現以後，攝影更是走進千家萬戶，手機隨手一拍，前後兩千萬，照亮你的美（咦，這是什麼亂七八糟的）。但是專業攝影師還是喜歡用單反，孜孜不倦地調光圈、快門、ISO、白平衡……一堆自拍黨從不care的名詞。技術的進步，使得傻瓜式操作就可以得到不錯的效果，但是在特定的場景下，要拍出最好的效果，依然需要深入地理解光線、理解結構、理解器材。
優化算法大抵也如此。在上一篇中，我們用同一個框架讓各類算法對號入座。可以看出，大家都是殊途同歸，只是相當於在SGD基礎上增加了各類學習率的主動控制。如果不想做精細的調優，那麼Adam顯然最便於直接拿來上手。
但這樣的傻瓜式操作並不一定能夠適應所有的場合。如果能夠深入了解數據，研究員們可以更加自如地控制優化迭代的各類參數，實現更好的效果也並不奇怪。畢竟，精調的參數還比不過傻瓜式的Adam，無疑是在挑戰頂級研究員們的煉丹經驗！
最近，不少paper開懟Adam，我們簡單看看都在說什麼：
Adam罪狀一：可能不收斂這篇是正在深度學習領域頂級會議之一 ICLR 2018 匿名審稿中的 On the Convergence of Adam and Beyond，探討了Adam算法的收斂性，通過反例證明了Adam在某些情況下可能會不收斂。
回憶一下上文提到的各大優化算法的學習率：
其中，SGD沒有用到二階動量，因此學習率是恆定的（實際使用過程中會採用學習率衰減策略，因此學習率遞減）。AdaGrad的二階動量不斷累積，單調遞增，因此學習率是單調遞減的。因此，這兩類算法會使得學習率不斷遞減，最終收斂到0，模型也得以收斂。
但AdaDelta和Adam則不然。二階動量是固定時間窗口內的累積，隨著時間窗口的變化，遇到的數據可能發生巨變，使得
這篇文章也給出了一個修正的方法。由於Adam中的學習率主要是由二階動量控制的，為了保證算法的收斂，可以對二階動量的變化進行控制，避免上下波動。
通過這樣修改，就保證了
Adam罪狀二：可能錯過全局最優解深度神經網絡往往包含大量的參數，在這樣一個維度極高的空間內，非凸的目標函數往往起起伏伏，擁有無數個高地和窪地。有的是高峰，通過引入動量可能很容易越過；但有些是高原，可能探索很多次都出不來，於是停止了訓練。
近期Arxiv上的兩篇文章談到這個問題。
第一篇就是前文提到的吐槽Adam最狠的 The Marginal Value of Adaptive Gradient Methods in Machine Learning 。文中說到，同樣的一個優化問題，不同的優化算法可能會找到不同的答案，但自適應學習率的算法往往找到非常差的答案。他們通過一個特定的數據例子說明，自適應學習率算法可能會對前期出現的特徵過擬合，後期才出現的特徵很難糾正前期的擬合效果。
另外一篇是 Improving Generalization Performance by Switching from Adam to SGD，進行了實驗驗證。他們CIFAR-10數據集上進行測試，Adam的收斂速度比SGD要快，但最終收斂的結果並沒有SGD好。他們進一步實驗發現，主要是後期Adam的學習率太低，影響了有效的收斂。他們試著對Adam的學習率的下界進行控制，發現效果好了很多。
於是他們提出了一個用來改進Adam的方法：前期用Adam，享受Adam快速收斂的優勢；後期切換到SGD，慢慢尋找最優解。這一方法以前也被研究者們用到，不過主要是根據經驗來選擇切換的時機和切換後的學習率。這篇文章把這一切換過程傻瓜化，給出了切換SGD的時機選擇方法，以及學習率的計算方法，效果看起來也不錯。
到底該用Adam還是SGD？所以，談到現在，到底Adam好還是SGD好？這可能是很難一句話說清楚的事情。去看學術會議中的各種paper，用SGD的很多，Adam的也不少，還有很多偏愛AdaGrad或者AdaDelta。可能研究員把每個算法都試了一遍，哪個出來的效果好就用哪個了。
而從這幾篇怒懟Adam的paper來看，多數都構造了一些比較極端的例子來演示了Adam失效的可能性。這些例子一般過於極端，實際情況中可能未必會這樣，但這提醒了我們，**理解數據對於設計算法的必要性。**優化算法的演變歷史，都是基於對數據的某種假設而進行的優化，那麼某種算法是否有效，就要看你的數據是否符合該算法的胃口了。
算法固然美好，數據才是根本。
另一方面，Adam之流雖然說已經簡化了調參，但是並沒有一勞永逸地解決問題，默認參數雖然好，但也不是放之四海而皆準。因此，在充分理解數據的基礎上，依然需要根據數據特性、算法特性進行充分的調參實驗，找到自己煉丹的最優解。而這個時候，不論是Adam，還是SGD，於你都不重要了。
少年，好好煉丹吧。
關於優化算法的選擇和tricks，歡迎繼續閱讀：
3 優化算法的選擇與使用策略上文中，我們用一個框架梳理了各大優化算法，並且指出了以Adam為代表的自適應學習率優化算法可能存在的問題。那麼，在實踐中我們應該如何選擇呢？
下文介紹Adam+SGD的組合策略，以及一些比較有用的tricks。
不同優化算法的核心差異：下降方向從第一篇的框架中我們看到，不同優化算法最核心的區別，就是第三步所執行的下降方向：
這個式子中，前半部分是實際的學習率（也即下降步長），後半部分是實際的下降方向。SGD算法的下降方向就是該位置的梯度方向的反方向，帶一階動量的SGD的下降方向則是該位置的一階動量方向。自適應學習率類優化算法為每個參數設定了不同的學習率，在不同維度上設定不同步長，因此其下降方向是縮放過（scaled）的一階動量方向。
由於下降方向的不同，可能導致不同算法到達完全不同的局部最優點。 An empirical analysis of the optimization of deep network loss surfaces這篇論文中做了一個有趣的實驗，他們把目標函數值和相應的參數形成的超平面映射到一個三維空間，這樣我們可以直觀地看到各個算法是如何尋找超平面上的最低點的。
上圖是論文的實驗結果，橫縱坐標表示降維後的特徵空間，區域顏色則表示目標函數值的變化，紅色是高原，藍色是窪地。他們做的是配對兒實驗，讓兩個算法從同一個初始化位置開始出發，然後對比優化的結果。可以看到，幾乎任何兩個算法都走到了不同的窪地，他們中間往往隔了一個很高的高原。這就說明，不同算法在高原的時候，選擇了不同的下降方向。
Adam+SGD 組合策略正是在每一個十字路口的選擇，決定了你的歸宿。如果上天能夠給我一個再來一次的機會，我會對那個女孩子說：SGD！
不同優化算法的優劣依然是未有定論的爭議話題。據我在paper和各類社區看到的反饋，主流的觀點認為：Adam等自適應學習率算法對於稀疏數據具有優勢，且收斂速度很快；但精調參數的SGD（+Momentum）往往能夠取得更好的最終結果。
那麼我們就會想到，可不可以把這兩者結合起來，先用Adam快速下降，再用SGD調優，一舉兩得？思路簡單，但裡面有兩個技術問題：
什麼時候切換優化算法？——如果切換太晚，Adam可能已經跑到自己的盆地裡去了，SGD再怎麼好也跑不出來了。切換算法以後用什麼樣的學習率？——Adam用的是自適應學習率，依賴的是二階動量的累積，SGD接著訓練的話，用什麼樣的學習率？上文中提到的論文 Improving Generalization Performance by Switching from Adam to SGD 提出了解決這兩個問題的思路。
首先來看第二個問題，切換之後用什麼樣的學習率。Adam的下降方向是
而SGD的下降方向是
圖片來自原文，這裡p為Adam下降方向，g為梯度方向，r為SGD的學習率。
如果SGD要走完Adam未走完的路，那就首先要接過Adam的大旗——沿著
這樣我們就知道該如何確定SGD的步長（學習率）了——SGD在Adam下降方向上的正交投影，應該正好等於Adam的下降方向（含步長）。也即：
解這個方程，我們就可以得到接續進行SGD的學習率：
為了減少噪聲影響，作者使用移動平均值來修正對學習率的估計：
這裡直接復用了Adam的
然後來看第一個問題，何時進行算法的切換。
作者的回答也很簡單，那就是當 SGD的相應學習率的移動平均值基本不變的時候，即：
優化算法的常用tricks最後，分享一些在優化算法的選擇和使用方面的一些tricks。
首先，各大算法孰優孰劣並無定論。如果是剛入門，優先考慮 SGD+Nesterov Momentum或者Adam.（Standford 231n : The two recommended updates to use are either SGD+Nesterov Momentum or Adam）選擇你熟悉的算法——這樣你可以更加熟練地利用你的經驗進行調參。充分了解你的數據——如果模型是非常稀疏的，那麼優先考慮自適應學習率的算法。根據你的需求來選擇——在模型設計實驗過程中，要快速驗證新模型的效果，可以先用Adam進行快速實驗優化；在模型上線或者結果發布前，可以用精調的SGD進行模型的極致優化。先用小數據集進行實驗。 有論文研究指出，隨機梯度下降算法的收斂速度和數據集的大小的關係不大。（The mathematics of stochastic gradient descent are amazingly independent of the training set size. In particular, the asymptotic SGD convergence rates are independent from the sample size. [2]）因此可以先用一個具有代表性的小數據集進行實驗，測試一下最好的優化算法，並通過參數搜索來尋找最優的訓練參數。考慮不同算法的組合。 先用Adam進行快速下降，而後再換到SGD進行充分的調優。切換策略可以參考本文介紹的方法。數據集一定要充分的打散（shuffle）。 這樣在使用自適應學習率算法的時候，可以避免某些特徵集中出現，而導致的有時學習過度、有時學習不足，使得下降方向出現偏差的問題。訓練過程中持續監控訓練數據和驗證數據上的目標函數值以及精度或者AUC等指標的變化情況。對訓練數據的監控是要保證模型進行了充分的訓練——下降方向正確，且學習率足夠高；對驗證數據的監控是為了避免出現過擬合。制定一個合適的學習率衰減策略。 可以使用定期衰減策略，比如每過多少個epoch就衰減一次；或者利用精度或者AUC等性能指標來監控，當測試集上的指標不變或者下跌時，就降低學習率。這裡只列舉出一些在優化算法方面的trick，如有遺漏，歡迎各位在評論中補充，我將持續更新此文。提前致謝！
神經網絡模型的設計和訓練要複雜得多，initialization, activation, normalization 等等無不是四兩撥千斤，這些方面的技巧我再慢慢寫，歡迎關注作者的知乎專欄和微信公眾號（Julius-AI），一起交流學習。
參考文獻：
[1] CS231n Convolutional Neural Networks for Visual Recognition
[2] Stochastic Gradient Descent Tricks.
[3] Efficient BackProp