版權聲明：私募工場致力於宣傳優秀投資顧問，分享精華、精選、精讀內容。部分文章推送時未能與原作者取得聯繫。若涉及版權問題，請原作者致電15034081448聯繫我們。
轉載請註明來源
大綱：
1.回顧
2.不等式的拉格朗日乘數法
3.拉格朗日對偶問題
4.總結
附錄：大自然的對偶現象
本文的內容其實很簡單，就在「4.總結」的那張圖中：先把上一集中的問題轉變成一個拉格朗日函數的問題，然後為了方便解決，去研究這個問題的對偶問題，發現對偶問題和原問題其實是一樣的。
1.回顧
前面我們把最大間隔分類器的思想用數學形式表達了出來，簡單回憶一下（以下，分類器=超平面）。
· 什麼是線性分類器？
可以把兩種不同類別樣本分開的線性模型（或者超平面）。
· 什麼是最大間隔分類器？
所有線性分類器（或者超平面）中，可以把不同類別樣本分的最開的那個。
· 最大間隔分類器，具體如何去定義？
最大間隔分類器，可以使兩類樣本到它的距離都最大的那個超平面——也就是這個超平面可以將兩類樣本分的最開。
· 如果樣本不是一個，而是一組，那麼到一個超平面的距離怎麼衡量？
取這組樣本中距超平面最近的那個點到超平面的距離。
· 上面說的「距離」是什麼？
就是直觀看到的那個「幾何距離」。它的公式
· 如此定義的最大間隔分類器，其數學表達式什麼？
以上都是前面三集的內容，不明白的同學在微信公眾號「私募工場」回復「svm1」、「svm2」、「svm3」查看。由於目前是實時更新，有想交流的同學也可以加小編的微信號（見文章結尾處）入群與眾多相關人士交流。
2. 不等式的拉格朗日乘數法
在我們學高數的時候，都知道那個熟的不能在熟的「拉格朗日乘數法」了，但我知道，除了考研黨們，大部分的人估計也忘的差不多了，現在簡單回憶一下。
————複習拉格朗日乘數法————
假設我們要求f(x)的最小值，約束條件是h(x)=0，即：
Min f(x)
s.t hi(x)=0,i=1,2…n
那麼可以引入拉格朗日算子a，構造拉格朗日函數：
然後對x和a求偏導，使偏導數等於0，然後解出x和a。
————以上就是拉格朗日乘數法————
但是，這裡遇到的不是那麼簡單的一個等式約束，而是一個不等式哦。
我們仍可以通過拉格朗日函數將約束條件融合到目標函數裡去，首先，仍然構造拉格朗日函數：
然後，我們令
為什麼呢？我們將用下面的圖予以說明：
3. 拉格朗日對偶問題
在上面，我們已經把不等式的約束問題也轉變為了一個p*的問題。
但其實是仍然個很難解決的問題，因為我們要先解決不等式約束的max問題，然後再在w上求最小值。怎麼辦呢？如果能把順序換一下，先解決關於w的最小值，在解決關於a的不等式約束問題就好了。即，
這個d*就是p*的對偶形式，也即原問題的對偶形式，可惜的是，對偶歸對偶，卻未必相等！因為，
這個不等式有一個很裝逼的名字，叫弱對偶性質（Week Duality），最大值中最小的一個，也要大於等於最小值中最大的一個。這個性質從常識上想想，也是可以理解的。同時，我們可以得到一個對偶間隙，即p*-d*。
話說回來，如果我們這裡恰好能夠取等號，即對偶間隙消失就好了。
說到這裡數說君要感慨一下這世界上的諸多「定理」、「條件」們，平時讀書的時候被這些狗屁定理定律條件折磨的死去活來，真正要用的時候才覺得，發現這些定理的大神們真真兒的是救星啊~！
現在就要說一個定理，來拯救我們於水火：
在凸優化理論中，有一個Slater定理，當這個定理滿足，那麼對偶間隙就會消失，即：
此時稱為強對偶性質（strong Duality）。幸運的是，我們這裡滿足Slater定理。
什麼是Slater定理？感興趣的可以了解一下，但我個人認為這對下一步的學習不重要。
————Slater定理（不重要）————
若凸優化問題存在嚴格可行解，即存在x，滿足
則優化問題具有強對偶性（原問題中的不等式約束是f(x) ≤ 0）。
Slater定理其實就是說，存在x，使不等式 約束中的「小於等於號」要嚴格取到「小於號」。
————Slater定理（不重要）————
好啦，現在Slater定理滿足，我們有p*= d*，但是還不行，為什麼？因為p* 和d*可能都有不止一個解，我們得保證p* = d*的解為最優解才行——怎能辦？麻煩還沒解決。別急，下面一個「KKT條件」的東東可以幫助我們。
————KKT條件————
怎樣才能滿足呢KKT條件呢？KKT條件又是什麼呢？很簡單，以我們這裡的問題為例，怎樣才能滿足KKT條件？
——當滿足Slater條件、且F(w,b,a)對w和b都可微時，KKT條件滿足；
KKT條件又是什麼？
——該條件如下：
①
②
也就是說，p* =d*的解即為最優解。
————KKT條件—————
咦？是不是圖片顯示不了呀？怎麼①②後面都是空白？
實際上我故意留空的，不想把東西弄複雜。各位觀眾只要知道我們這裡KKT條件是滿足的，然後KKT條件的內容可以決定我們的問題為最優解就好了，至於KKT條件到底是什麼，我留在下幾集再說，因為這個條件可以幫助我們簡化求解。這裡寫出來後會破壞文章的美感。
下面我們就徹底拋開p*，只研究d*就可以了。
首先我們固定a，讓F關於w和b最小化，老辦法，對w和b求導：
然後帶入到F(w,b,a)中去，
接著，我們可以求對a的極大了，也就是說，我們剩下的問題僅僅剩下：
下一步，我們就要求這個問題，得到a的值，進而就可以知道w和b的值了。
那麼這個a怎麼解？這是我們後面要講的了——SMO高效優化算法。
4. 總結
我們完善一下前面的那張流程圖，得到本文的一個大綱：
來源：數據工作室
話題匯總：
《私募相關法規》系列
中國12大類金融牌照全解析（回復pz獲取全文）
【證監會】中華人民共和國證券投資基金法（回復jjf獲取全文）
【證監會】私募投資基金監督管理暫行辦法（回復smgl獲取全文）
私募基金登記備案流程、答疑及參與併購重組業務規則介紹（回復simbab獲取全文）
【實用知識】私募基金公司如何備案（回復simba獲取全文）
【證監會】私募投資基金管理人登記和私募投資基金備案流程（回復simgd獲取全文）
私募基金所得稅制度全解（回復sims獲取全文）
設立有限合夥私募基金詳細步驟（回復yxhh獲取全文）
中國金融體系：錢是如何流動的？（回復jrtx獲取全文）
金融模型·量化投資系列
【量化投資】量化投資之多因子選股模型(回復關鍵詞「dyz」可查看)
【量化投資】量化投資之量化投資之動量反轉(回復關鍵詞「dlfz」可查看)
【量化投資】量化投資之資本資產定價模型（CAPM）(回復關鍵詞「capm」可查看)
【投資乾貨】量化投資的主要方法(回復關鍵詞「zyff」可查看)
【科研動態】Fama&French五因素模型(回復關鍵詞「wuys」可查看)
算法理論&代碼
【實用技能】支持向量機SVM第一講(回復關鍵詞「svm1」可查看)
【實用技能】支持向量機SVM第二講(回復關鍵詞「svm2」可查看)
SVM系列第三講：最大間隔分類器(回復關鍵詞「svm3」可查看)
《宏觀經濟研究》系列
「一帶一路」最全最深度解析(回復關鍵詞「ydyl」可查看)
【同業動態】中國經濟不行了？9張圖告訴你(回復關鍵詞「9zgjj」可查看)
如何理解市場的快速上漲？(回復關鍵詞「nsyl」可查看)
《大數據與金融業》資訊系列
等待更新
其他科普文/趣文/資訊：
股票的由來(回復關鍵詞「gpyl」可查看)
【實用知識】看懂這9張思維導圖，分析股市沒難度！(回復關鍵詞「gsfx」可查看)
【科研前沿】費馬大定理：一部跨時代的驚險小說(回復關鍵詞「fmxs」可查看)
【科研前沿】神秘的財富公式--凱利公式(回復關鍵詞「klgs」可查看)
私募工場QQ群、微信群招募群友
私募工場專注客觀、獨立、完全服務於投資者，目前設有私募工場QQ群、微信群，群友均來自公募、私募、券商、銀行、保險及海外金融機構的相關人員。
入群要求：公募基金、私募基金、券商、銀行資管及其他金融機構從事資管產品設計、量化投資策略研究工作的人員。
入群方式：添加群主QQ號：506743560；微信號：Guoguo_06-08，申請驗證時請留下您的姓名+公司+職位。通過審核後將儘快安排您入群。