求最優化方法:拉格朗日乘數法 圖解高等數學-下 15

2020-12-02 遇見數學

11.8 Lagrange 乘子

如果是求定義域內約束在某個區域內函數的極值, 可以用本次講述的 Lagrange乘子法.

約束最大值和最小值

觀察下面函數 f(x,y)=49-x^2y^2 受約束 g(x,y)=x+3y-10=0 的圖形.

求雙曲柱面 x^2z^2-1=0 上到原點最近的點的一個方法是設想中心在原點的球面不斷膨脹, 直到剛剛接觸到柱面. 此時柱面和球面有同樣的切平面和法線.

Lagrange 乘子法

若函數 f(x,y,z) 的變量受約束 g(x,y,z)=0限制, 函數的極值可以用下面Lagrange乘子法求出.

現在看函數 f(x,y)= x y 在橢圓 x^2/8+y^2/2=1 上的最大值和最小值, 現在看下解的幾何解釋. f(x,y)=x y 的等高線圖是雙曲線 x y=c , 如下:

從上圖可是雙曲線離開原點越遠, f 的絕對值越大. 需要在約束條件下 - 橢圓 x^2+4y^2=8 上使 f(x,y) 取極值點. 也就是剛剛與橢圓相切的雙曲線會距離原點最遠, 在這四個切點中, 雙曲線的法線也是橢圓的法線. 觀察下圖動畫, 可以看到黑色 "▽f"是 "▽g"的數值倍數.

帶兩個約束條件的 Lagrange 乘子法

如果是兩個約束限制的可微函數求極值, 這裡 g1(x,y,z)=0 和 g2(x,y,z)=0, 可微且梯度向量不平行. 可以通過引進兩個 Lagrange乘子 λ 和 μ, 通過求解下面方程中的 x,y,z,λ,μ 值來求出極值點的位置:

曲面 g1=0 和 g2=0 通常會相交於一條曲線 C. 沿著這條曲線尋找 f 相對於曲線上其他值的極大值和極小值的點.

例如下面例子中平面 x+y+z=1 (g1)相交於圓柱 x^2+y^2=1 (g2) 為一個橢圓, 求這個橢圓上離原點最遠的點. 觀察 ▽g1 正交於平面 x+y+z=1, 而 ▽g2 正交於曲面 x^2+y^2=1, 向量 ▽g1 和 ▽g2 位於垂直與橢圓曲線的 C (下圖紅色)的平面內. 並且 ▽f 也正交於 C, 且在 ▽g1 和 ▽g2 決定的平面內, 這意味這對於某個 λ 和 μ 有 ▽f = λ ▽g1 + μ ▽g2. 觀察下圖來更好理解:

遇見數學, 遇見更精彩的自己!

感謝關注和轉發!

相關焦點

  • 拉格朗日乘數法
    拉格朗日乘數法 在數學最優問題中,拉格朗日乘數法(以數學家約瑟夫·路易斯·拉格朗日命名)是一種尋找變量受一個或多個條件所限制的多元函數的極值的方法。這種方法將一個有n 個變量與k 個約束條件的最優化問題轉換為一個有n + k個變量的方程組的極值問題,其變量不受任何約束。
  • 拉格朗日乘數法介紹
    拉格朗日乘數法從數學意義入手,通過引入拉格朗日乘子建立極值條件,對n個變量分別求偏導對應了n個方程,然後加上k個約束條件(對應k個拉格朗日乘子)一起構成包含了(n+k)變量的(n+k)個方程的方程組問題,這樣就能根據求方程組的方法對其進行求解。
  • 不等式專題之二元條件最值中的拉格朗日乘數法
    在均值不等式專題中有一類求最值的題目,題目給出了關於x,y的一個二元等式,讓求一個關於x,y式子的最值,此類問題的解法在高中階段一般有兩種做法,一種是利用等式關係,將目標式子轉化為求一元最值,另一種是根據所求式子,並對其變形,結合條件最後轉化為關於x,y的基本等式,第一種方法很直接
  • 支持向量機(三):圖解KKT條件和拉格朗日乘子法
    前言支持向量機求解最優化參數的過程中需要用到拉格朗日乘子法和KKT條件,本文用清晰易懂的圖解法說明拉格朗日乘子法和
  • 深入理解拉格朗日乘子法和KKT條件
    ,拉格朗日乘子法(Lagrange Multiplier) 和KKT條件是非常重要的兩個求取方法,對於等式約束的優化問題,可以應用拉格朗日乘子法去求取最優值;如果含有不等式約束,可以應用KKT條件去求取。
  • 高等數學——多元函數極值及其求法
    本篇文章要講的是多元函數極值及其求法,主要包含三個內容:多元函數的極值、最值的應用問題、條件極值。方法小結:第一步:求駐點第二步:判別,求二階偏導數的各個點(主要是能把A、B、C分清)例如:解:第一步:
  • 高等數學入門——拉格朗日中值定理
    系列簡介:這個系列文章講解高等數學的基礎內容,注重學習方法的培養,對初學者不易理解的問題往往會不惜筆墨加以解釋。
  • 高等數學(微積分)極限求法大全
    (公眾號裡數學公式的顯示很特別,想要更好的閱讀本文,請閱讀原文)高等數學裡, 求極限的技巧特別多, 這也正是因為極限的求法相對比較難
  • 【直觀詳解】拉格朗日乘法和KKT條件
    【閱讀時間】8min - 10mun【內容簡介】直觀的解讀了什麼是拉格朗日乘子法,以及如何求解拉格朗日方程,並且給出幾個直觀的例子,針對不等式約束解讀了KKT條件的必要條件和充分條件拉格朗日乘法(Lagrange multiplier)是一種在最優化的問題中尋找多元函數在其變量受到一個或多個條件的相等約束時的求局部極值的方法。
  • 拉格朗日乘子法
    為了解決上一篇中SVM的優化問題,我們需要用到一些數學方法。這一篇先來介紹拉格朗日乘子法。 問題由來 在對函數優化時,如果沒有限制條件,一般直接對其求導,然後令導數為0,即可求解出極值點。但在更多的情況下,是有一些約束條件的。
  • [算法系列]最優化問題綜述
    含等式約束的優化問題含不等式約束的優化問題2 求解策略針對以上三種情形,各有不同的處理策略:無約束的優化問題:可直接對其求導,並使其為0,這樣便能得到最終的最優解;含等式約束的優化問題:主要通過拉格朗日乘數法將含等式約束的優化問題轉換成為無約束優化問題求解
  • 602高等數學(乙)考試大綱-中國科學院大學碩士研究生入學考試
    二、考試的基本要求要求考生比較系統地理解高等數學的基本概念和基本理論,掌握高等數學的基本方法。要求考生具有抽象思維能力、邏輯推理能力、空間想像能力、數學運算能力和綜合運用所學的知識分析問題和解決問題的能力。
  • 中國科學院大學碩士研究生入學考試 601高等數學(甲)考試大綱
    二、 考試的基本要求要求考生系統地理解高等數學的基本概念和基本理論,掌握高等數學的基本方法。要求考生具有抽象思維能力、邏輯推理能力、空間想像能力、數學運算能力和綜合運用所學的知識分析問題和解決問題的能力。
  • 拉格朗日乘子法與KTT條件
    帶約束的優化過程應用非常普遍,拉格朗日乘子法以及其推廣KTT條件是凸函數求解極值時中常用的方法。
  • 如何搞定機器學習中的拉格朗日?看看這個乘子法與KKT條件大招
    一 前置知識本文引用地址:http://www.eepw.com.cn/article/201709/363864.htm  拉格朗日乘子法是一種尋找多元函數在一組約束下的極值方法,通過引入拉格朗日乘子,可將有m個變量和n個約束條件的最優化問題轉化為具有
  • 【散度定理】圖解高等數學-下 28
    統一化的積分定理我想暫時圖解高數系列到這裡做一個完結, 餘下就是對這兩個系列《圖解普林斯頓微積分讀本》和《圖解高等數學 - 下》做進一步修改和補充的工作.
  • 2015考研數學暑期複習:高等數學之多元函數微分學
    高等數學中有多元函數微分學,多元函數積分學。從本質上講多元是一元的升華,相應的理論和方法也可以從一元那裡類比過來。但是多元部分也有自己的特點,它與一元部分也有所區別。  1.深刻理解概念  前面我說了多元與一元有聯繫,但也有區別。所以在這裡,我說的深刻理解概念就是要說清楚多元函數微分學與一元函數微分學的區別以及大家需要注意的地方。
  • 通俗易懂 | SVM之拉格朗日乘子法
    在SVM中,將約束問題轉化成非約束問題採用到了拉格朗日乘子法。這個文章就講一下拉格朗日乘子法與KKT約束是怎麼回事。本人不是數學科班出身,但是也只能硬著頭皮講一講了。先畫出函數圖像:然後想求出最短距離:
  • 學霸計劃 | 高等數學(下)知識點總結
    原標題:學霸計劃 | 高等數學(下)知識點總結 明天就要考高數啦~ 你是不是還在緊張地玩手機呢 不如跟著「學霸計劃」一起 回顧一下本學期高數的內容吧~ 首先我們學習了空間解析幾何