方向導數和梯度是什麼?

2020-12-07 別跡無涯

為什麼梯度的方向是函數在該點的方向導數最大的方向,梯度的模是最大方向導數的值?大家在看複習全書時,有認真想過這個問題嗎?小編在本文以二元函數為例詳細講解方向導數和梯度,並試圖以儘可能通俗地語言回答上述問題。

1.梯度

首先看看二元函數梯度的定義:

如果函數f(x,y)在定義域D內具有一階連續偏導數,則對於定義域內D每一點P(x0, y0),都存在如下向量:

則稱上述向量為函數f(x,y)在點P的梯度,記作:

而下面的算子稱為向量微分算子或哈密頓算子(nabla算子):

至於為什麼在梯度定義中,要附加強要求,即函數f(x, y)在定義域內具有一階連續偏導數,說實話,小編也沒搞清楚。有人說具有一階連續偏導,則必然可微,然後可以將梯度和方向導數聯繫起來,這說法有一定道理,但是可微與一階連續偏導並不是等價的。儘管學習時有些知識點不甚理解,但是切記一定要以定義為準,科學家之所以這麼定義,必然有其實際和理論上的考慮。

接下來,仔細看看梯度。函數f(x,y)在點P的梯度是向量,向量是有大小和方向的,那函數在P點梯度的方向和大小是?

這就涉及到向量的加法了,請看下圖。下圖標紅色的部分用向量l表示,向量l的方向就是梯度的方向,向量l的模就是梯度的大小。

圖1. 梯度示意圖

2.方向導數

在討論方向導數前,大家還記得導數、偏導數的幾何意義嗎?在一元函數中,某一點的導數就是曲線在該點的切線的斜率,也就是反映函數在該點的變化率。在二元函數中,偏導數反映的是函數沿x軸方向或y軸方向的變化率。而方向導數描述的是函數沿某一方向的變化率,在二元函數中,除了坐標軸兩個方向外,還存在其它無數個方向,因此,方向導數用於研究函數沿各個不同方向時函數的變化率。

同偏導數定義類似,請看看下面這種方向導數的定義:

結合下面這道例題來幫助大家理解方向導數的定義:

首先要確定直線l的方向,看下圖:

圖2. 方向導數中直線l的方向示意圖

在圖2中α、β分別為直線l與x軸正方向、y軸正方向的夾角。α、β共同表示直線l的方向。由圖2,不難得出如下關係式:

現在假設在直線l上的點P,沿著直線l正方向即箭頭方向前進一個單位長度1,對應於在橫軸上移動cosα,在縱軸上移動cosβ。也就是說,當從p點沿直線正方向移動距離t時,二元函數自變量x變動tcosα,自變量y變動tcosβ,此時方向導數定義將變為如下形式:

按照上述定義,將函數z的相關數據帶入進去,得:

現在看看方向導數與偏導數的關係。若函數f(x, y)在點P(x0, y0)可微,有:

至於如何證明上式,只要大家結合前面兩個關於方向導數的定義,不難證明,你試試吧!

3.方向導數與梯度的關係

為方便理解,不妨把方向導數與梯度的條件和關係式放到:

方向導數是標量,只有大小,沒有方向。當函數f(x, y)在點P(x0, y0)可微時,存在如下關係式:

梯度是矢量,既有大小,又有方向,且梯度前提是函數f(x, y)具有連續一階可偏導:

從方向導數和梯度的定義看,給定曲線上一點,梯度也隨之確定,但是方向導數還沒確定,所以可以從方向導數推向梯度。

可能你認為當cosα=cosβ=1,方向導數最大,但是你忽略了可行性的問題,因為沒有哪條直線能夠既與x軸重合,由於y軸重合。事實上α與β存在如下關係:

將上式帶入方向導數定義中,可得:

從上式,可以輕鬆得到如下結論:

方向導數最大的方向,為梯度方向,最大方向導數是梯度的模。方向導數最小的方向,為梯度方向的反方向,最小方向導數是梯度的模的相反數。

相關焦點

  • 【方向導數, 梯度向量和切平面】圖解高等數學 -下 12
    11.5 方向導數, 梯度向量和切平面根據鏈式求導法則可知, 如果 f(x,y) 是可微的,則 f 沿曲線 x=g(t), y=h(t) 對於
  • 如何直觀形象的理解方向導數與梯度以及它們之間的關係?
    下面我一開始不提梯度的概念,完全根據自己的理解進行下文的梳理,一步一步推出梯度的來歷:導數
  • 形象直觀的「偏導數」和「梯度」原理
    偏導數和梯度是數學中的重要概念,貫穿於許多自然學科,本篇就用形象的圖形來解釋它們的原理圖中是有X Y 變量 和有X Y變量組成的函數Z=f(X,Y)圖形>我們保持X值不變,僅改變Y值得情況下如圖Z值僅隨Y值在變化,所以Z的變化量除以Y的變換量就是該線的斜率將X換個固定值,同樣Z的變化量除以Y的變換量就是該線的斜率,只是斜率的大小不一樣Z的增量除以Y的增量,我們稱之為Z對Y的偏導數同理,我們保持
  • 梯度原理:梯度在每一點上都指向函數增長最快的方向
    已知梯度和方向,我們可以立即得到函數在該方向上的斜率所以,至少我們知道如何描繪梯度;對於二維函數,它將在平面上顯示為一連串的箭頭。實際上,我們可以做的更好,梯度的向量場有一個非常特殊且易於解釋的形狀:梯度場總是指向上坡,即函數在該點處的方向導數沿著該方向取得最大值。
  • 機器學習 梯度到底是什麼
    梯度,到底是什麼?很容易混淆。站在山底,哪個方向爬坡最快,這個容易想像,但問題是,如果所在的高度是我們優化的目標的話,這個爬坡的方向並不是梯度的方向,這個是我們的目標值(函數值)的變化趨勢。我們先看一下定義:即:梯度是一個向量,而向量就有方向,該方向是方向導數取得最大值的方向,那方向導數是什麼?可見:方向導數是一個數方向指的是函數定義域的內點變化的方向 綜上,自變量沿著該方向變化,使函數值變化最大,機器學習中,函數值就是我們的優化目標。當函數值是損失函數值的時候,我們期望的是最小值,這個時候取梯度的反方向,即梯度下降即可。
  • 吳恩達深度學習(20)-激活函數的導數和神經網絡的梯度下降
    激活函數的導數(Derivatives of activation functions)在神經網絡中使用反向傳播的時候,你真的需要計算激活函數的斜率或者導數。1,0;當然z=0的情況很少4)Leaky linear unit (Leaky ReLU)與ReLU類似註:通常在z=0的時候給定其導數1,0.01;當然z=0的情況很少神經網絡的梯度下降(Gradient descent for neural networks)下面會給你實現反向傳播或者說梯度下降算法的方程。
  • 在線計算專題(03):具體、抽象函數的導數、微分與方向導數的計算
    5、方向導數的計算例1  計算以下函數指定方向的方向導數:輸入表達式為derivative of x e^(2y)+cos(x y) in the direction (3,-4)不僅給出了方向導數,也給出了函數的梯度向量.
  • 梯度下降算法詳解
    則導函數本身則代表著函數沿著x方向的變化率二元函數對於二元函數,z=f(x,y),它對x和y的偏導數分別表示如下:函數在y方向不變的情況下,函數值沿x方向的變化率函數在x方向不變的情況下,函數值沿y方向的變化率有了以上的了解,我們分別知道了函數在單獨在x和y方向上的變化率現在有一個問題,我想知道函數在其他方向上的變化率怎麼辦
  • 梯度、散度和旋度
    Gradient梯度、Divergence散度和旋度是矢量分析裡的重要概念。之所以是「分析」,因為三者是三種偏導數計算形式。
  • 十二、梯度和散度--流體力學理論知識
    這次我們通過介紹梯度和散度,來掌握一些公式化簡的技巧。1. 梯度算子          什麼叫梯度算子? 梯度        了解了什麼是梯度算子之後,我們能夠很容易的得到梯度公式。2) 梯度的方向表示標量變化最快的方向,梯度的模表示標量變化最快方向的變化量及最大變化量。3) 柱坐標下的梯度算符        此處的加法並非數學運算的加法,而是向量的表達方法。其中分別是柱坐標下三個方向(徑向、切向和軸向)的單位向量 3.
  • 梯度下降背後的數學原理幾何?
    權重向量存在於 x-y 平面中,將對應每個權重的損失函數的梯度與學習率相乘,然後用向量減去二者的乘積。偏導數是用於更新參數 θ0、θ1和alpha(學習率)的梯度,而alpha是需要用戶自己給定的非常重要的超參數。M 代表更新的次數,i 代表梯度更新的起始點。
  • 過度深入研究自然梯度優化
    所有現代深度學習模型都使用梯度下降進行訓練。 在梯度下降的每個步驟中,您的參數值從某個起始點開始,然後將它們移動到最大損失減少的方向。 你可以通過從你的整個參數向量中獲取損失的導數來實現這一點,否則稱為雅可比行列式。 然而,這只是損失的一階導數,它沒有告訴你曲率的任何信息,或者說,一階導數變化的有多快。
  • 機器學習 101:一文帶你讀懂梯度下降
    簡單地說,導數指向上升最陡的方向。恰巧的是,梯度和導數基本上是一樣的。除了一點,即梯度是一個向量值函數,向量裡包含著偏導數。換句話說,梯度是一個向量,它的每一個分量都是對一個特定變量的偏導數。  以函數f(x,y)=2x²+y²為另一個例子。
  • 一分鐘看完梯度下降法
    題圖已經非常清晰地表示什麼是梯度下降法。首先,橫軸是 weight(參數),豎軸是 Cost(損失值)。初始一個參數的開始位置,也就是圖右邊的一個大黑點,然後一步一步地往下移動,直到到達曲線底部的一個點,一般叫全局最優解,或者全局最小損失值。下面,我來說明一下,那個大黑點是如何移動的。圖一:
  • 梯度向量的意義與運用
    梯度向量是數學或自然科學中常用的一個數學工具,它的推導和講解前面的文章已經提到過很多次了,本篇主要介紹下梯度向量的運用和主要意義向量微積分在向量演算中,一個主要的課題是引入向量和三維空間,這通常作為在笛卡爾坐標系中研究的二維空間的擴展。
  • 數學|方根|反函數|梯度
    如果對於值域f(D)中的每一個y,在D中有且只有一個x使得g(y)=x,則按此對應法則得到了一個定義在f(D)上的函數,並把該函數稱為函數y=f(x)的反函數,記為由該定義可以很快得出函數f的定義域D和值域f(D)恰好就是反函數f-1的值域和定義域,並且f-1的反函數就是f,也就是說,函數f和f-1互為反函數,即:
  • 多元函數微分學——方向導數的定義
    維基百科: 仔細看一下上面的定義,你會發現其中的不同,可以分為兩派——高數和百度是一派,數分和維基是一派。       分析一下可知高數和百度上的定義可知求方向導數時,由曲面上一點朝著一個方向引一條與曲面相切的射線,而數分和維基的定義,則曲面上一點朝著一個方向引一條與曲面相切的直線。類比一下一元函數,數分和維基對方向導數的定義就相當於一元函數對導數的定義,高數和百度對方向導數的定義就相當於一元函數對單側導數的定義。
  • 數學視野:我們用不一樣的方法得到梯度公式
    如果能有一個梯度的公式,計算起來會很方便。為了更好地描述梯度場,我們需要選擇一個坐標系,為了簡單起見,我們將堅持使用笛卡爾坐標系。這裡,我們有兩個基向量;一個平行於x軸,一個平行於y軸,每個都是單位長度向量。
  • 為什麼梯度的方向與等高線切線方向垂直
    梯度下降的算法中學習中,會使用三維曲面去描述梯度的更新。而在三維曲面上的梯度更新過程中,很多地方出現梯度的下降方向是如下這樣走的:從圖上能夠看出,梯度下降的方向與等高線的切線方向垂直。那麼為什麼會垂直呢?這是由公式推出的。
  • 一文讀懂線性回歸和梯度下降
    線性回歸(Linear Regression)    首先要明白什麼是回歸。回歸的目的是通過幾個已知數據來預測另一個數值型數據的目標值。假設特徵和結果滿足線性關係,即滿足一個計算公式h(x),這個公式的自變量就是已知的數據x,函數值h(x)就是要預測的目標值。