如何直觀形象的理解方向導數與梯度以及它們之間的關係?

2021-02-20 輕鬆學高等數學

下面我一開始不提梯度的概念，完全根據自己的理解進行下文的梳理，一步一步推出梯度的來歷：

導數


導數的幾何意義可能很多人都比較熟悉: 當函數定義域和取值都在實數域中的時候，導數可以表示函數曲線上的切線斜率。 除了切線的斜率，導數還表示函數在該點的變化率。

將上面的公式轉化為下面圖像為：

直白的來說，導數代表了在自變量變化趨於無窮小的時候，函數值的變化與自變量變化的比值代表了導數，幾何意義有該點的切線。物理意義有該時刻的（瞬時）變化率...

注意在一元函數中，只有一個自變量變動，也就是說只存在一個方向的變化率，這也就是為什麼一元函數沒有偏導數的原因。

偏導數


既然談到偏導數，那就至少涉及到兩個自變量，以兩個自變量為例，z=f(x,y) . 從導數到偏導數，也就是從曲線來到了曲面. 曲線上的一點，其切線只有一條。但是曲面的一點，切線有無數條。

而我們所說的偏導數就是指的是多元函數沿坐標軸的變化率.

指的是函數在y方向不變，函數值沿著x軸方向的變化率

指的是函數在x方向不變，函數值沿著y軸方向的變化率

對應的圖像形象表達如下：

那麼偏導數對應的幾何意義是是什麼呢？


方向導數

終於引出我們的重頭戲了，方向導數，下面我們慢慢來走進它

山坡圖如下：

假設山坡表示為z=f(x,y),你應該已經會做主要倆個方向的斜率.

y方向的斜率可以對y偏微分得到.

同樣的，x方向的斜率也可以對x偏微分得到

那麼我們可以使用這倆個偏微分來求出任何方向的斜率（類似於一個平面的所有向量可以用倆個基向量來表示一樣）

那麼我們來考慮如何求出u向的斜率，可以類比於前面導數定義，得出如下：

這就是方向導數的計算公式.

更多概念解析請點擊閱讀原文

相關焦點

  • 形象直觀的「偏導數」和「梯度」原理
    偏導數和梯度是數學中的重要概念，貫穿於許多自然學科，本篇就用形象的圖形來解釋它們的原理圖中是有X Y 變量 和有X Y變量組成的函數Z=f（X,Y）圖形>我們保持X值不變，僅改變Y值得情況下如圖Z值僅隨Y值在變化，所以Z的變化量除以Y的變換量就是該線的斜率將X換個固定值，同樣Z的變化量除以Y的變換量就是該線的斜率，只是斜率的大小不一樣Z的增量除以Y的增量，我們稱之為Z對Y的偏導數同理，我們保持
  • 方向導數和梯度是什麼?
    有人說具有一階連續偏導，則必然可微，然後可以將梯度和方向導數聯繫起來，這說法有一定道理，但是可微與一階連續偏導並不是等價的。儘管學習時有些知識點不甚理解，但是切記一定要以定義為準，科學家之所以這麼定義，必然有其實際和理論上的考慮。接下來，仔細看看梯度。函數f(x,y)在點P的梯度是向量，向量是有大小和方向的，那函數在P點梯度的方向和大小是？
  • 梯度下降算法詳解
    總之梯度下降算法的用處十分廣泛，我們有必要對它進行更加深入的理解。關於梯度下降算法的直觀理解關於梯度下降算法的直觀理解，我們以一個人下山為例。比如剛開始的初始位置是在紅色的山頂位置，那麼現在的問題是該如何達到藍色的山底呢？
  • 梯度下降背後的數學原理幾何?
    梯度表示圖形切線的斜率，該斜率指向函數最大增長率的方向。這個導數代表了成本函數的趨勢或斜率值。本質上，任何給定函數 f 的梯度（通常用f表示）可以解釋為一個向量所有偏導數的集合。想像自己站在函數 f 以一定間隔排列的點（x0，y0…）之中。向量f（x0，y0…）將識別出使 f函數值增加的最快行進方向。有趣的是，梯度矢量f（x0，yo…）也垂直於函數 f 的輪廓線！
  • 【方向導數, 梯度向量和切平面】圖解高等數學 -下 12
    11.5 方向導數, 梯度向量和切平面根據鏈式求導法則可知, 如果 f(x,y) 是可微的,則 f 沿曲線 x=g(t), y=h(t) 對於
  • 過度深入研究自然梯度優化
    所有現代深度學習模型都使用梯度下降進行訓練。 在梯度下降的每個步驟中，您的參數值從某個起始點開始，然後將它們移動到最大損失減少的方向。 你可以通過從你的整個參數向量中獲取損失的導數來實現這一點，否則稱為雅可比行列式。 然而，這只是損失的一階導數，它沒有告訴你曲率的任何信息，或者說，一階導數變化的有多快。
  • 梯度原理:梯度在每一點上都指向函數增長最快的方向
    已知梯度和方向，我們可以立即得到函數在該方向上的斜率所以，至少我們知道如何描繪梯度；對於二維函數，它將在平面上顯示為一連串的箭頭。實際上，我們可以做的更好，梯度的向量場有一個非常特殊且易於解釋的形狀：梯度場總是指向上坡，即函數在該點處的方向導數沿著該方向取得最大值。
  • 愛銳學習 | 從物理角度直觀理解數學中的梯度、散度與旋度
    梯度的本意是一個矢量，表示某一函數在該點處的方向導數沿著該方向取得最大值，即函數在該點處沿著梯度的方向變化最快，變化率最大（為該梯度的模）。首先，學過微積分的我們都知道，如果f是x的函數，那麼f沿x軸的變化率就是df/dx。顯然，這個時候f沿平面內每個方向都存在變化率。
  • 梯度向量的意義與運用
    梯度向量是數學或自然科學中常用的一個數學工具，它的推導和講解前面的文章已經提到過很多次了，本篇主要介紹下梯度向量的運用和主要意義向量微積分在向量演算中，一個主要的課題是引入向量和三維空間，這通常作為在笛卡爾坐標系中研究的二維空間的擴展。
  • 如何理解圖像定位和跟蹤技術
    如何理解圖像定位和跟蹤技術 與非網 發表於 2019-10-12 15:25:41 在科學技術日新月異的今天，人們對機器設備的智能性、自主性要求也越來越高，希望其完全替代人的角色
  • 人腦皮層組織的大尺度梯度
    編者註：梯度：這個概念其實是個微分概念，在數學中，我們將三維空間中方向導數的最大值稱為梯度。在知乎的回答中有一個很有意思的例子，想像你在二維平面中爬一座山，很容易理解登山最快的方向就是往前走（也只有前後兩個方向可以讓你選擇）。現在你在三維空間爬一座山，你會發現可以選擇360度的方向都可以爬山。
  • 吳恩達機器學習筆記 - 線性回歸、代價函數與梯度下降
    可以將 Cost Function 的求和值理解就是下圖中三條藍色線段的長度平方之和再除以 1/ 2m，表示當前預測的函數值與實際的函數值之間的總的誤差：可以直觀的理解，藍色的線段總長度越小（誤差越小，代價越小），則預測的函數直線就越接近（1，1）（2，2）（3，3）這 3 個點。且當代價函數的值為 0 時，預測的函數直線就是 y = x（淺藍色直線），直接擬合了這 3 個訓練的數據點。
  • 如何理解全微分
    一元函數微分很容易理解，直觀，但是推廣到多維後，儘管教科書給出了嚴格定義，但總覺得中間有道坎，想不明白。本文用圖形幫助大家直觀理解全微分。
  • 最清晰的講解各種梯度下降法原理與Dropout
    限於篇幅，我們不做很深的展開，在這兒我們做一個形象的比喻，凸函數求解問題，可以把目標損失函數想像成一口鍋，來找到這個鍋的鍋底。非常直觀的想法就是，我們沿著初始某個點的函數的梯度方向往下走（即梯度下降）。
  • 機器學習 101:一文帶你讀懂梯度下降
    我絕對認為你應該花時間去理解它。因為對於初學者來說，這樣做能夠讓你更好地理解大多數機器學習算法是如何工作的。另外，想要培養對複雜項目的直覺，理解基本的概念也是十分關鍵的。  為了理解梯度下降的核心，讓我們來看一個運行的例子。這項任務是這個領域的一項老任務——使用一些歷史數據作為先驗知識來預測房價。
  • 直觀理解KKT條件
    KKT最優化條件是Karush[1939]，以及Kuhn和Tucker[1951]先後獨立發表出來的。本文不對數學公式進行詳細推導，而是從直觀上對KKT條件進行理解。當然KKT條件與拉格朗日乘子是相關聯的，看完本文後，可以參閱相關資料。無約束優化問題的極值（函數的最大值/最小值）通常發生在斜率為零的點上。
  • 梯度、散度和旋度
    Gradient梯度、Divergence散度和旋度是矢量分析裡的重要概念。之所以是「分析」，因為三者是三種偏導數計算形式。
  • 如何理解多元函數可微與可偏導的關係?
    一元函數中，可微與可導是等價的，但是在多元函數中，可微與可偏導之間的關係就沒那麼簡單了，這是為什麼呢？本文小編將以二元函數為例進行詳細的說明。下面分別列出一元函數、二元函數函數增量與自變量增量之間的關係式：對於一特定點，當A、B為常數時，即A、B與自變量增量無關，則函數在該點可微，且A、B分別為函數在該點對x、y求偏導後的偏導數。
  • 圖像學習之如何理解方向梯度直方圖(Histogram Of Gradient)
    而且好的特徵應該能夠區分紐扣和其它圓形的東西的區別。方向梯度直方圖(HOG)中，梯度的方向分布被用作特徵。沿著一張圖片X和Y軸的方向上的梯度是很有用的，因為在邊緣和角點的梯度值是很大的，我們知道邊緣和角點包含了很多物體的形狀信息。（HOG特徵描述子可以不局限於一個長度，也可以用很多其他的長度，這裡只記錄一種計算方法。）怎麼計算方向梯度直方圖呢？
  • 從零開始:教你如何訓練神經網絡
    作者會解釋什麼是損失函數，以及「訓練」神經網絡或者任何其他的機器學習模型到底意味著什麼。作者的解釋並不是一個關於神經網絡全面而深度的介紹，事實上，作者希望我們讀者已經對這些相關的概念早已瞭然於心。如果讀者想更好地理解神經網絡具體是如何運行的，讀者可以閱讀《深度學習》等相關書籍，或參閱文末提供的相關學習資源列表。