點擊上方「計算機視覺life」,選擇「星標」
快速獲得最新乾貨
來源丨https://www.cnblogs.com/shine-lee/p/11715033.html梯度是微積分中的基本概念,也是機器學習解優化問題經常使用的數學工具(梯度下降算法),雖然常說常聽常見,但其細節、物理意義以及幾何解釋還是值得深挖一下,這些不清楚,梯度就成了「熟悉的陌生人」,僅僅「記住就完了」在用時難免會感覺不踏實,為了「用得放心」,本文將嘗試直觀地回答以下幾個問題,
為什麼說梯度方向是上升最快的方向,負梯度方向為下降最快的方向?閒話少說,書歸正傳。在全篇「作用域」內,假定函數可導。
偏導數在博文《單變量微分、導數與鏈式法則》(https://www.cnblogs.com/shine-lee/p/10324601.html)中,我們回顧了常見初等函數的導數,概括地說,
導數是一元函數的變化率(斜率)。導數也是函數,是函數的變化率與位置的關係。
如果是多元函數呢?則為偏導數。
偏導數是多元函數「退化」成一元函數時的導數,這裡「退化」的意思是固定其他變量的值,只保留一個變量,依次保留每個變量,則
以二元函數為例,令
在分別固定
由上可知,一個變量對應一個坐標軸,偏導數為函數在每個位置處沿著自變量坐標軸方向上的導數(切線斜率)。
如果是方向不是沿著坐標軸方向,而是任意方向呢?則為方向導數。如下圖所示,點
Directional Derivative
https://www.geogebra.org/m/Bx8nFMNc
方向導數為函數在某一個方向上的導數,具體地,定義
上面推導中使用了鏈式法則。其中,
該位置處,任意方向的方向導數為偏導數的線性組合,係數為該方向的單位向量。當該方向與坐標軸正方向一致時,方向導數即偏導數,換句話說,偏導數為坐標軸方向上的方向導數,其他方向的方向導數為偏導數的合成。
寫成向量形式,偏導數構成的向量為
梯度梯度,寫作
我們繼續上面方向導數的推導,
其中,
至此,方才有了梯度的幾何意義:
在講解各種優化算法時,我們經常看到目標函數的等高線圖示意圖,如下圖所示,來自連結
Applet: Gradient and directional derivative on a mountain
https://mathinsight.org/applet/gradient_directional_derivative_mountain
圖中,紅點為當前位置,紅色箭頭為梯度,綠色箭頭為其他方向,其與梯度的夾角為
將左圖中
梯度與等高線垂直。為什麼呢?
等高線,顧名思義,即這條線上的點高度(函數值)相同,令某一條等高線為
這裡,兩邊同時全微分的幾何含義是,在當前等高線上挪動任意一個極小單元,等號兩側的變化量相同。
更進一步地,梯度方向指向函數上升最快的方向,在等高線圖中,梯度指向高度更高的等高線。
隱函數的梯度同理,對於隱函數
即,隱函數的梯度為其高維曲面的法向量。
有了法向量,切線或切平面也就不難計算得到了。令曲線
小結至此,文章開篇幾個問題的答案就不難得出了,
方向導數為梯度在該方向上的合成,係數為該方向的單位向量;梯度方向為方向導數最大的方向,梯度的模為最大的方向導數;等高線全微分的結果為0,所以其梯度垂直於等高線,同時指向高度更高的等高線隱函數可以看成是一種等高線,其梯度為高維曲面(曲線)的法向量以上。
參考
Gradients and Partial DerivativesApplet: Gradient and directional derivative on a mountain專輯:計算機視覺方向簡介
專輯:視覺SLAM入門
專輯:最新SLAM/三維視覺論文/開源
專輯:三維視覺/SLAM公開課
專輯:深度相機原理及應用
專輯:手機雙攝頭技術解析與應用
專輯:相機標定
專輯:全景相機
從0到1學習SLAM,戳↓
視覺SLAM圖文+視頻+答疑+學習路線全規劃!
歡迎加入公眾號讀者群一起和同行交流,目前有SLAM、三維視覺、傳感器、自動駕駛、計算攝影、檢測、分割、識別、醫學影像、GAN、算法競賽等微信群(以後會逐漸細分),請掃描下面微信號加群,備註:」暱稱+學校/公司+研究方向「,例如:」張三 + 上海交大 + 視覺SLAM「。請按照格式備註,否則不予通過。添加成功後會根據研究方向邀請進入相關微信群。請勿在群內發送廣告,否則會請出群,謝謝理解~
投稿、合作也歡迎聯繫:simiter@126.com
掃描關注視頻號,看最新技術落地及開源方案視頻秀 ↓