線性代數與數據學習:MIT教授Gilbert Strang幫你打下堅實的數學...

2020-12-05 機器之心Pro

機器之心編輯

作者：思源、劉曉坤

MIT 教授 Gilbert Strang 最新書籍《線性代數與數據學習》（Linear Algebra and Learning from Data）將在 1 月中旬發行。這一本書為機器學習提供了很多數學基礎，它同時也提供了深度學習一些基本概念。可以說藉助這本書，我們能從數學的角度來理解流行的模型。

書籍主頁：http://math.mit.edu/~gs/learningfromdata/

這本書的目的是解釋數據科學和機器學習所依賴的數學：線性代數、最優化、概率論和統計學。因為在機器學習中，學習函數中的權重會以矩陣形式表示，這些權重通過隨機梯度下降優化，而「隨機」一詞提示訓練收斂是概率性的。此外，概率論中的大數定律被擴展到了大函數定律：如果架構設計良好並且參數計算良好，則有很高的概率能成功收斂。

請注意這不是一本關於計算或編碼或軟體的書。已經有很多書籍對這些方面做了很好的介紹，比如《Hands-On Machine Learning》；還有很多 TensorFlow、Keras、MathWorks 和 Caffe 等的在線資源，也能提供很多幫助。

線性代數有眾多美妙的矩陣變體：對稱矩陣、正交矩陣、三角矩陣、Banded 矩陣、轉置矩陣和正定矩陣等等。在 Gilbert 的教學經驗中，他認為正定對稱矩陣 S 是非常美妙的東西。它們有正的特徵值λ和正交的特徵向量 q，它們的線性組合可以將秩為 1 的簡單映射 qq^T 與對應特徵值重構為正定矩陣 S，即：

如果 λ_1>=λ_2>=...，那麼上式特徵值λ_1 以及對應的特徵向量組成的第一個分量就是 S 最具信息的部分。對於一個簡單的協方差矩陣，這一部分就對應著對大的方差，這也是降維算法 PCA 最核心的思想。

此外，在書籍主頁中，作者還提供了試讀的樣章，包括深度學習、書籍前言、目錄、矩陣初等變換、矩陣乘法和其它一些從矩陣看卷積網絡等新知識。作者表明書籍主頁會持續更新，包括印刷計劃和全本開放閱讀等。

William Gilbert Strang

William Gilbert Strang，美國數學家，在有限元理論、變分法、小波分析和線性代數等方面皆有研究貢獻。他對數學教育做出了許多貢獻，包括出版七本數學教科書和專著。斯特朗現任麻省理工學院數學系 MathWorks 講座教授。主要講授課程為線性代數入門（Introduction to Linear Algebra，18.06）和計算科學與工程（Computational Science and Engineering，18.085），這些課程都可在麻省理工學院開放式課程中免費學習。

以下是這本書的目錄：

本文為機器之心編輯，轉載請聯繫本公眾號獲得授權。

------------------------------------------------

加入機器之心（全職記者 / 實習生）：hr@jiqizhixin.com

投稿或尋求報導：content@jiqizhixin.com

廣告 & 商務合作：bd@jiqizhixin.com

相關焦點

  • MIT大牛Gilbert Strang新書:《線性代數與從數據中學習》搶先看
    這本新書名叫Linear Algebra and Learning from Data（《線性代數與從數據中學習》），面向有一定基礎、想進階線性代數技能的同學。此次教授親自出馬再推新書，號召力非常強大。微博科技博主@愛可可-愛生活推薦後短短幾個小時，已經有200多人轉發。
  • 86歲還在錄網課:MIT教授Gilbert Strang最新「線性代數」課程上線
    在 B 站上，Strang 老爺子的「線性代數 MIT 18.06」課程也達到了 60 多萬的播放量（只是其中一個資源的統計數據），可以說是 B 站最火的英文《線性代數》課程。同時，這門課程也是 MIT 最受歡迎的課程之一。根據 OCW 官網統計的數據，這門課程自 2002 年第一次發布以來，總訪問量已經超過 1000 萬。
  • 85歲MIT教授上線全新「線性代數」公開課:大牛幫你重新梳理知識點
    課程內容，依然是線性代數教學。這一次，老爺子分享了他關於線性代數教學、學習路徑的一些建議和想法。以大牛視角，帶你重新梳理線性代數。視頻、PPT均可免費下載。在這門課中，Strang教授以獨立向量和矩陣的列空間作為學習線性代數的起點，逐步引出正交向量、特徵值和特徵向量、奇異值等知識點。
  • 如何自學MIT的應用數學課程?這裡有個參照給你
    所以，一路上伴隨著幸運和動力的我從此埋頭於研究深度學習，並且為了看懂文獻自學了所有必需的數學基礎。問題是，我漸漸開始喜歡上了數學這門學科本身。而且雖然除了線性代數、概率論和一點向量微積分之外，學習機器學習確實並不需要大量的數學知識，但我發現身邊許多優秀的人通過研究各種數學問題往往可以在機器學習中取得有趣的新突破。因此，我喜歡數學，而且夯實數學基礎看起來對於我將來的深入研究和思路拓展都十分有益。
  • 資源| 自學數據科學&機器學習?19個數學和統計學公開課推薦
    如果你正面臨著這樣的難題，不要驚慌，現在我已經把這項艱辛的工作幫你完成了。這份列表推薦了來自 Coursera、edX、Udemy 和 Udacity 的最受歡迎的數據科學數學基礎公開課。這份列表經過了精心的編排，讓你可以結構化地自學數據科學所需的數學概念。現在就開始學習吧！什麼樣的課程適合你？
  • 線性代數重要,選對教材更重要:同濟版《線性代數》引發激烈爭議
    想打下堅實數學基礎，清華學生是這樣學的所以，既然線性代數這樣學效率有點低，我們應該用什麼姿勢學習呢？其實人們一直都在思考這個問題。去年，清華大學將「線性代數」科目的課本改成英文教材就引發了人們的熱議。在 B 站上，Strang 老爺子總共 27 個多小時的「線性代數 MIT 18.06」課程也已達到了 73 萬的播放量（其中一個資源的數據），可以說是 B 站最火的英文《線性代數》課程了。當然這門課程在國外也是 MIT 最熱門的課程之一。根據 OCW 官網統計的數據，自 2002 年第一次發布以來，該課程的總訪問量已經超過 1000 萬。
  • 深度學習自學指南:6個月,從基礎知識到模型構建
    原作：Bargava安妮 編譯自 Medium量子位 出品 | 公眾號 QbitAI給你6個月的時間開始學習深度學習，能夠達到怎樣的程度？在這篇文章中，數據科學培訓老師Bargava就帶你半年入門深度學習。在這份攻略中，我將給大家講講零基礎入門深度學習可行性強的資料和學習方法。
  • 線性代數與張量?這本開放書籍幫你掃清通往ML的數學絆腳石
    機器之心編輯參與：思源數學是機器學習的基礎。史丹福大學教授 Stephen Boyd 聯合加州大學洛杉磯分校的 Lieven Vandenberghe 教授出版了一本基礎數學書籍，從向量到最小二乘法，分三部分進行講解並配以輔助資料。
  • 開源/免費數學書大合集:微積分、線代、數分、抽代…數學教授分類整理,精心推薦
    Ernst，分門別類整理出來推薦給大家的：微積分、離散數學、線性代數、抽象代數、實分析……你想要的或許都在這裡了。其中，還有一些是可以互動的課本：那麼，仔細觀察一下列表裡都有哪些寶藏。大列表是由一些小列表組成，其中最豐盛的就是微積分。
  • MIT Kleitman 教授:這是初學者該了解的微積分
    在機器學習的數學基礎中，概率論與線性代數起到了核心作用，但是我們常忽略另一個非常重要的領域：微積分。似乎我們只要了解簡單的多元微分，那麼也就能學習機器學習了。但這只是一個錯覺，我們不論想要具體了解最優化方法，還是希望窺探反向傳播的法則，微積分是不可或缺的部分。
  • 數學學習如此容易:用Python學習線性代數
    還在為學習數學而發愁嗎？看完這篇文章，希望Python能幫助你消滅數學恐懼症。用NumPy進行線性代數運算線性代數是數學的一個重要分支，比如，我們可以使用線性代數來解決線性回歸問題。子程序包numpy.linalg提供了許多線性代數例程，我們可以用它來計算矩陣的逆、計算特徵值、求解線性方程或計算行列式等。對於NumPy來說，矩陣可以用ndarray的一個子類來表示。
  • MIT線性代數(Linear Algebra)中文筆記
    說起麻省理工學院（MIT）的線性代數課，想必是看過的人一定會拍手叫好；沒看過的人也久仰大名。
  • 在數據科學領域中,你需要多少數學知識?
    引言如果你有心學習數據科學，那麼你一定會在腦海中想過下面的問題：沒有或者只有很少的數學知識，我能做一個數據科學家嗎？數據科學必需的數學工具有哪些？有很多優秀的包可用於建立預測模型或者數據可視化。其中最常用的用於描述和預測分析的一些包有：Ggplot2MatplotlibSeabornScikit-learnCaretTensorFlowPyTorchKeras">多虧了這些包，任何人都可以建立起一個模型或者實現數據可視化。然而, 堅實的數學基礎對於修改你的模型讓你的模型性能更好更加可靠來說是十分必要的。
  • 數據分析學習:入數據科學大坑,我需要什麼樣的數學水平?
    所以，本文作者闡釋了數據科學和機器學習為何離不開數學，並提供了統計學與概率論、多變量微積分、線性代數以及優化方法四個數學分支中需要熟悉的一些數學概念。本文的作者是物理學家、數據科學教育者和作家 Benjamin Obi Tayo 博士，他的研究興趣在於數據科學、機器學習、AI、Python 和 R 語言、預測分析、材料科學和生物物理學。
  • 免費在線閱讀:用於計算機視覺、機器學習、機器人的線性代數
    郭一璞 發自 凹非寺量子位 報導 | 公眾號 QbitAI研究機器學習、計算機視覺，總離不開數學，尤其是……線性代數。要是沒有一定數學基礎的話，當你看到SVM、拉格朗日乘數等各種複雜術語的時候，可能會頭禿。所以，為了有更堅實的理論基礎，從根源上理解機器學習背後的數學問題，還是好好學一下數學吧~現在，這本《用於計算機視覺、機器人和機器學習的線性代數》可能會幫上你。
  • 深度學習和機器學習的線性代數入門
    神經元是深度學習的基本單位，該結構完全基於數學概念，即輸入和權重的乘積和。至於Sigmoid，ReLU等等激活函數也依賴於數學原理。正確理解機器學習和深度學習的概念，掌握以下這些數學領域至關重要：機器學習和深度學習中的線性代數在機器學習中，很多情況下需要向量化處理，為此，掌握線性代數的知識至關重要。
  • 微積分、線性代數、概率論,這裡有份超詳細的ML數學路線圖
    深入挖掘一下，你會發現，線性代數、微積分和概率論等都和機器學習背後的算法息息相關。機器學習算法背後的數學知識你了解嗎？在構建模型的過程中，如果想超越其基準性能，那麼熟悉基本細節可能會大有幫助，尤其是在想要打破 SOTA 性能時，尤其如此。機器學習背後的原理往往涉及高等數學。例如，隨機梯度下降算法建立在多變量微積分和概率論的基礎上。
  • 清華把線性代數教材換成英文版引熱議:網友:早該換了
    「入門線性代數最好的教材」新教材長這樣：作者是MIT大學教授Gilbert Strang。他博士畢業於UCLA，之後一直在MIT任教，主要課程有「數據分析的矩陣方法」、「線性代數」、「計算機科學與工程」等，也出版過很多課程教材。這本線性代數（Introduction to Linear Algebra）就是其中之一，現在已經是第5版了。其主要內容包括行列式、矩陣、線性方程組與向量、矩陣的特徵值與特徵向量、二次型及Mathematica 軟體的應用等。
  • 免費數學書精選:微積分、線代……數學教授分類整理,精心推薦
    Ernst，整理了一份超級超級乾貨的開源/免費數學資源匯總。比如，美國數學研究所(American Institute of Mathematics)還保留著一份經過批准的開源教科書清單。綠茶出版社（Green Tea Press）上也有歐林學院的免費計算機科學書籍，這些書籍都值得一讀。
  • 馬輝:「中外結合」帶你領略線性代數之美
    【教師簡介】馬輝，清華大學數學科學系教授。【課程簡介】線性代數是現代數學的基礎之一，在物理、計算機圖形學、工程、經濟學等自然科學和社會科學各領域具有廣泛和深刻的應用，同時線性代數是高等學校理工科各專業的一門重要基礎課。作為清華大學非數學理工科各專業學生重要的必修課程，課程介紹求解線性方程組、矩陣理論、向量空間和線性變換等線性代數的基本概念和基本理論，強調線性代數的理論與應用的結合。