選自Medium
作者：Col Jung
機器之心編譯
編輯：小舟
微分方程與機器學習作為 AI 領域建模的兩種方法，各自有什麼優勢？
微分方程（DE）與機器學習（ML）類數據驅動方法都足以驅動 AI 領域的發展。二者有何異同呢？本文進行了對比。
微分方程模型示例
納維-斯託克斯方程（氣象學）
這一模型被用於天氣預測。它是一個混沌模型，當輸入存在一點點不準確，預測結果就會大相逕庭。這就是為什麼天氣預報經常是錯誤的，天氣模擬使用超級計算機完成。
愛因斯坦場方程（物理學）
愛因斯坦場方程描述了重力定律，也是愛因斯坦廣義相對論的數學基礎。
Black-Scholes（金融）
Black-Scholes 模型在股票市場為金融衍生品定價。
SIR 模型（流行病學）
SIR 是基礎的房室模型，可以描述傳染病的傳播情況。
為什麼以上 4 個方程都是微分方程？因為它們都包含某些未知函數的導數（即變化率）。這些未知函數（如 SIR 模型中的 S(t)、I(t) 和 R(t)）被稱為微分方程的解。
我們再來看一個模型。
Murray-Gottman（心理學）
這個模型用來預測浪漫關係的期限。根據心理學家 John Gottman 的開創性研究成果，持續的樂觀氛圍是預測婚姻成功的重要指標。
請注意 Murray-Gottman「愛情模型」實際上是一個差分方程（微分方程的一種姊妹模型）。差分方程輸出離散的數字序列（例如，每 5 年的人口普查結果），而微分方程則建模連續數值（即持續發生的事件）。
上述 5 個模型（微分和差分方程）都是機械模型，我們可以在其中自行選擇系統的邏輯、規則、結構或機制。當然，並不是每次試驗都會成功，反覆試驗在數學建模中非常重要。
納維 - 斯託克斯方程假定大氣是流動的流體，上述方程式就是來自流體動力學。廣義相對論假設在一種特殊的幾何形態下，時空會發生扭曲。愛因斯坦提出關於時空扭曲的一些重要想法，數學家 Emmy Noether 和 David Hilbert 將這些想法整合到愛因斯坦場方程中。SIR 模型假設病毒是通過感染者與未感染者之間的直接接觸傳播的，並且感染者會以固定的速率自動恢復。
使用機械模型時，觀察和直覺會指導模型的設計，而數據則用於後續驗證假設。
所有這些都與經驗模型或數據驅動模型形成鮮明對比，經驗或數據驅動模型首先從數據出發。這其中就包括機器學習模型，其算法通過輸入足夠的高質量樣本來學習系統的基礎邏輯或規則。當人類很難分析或定義系統的機制時，這樣的方法是很明智的。
數學模型的分類
機械模型對驅動系統的底層機制進行了假設，在物理學中很常用。實際上，數學建模是從 17 世紀人們試圖解開行星運動規律時才開始發展的。
經驗或數據驅動型建模，特別是機器學習，能夠讓數據來學習系統的結構，這個過程就叫做「擬合」。機器學習對於人類不確定如何將信號從噪聲中分離出來的複雜系統格外有效，只需要訓練一種聰明的算法，讓它來代替你做繁瑣的事情。
機器學習任務廣義上可以分為：
監督學習（即回歸與分類）
無監督學習（即聚類和降維）
強化學習
如今機器學習和人工智慧系統在日常生活中隨處可見。從亞馬遜、蘋果和谷歌的語音助手到 Instagram、Netflix 和 Spotify 的推薦引擎，再到 Facebook 和 Sony 的人臉識別技術，甚至特斯拉的自動駕駛技術，所有這些都是由嵌入在大量代碼下的數學與統計模型驅動的。
我們可以進一步將機械模型和經驗模型分為確定性模型（預測是固定的）和隨機性模型（預測包含隨機性）。
確定性模型忽略隨機變化，在相同的初始條件下，總會預測出相同的結果。
隨機模型則考慮了隨機變化，如系統中單個主體的異質性，比如人、動物、細胞之間就存在細微的差別。
隨機性通常會在模型中引入一些現實性，但同時也存在一定的代價。在數學建模中，我們需要考慮模型的複雜性：簡單的模型易於分析，但可能缺乏預測能力；複雜的模型具有現實性，但嘗試弄清楚模型背後的原理也很重要。因此，我們需要在簡單性和可分析性之間進行權衡，正如統計學家 George Box 所說：
所有的模型都是錯誤的，但其中一些是有用的。
在機器學習和統計學中，模型複雜度被稱為「偏差 - 方差權衡」。高偏差模型過於簡單，導致欠擬合，高方差模型存儲的是噪聲而不是信號（即系統的實際結構），會導致過擬合。
微分方程與機器學習示例對比
logistic 微分方程
該方程涉及農業、生物學、經濟學、生態學、流行病學等領域。
繪製 dP/dt 對 t 的曲線：
logistic 模型的一個例子是哈伯特峰值石油模型。1956 年，石油地質學家 Marion Hubbert 為德克薩斯州的石油生產量創建了一個預測數學模型。
令 P 表示德克薩斯州的產油量。
如果右邊是 rP，則石油生產量將會成倍增長。但是 Hubbert 知道油量一共只有 K=200 gigabarrels。隨著時間的流逝，開採石油變得越來越困難，因此生產率 dP/dt 有所下降。(1-P/K) 項說明了資源有限的觀察結果。注意，在考慮實際數據之前，我們就已經推斷出石油開採的機制。
代表生產率的參數 r=0.079 是從 50 年的數據中推斷出來的。
代表石油總量的參數 K=200，這是系統的穩定狀態。
機器學習模型很難學習嵌入到微分方程中的邏輯所捕獲的潛在機制。從本質上講，任何算法都需要僅基於 1956 年之前存在的數據（綠色）預測能夠出現的最大值：
完整起見，本文作者訓練了一些多項式回歸、隨機森林、梯度提升樹。注意只有多項式回歸會外推超出原始數據範圍。
隨機森林
多項式回歸
多項式回歸可以很好地捕獲信號，但是這種二次函數（圖像為拋物線）在 1970 年達到 Peak Oil 之後，不可能再度凹回去。紅色曲線只會越來越高，表示採油量接近無窮大。
哈伯特的機械模型解決了這一建模難題。
當人類很難捕捉和定義系統的規則和機制時，機器學習方法就會大放異彩。也就是說，從噪聲中提取信號的方法超出了人們的努力範疇，更好的方法是讓機器通過使用高質量示例來學習規則和信號，這就是用數據訓練機器。數據越好，結果就越好。神經網絡作為學術和應用機器學習領域的先鋒，能夠捕捉到驚人的複雜性。
求解 logistic 微分方程，並繪製 P(t) 和 P』(t)
上文介紹了 logistic 微分方程，並立即繪製了其解 P(t) 及其導數 dP/dt。這中間省略了一些步驟，詳細操作方法如下。
方法 1：數值模擬
首先將微分方程編程到 Python 或 Matlab 中，在將 dP/dt 繪製為 t 的函數之前，使用數值求解器獲得 P(t)。此處使用了 Python。
方法 2：獲取解析解
該系統可以使用分離變量法求得解析解。請注意：大多數微分方程無法求得解析解。對此，數學家一直在尋找求解析解的方法。以紐西蘭科學家 Roy Kerr 為例，他發現了愛因斯坦場方程的一組精確解，進而使人類發現了黑洞。但還好，logistic 微分方程中有一些是具有確切解的。
首先把所有含有 P 的項移到等式左邊，含有 t 的項移到等式右邊：
將二者整合到一起可得到通解，即滿足微分方程的一組無窮多個函數。
微分方程總是有無窮多個解，由一系列曲線以圖像的方式給出。
將 P 重新排列，得到：
微分得到：
這兩個公式對應上述 logistic 曲線和類高斯曲線。
總結
在機械建模中，對驅動系統的基本機制進行假設之前，研究者會仔細觀察並研究現象，然後用數據驗證模型，驗證假設是否正確。如果假設正確，皆大歡喜；如果錯誤，也沒關係，建模本身就是要反覆試驗的，你可以選擇修改假設或者從頭開始。
在數據驅動的建模中，我們讓數據來構建系統的藍圖。人類要做的是為機器提供高質量、有代表性並且數量足夠多的數據。這就是機器學習。在人類難以觀察到現象本質時，機器學習算法可以從噪聲中提取信號。神經網絡和強化學習是當下熱門的研究領域，它們能夠創建具有驚人複雜性的模型。而 AI 革命尚在繼續。
NeurIPS 2020線上分享：超越CNN的加法神經網絡
論文：《Kernel Based Progressive Distillation for Adder Neural Networks》。
本篇論文中，研究者通過一種基於核的漸進式蒸餾方法構建了性能更好的加法神經網絡。研究者表示，這項研究使得 ANN 性能超越了同結構的 CNN，從而在功耗更少的情況下實現更佳性能。這項研究還將有益於智慧型手機和物聯網等的應用。
11月25日，論文一作、諾亞方舟實驗室研究員許奕星將為大家詳細解讀此前沿研究。
識別二維碼，入群一起看直播。
© THE END
轉載請聯繫本公眾號獲得授權
投稿或尋求報導：content@jiqizhixin.com
喜歡此內容的人還喜歡
原標題：《微分方程VS機器學習，實例講解二者異同》
閱讀原文