2020 WAIC·開發者日將於7月10日-11日線上舉辦。多倫多大學助理教授、向量學院聯合創始人、NeruIPS 2018 最佳論文獎得主，將帶著對微分方程和連續時間的最新思考出現在 WAIC 開發者日。
提到 David Duvenaud 你或許有些陌生，但最近大熱的「神經常微分方程」想必你一定聽說過。
《Neural Ordinary Differential Equations》獲得 ，David Duvenaud 正是該論文的通訊作者，也是論文一作陳天琦的導師。
David Duvenaud 是多倫多大學向量學院的創始人之一，能源預測和貿易公司 Invenia 的聯合創始人，目前在多倫多大學擔任計算機科學助理教授。
他在劍橋大學獲得博士學位，後在哈佛大學 Intelligent Probabilistic Systems 實驗室完成博後工作。
目前，他在多倫多大學教授概率學習和推理、機器學習統計方法、可微分推斷和生成模型等課程，指導的學生有陳天琦、Jesse Bettencourt、Dami Choi、Will Grathwohl、Eric Langlois、Jonathan Lorraine、Jacob Kelly 和 Winnie Xu。
David Duvenaud 與微分方程的羈絆
David Duvenaud 的主要研究方向是連續時間模型、隱變量模型和深度學習。近年來，他的工作和微分方程產生了緊密聯繫。
深度學習能夠與微分方程相結合？是的。在 NeruIPS 2018 獲獎論文中，陳天琦、David Duvenaud 等人將二者相結合，進行架構創新，提出一類新型深度神經網絡「神經常微分方程」（ODEnet）。它不拘於對已有架構的修修補補，而是完全從另外一個角度考慮如何以連續的方式藉助神經網絡對數據建模。
藉助微分方程，ODEnet 將神經網絡離散的層級連續化了，因此反向傳播也不再需要一點一點傳、一層一層更新參數。
論文參與者認為，既然殘差連接就是常微分方程（ODE）的離散化，那麼常規神經網絡的前向傳播過程豈不就是微分方程給定初值解末值的過程？如果用業界成熟的微分方程求解器（ODE Solver）解某個 ODE，這不就能代替前傳和反傳麼？
於是他們在 ODENet 中使用神經網絡參數化隱藏狀態的導數，而不是如往常那樣直接參數化隱藏狀態。這裡參數化隱藏狀態的導數就類似構建了連續性的層級與參數，而不再是離散的層級。因此參數也是一個連續的空間，我們不需要再分層傳播梯度與更新參數。
這篇論文證明了常微分方程可以解決複雜問題，算是對之前相關研究的一次總結。
該論文獲獎後獲得了大量關注，而後來的一件事又把它推到了風頭浪尖。
獲獎一年後，David Duvenaud 在 NeruIPS 2019 大會上發表演講，回顧了 NeruIPS 2018 獲獎研究 ODENet。
在演講中，他闡明了 ODENet 論文的幾點問題，如論文最終選擇「Neural Ordinary Differential Equations」作為標題是因為它短小精悍，更容易引發關注；做這項研究的動機是為了討好 Dougal Maclaurin、Matthew Johnson 這些前輩；在對比不同方法的參數效能時，該研究沒有對基線方法進行微調；該研究認為使用 ODE 求解器能夠根據給定的誤差容忍度選擇適當的步長逼近真實解，但 ODE 領域研究者認為，ODE 求解器並不總是有效……
這段演講再次引發了大量討論，很多人表示理解，並認為 David Duvenaud 非常坦誠。
不管是否存在爭論，David Duvenaud 對微分方程的研究沒有停下。
發表 ODENet 後不久，David Duvenaud 等人再次利用常微分方程提出新架構——。這次他們利用 ResNet 作為常微分方程的 Euler 離散化，並證明通過簡單地改變標準 ResNet 的歸一化機制就可以構建可逆 ResNet。
2019 年 12 月，David Duvenaud 與陳天琦合作發表論文《Neural Networks with Cheap Differential Operators》，探討了如何使用廉價的可微算子處理神經網絡架構的梯度計算。
今年初，David Duvenaud 等人發布論文《Scalable Gradients for Stochastic Differential Equations》，將計算常微分方程解的梯度的 adjoint sensitivity 方法應用於隨機微分方程。
微分方程與連續時間動態
從 NeruIPS 2018 最佳論文「神經常微分方程」到基於常微分方程構建的可逆殘差網絡，再到今年年初的《Scalable Gradients for Stochastic Differential Equations》，David Duvenaud 與常微分方程的羈絆不可謂不深。
在不久後舉行的 2020 年世界人工智慧大會雲端峰會開發者日專場，David Duvenaud 將分享他對連續時間模型的思考，此次演講同樣涉及微分方程。
離散時間和連續時間差別巨大。許多現實數據，如病歷、客戶交互或金融交易，是以不規則時間間隔記錄的。但是，大部分深度學習時序模型（如循環神經網絡）要求數據以規則的時間間隔記錄，如每小時記錄一次。
那麼如何處理連續時間動態呢？
David Duvenaud 將在此次演講中介紹，利用深度微分方程模型來處理連續時間動態方面的近期進展，這類模型可以擬合新的基於時序的豐富參數化分布。此外，該演講還將討論這類模型的優缺點，以及它們在病歷和運動捕捉數據上的效果。
關於2020 WAIC·開發者日
2020 WAIC·開發者日將於 7月10日-11日 在線上舉辦，設置主論壇、分論壇、高峰對話、開發者日百度公開課、開源開放Demo Day、黑客馬拉松等多個環節。
目前，我們已公布了主論壇、百度公開課、開源開放Demo Day的日程介紹，更多精彩日程揭秘，敬請關注後續報導。
主論壇：公開課：3小時極致學習 AI 開發，WAIC 開發者日有一堂必上公開課
Demo Day：2020 WAIC· 開發者日全程線上舉辦，直播連結將於 7 月初公布。但在主論壇期間，我們計劃在上海組織一場小型看直播、聊人生的現場活動，時間 7月11日13:00—18:15，坐標上海世博中心，只限100人。同時我們準備了一些書籍與禮品在現場贈送，具體活動信息詳見。
如何報名？
添加機器之心小助手微信，備註「現場」，小助手會給你發邀請碼和報名連結，以及邀請你進現場面基群。
不來現場還想進群交流？添加小助手後備註「開發者日」就可以了。
原標題：《「神經常微分方程」提出者之一David Duvenaud：如何利用深度微分方程模型處理連續時間動態》
閱讀原文