導語
這篇論文發表於 ICLR 2020，作者是南加大 Melady 實驗室的博士生Sungyong Seo。文章主要關注的是只具有稀疏觀測數據的，背後由物理規律所支配的系統的預測問題。提出了Physics-aware Difference Graph Networks (PA-DGN) 模型，其中包含一個可學習的梯度組件，用來建模圖上的差分信息。實驗證明，該模型在圖上的方向導數近似，以及圖信號預測任務中，均達到 State-of-the-art 的效果。
本文是對線上論文解讀活動內容的整理，課程錄播視頻已上線，詳情見下文。系列讀書會目前開放報名中，詳情見文末。
論文名稱
論文題目： Physics-aware Difference Graph Networks for Sparsely-Observed Dynamics from ICLR 2020（用於稀疏觀測動力學重構的物理感知差分圖網絡） 論文地址： https://openreview.net/forum?id=r1gelyrtwH
論文作者信息
姓名：
Sungyong Seo
工作單位：
University of Southern California
研究興趣：
Physics-inspired machine learning，Spatiotemporal data mining，Graph-based neural networks
解讀視頻：
https://campus.swarma.org/course/1775?from=wechat
本文要解決的問題
解決那些由物理規律，尤其是微分方程支配的網絡上的動力學重構。
以往深度學習領域中建模物理規律的文章大多假設觀測點是密集採樣且均勻分布的，而實際當中並不是這樣，比如氣候問題中，稀疏分布的空氣品質監測站。圖神經網絡雖然能夠解決不規則分布的採樣點的建模，但是缺乏物理建模的能力。而本文提出了一個新的圖神經網絡組件，可以圖神經網絡具備進行物理建模的能力，具體來講是要學習圖上節點的差分信息。
例如彈簧小球模型，我們輸入給 GNN 的 feature 維度是 4，x、y 位置坐標信息以及x、y 方向的速度。其中速度信息可以理解為位置信息的梯度。在本文所關注的問題中，我們只能拿到節點的位置信息，而本文要做的就是讓模型自己學出狀態的梯度信息（速度），進而完成更好的預測。
此外，還有熱擴散中，不同區域的擴散速度與狀態值以及熱量差有關係（這就是上面說的差分），如果不知道這個差分信息，可能無法很好的預測。
背景
之前沒有人在圖神經網絡上做這個模塊。不使用圖神經網絡做物理建模的和不使用物理建模的圖神經網絡是有的。但是要解決那些由物理規律支配的網絡上的動力學重構，且觀測點是稀疏的，目前來看用本文的方法可以達到最優程度。
算法框架
提出了一個叫 SDL 的模塊，這個模塊計算輸入給圖上的信號，得到兩個信息，一個是節點的梯度信息（就是節點 i 和鄰居節點 j 的狀態的差值）還有拉普拉斯值（類似於 GCN 的公式）。然後再與原來的圖上的信息結合起來，傳給後面的循環圖神經網絡，做節點狀態的預測。
算法的關鍵模塊
本文最重要且我們可能會用到的模塊就是SDL——空間信息差分層，這個模塊套用了基本的偏微分方程的解決手段，比如有限元法，三角剖分法等，設計了可學習的空間差分模塊。用來給圖信號附加上額外的輔助信息，進一步輸入到後面的循環神經網絡中，從而做動力學建模。
論文的實驗和結果
實驗分兩類，真實數據和合成數據：
真實數據：
北美東西海岸的溫度監測站，用本文算法預測溫度。
本文算法好於其他算法，尤其是紅色框中的，PA-DGN 和 RGN 的區別是是否使用 SDL 這個物理模塊。
合成數據：
用下面的公式描述的動力學生成面數據，然後隨機採樣得到點觀測數據。
討論與思考
這篇文章提出了一個可以應用於GNN上的一個模塊，通過這一模塊我們可以自動學習節點信息的差分，從而進一步完成更好的預測。本文所提供的方法適用於被微分方程支配的複雜網絡系統。無論是在節點狀態預測，還是網絡重構中，我們都可以嘗試加入這一組件，提升任務的準確性。
「面向複雜系統的人工智慧」
系列閉門讀書會報名中
讀書會主題
本次讀書會將會圍繞下面二個子主題，分別是：
基於深度學習的複雜系統自動建模
基於可解釋性的因果推斷方法論
為更好的進行學習，交流與討論，本系列讀書會是閉門讀書會。我們會選取其中的少數幾期進行直播，本次直播便是其一。
讀書會目的
本次讀書會的目的是通過閉門分享討論的形式，我們將為大家提供更加沉浸，深度，自由的交流環境。
此外，本次讀書會還將選拔數名進行過高質量分享的青年學者免費參與我們後續的閉門研討活動：「集智-凱風研讀營」。研讀營是集智年度最高水準的閉門科學研討活動，是集智科學家們的年度聚會。
網絡幾何與深度學習—2018集智凱風研讀營
參與方式及時間
時間：
從7月5日起，每周日晚上 20:00-21:30（暫定），持續時間預計 2-3 個月，今天為系列讀書會第二期。
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺「網易號」用戶上傳並發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.