加州伯克利博士:基於隱模型的圖神經網絡設計|NeurIPS 2020論文分享

2020-12-09 AI 科技評論

近年來,人們對深度學習方法在圖上的擴展越來越感興趣。在多方因素的成功推動下,研究人員借鑑了卷積網絡、循環網絡和深度自動編碼器的思想,定義和設計了用於處理圖數據的神經網絡結構,由此出現了一個新的研究熱點——「圖神經網絡(Graph Neural Networks,GNN)」。圖神經網絡在計算機視覺、基於圖的推薦系統、交通路線規劃、化學分子的圖結構等等領域有著廣泛的應用前景。但是現有的圖神經網絡發展也存在著諸多不足,仍需要這一領域的專家學者們進行深入探索。

本周六上午11點,我們特別邀請到遠在加州大學伯克利分校的顧方達博士,作客AI研習社NeurIPS 2020系列論文解讀直播間,為大家詳細介紹他被收錄的論文情況。嘉賓分享完還有問答環節,歡迎大家積極參與討論,一起探討《基於隱模型的圖神經網絡設計》。

分享主題:

《基於隱模型的圖神經網絡設計》

分享時間:

2020年12月5日(周六)11:00-12:00

分享嘉賓:

顧方達

加州大學伯克利分校二年級博士生,導師Laurent El Ghaoui。主要研究方向為隱模型(Implicit Model),機器學習模型和優化方法。

分享背景

圖神經網絡從圖結構中學習表徵。但主流圖神經網絡模型採用有限步數的信息傳遞,這樣得到的表徵無法包含長程依賴關係。我們提出基於隱模型(Implicit model)的圖神經網絡框架,隱圖神經網絡(Implicit Graph Neural Networks)。框架通過解平衡方程獲得圖表徵,進而學習長程依賴關係。隱圖神經網絡在很多圖任務上取得了優秀的表現。

分享提綱

1.圖神經網絡背景和長程依賴關係;

2.隱圖神經網絡模型;

3.模型的適定問題和訓練;

4.隱圖神經網絡的實驗驗。

論文地址

https://arxiv.org/abs/2009.0621

代碼地址

SwiftieH/IGNN: Implicit Graph Neural Networks (github.com

直播間觀看地址

AI研習社直播間:https://live.yanxishe.com/room/887

Bilibili直播間:http://live.bilibili.com/5612206

相關焦點

  • 今晚AAAI線上分享加州大學伯克利分校:Hessian矩陣下的神經網絡
    最新一期機器之心 AAAI 2020 線上分享,我們邀請到了加州大學伯克利分校 Zhewei Yao 博士為我們介紹將二階方法用於訓練深度神經網絡的最新成果。這是一期硬核的線上分享。今年春節後不久,人工智慧學術頂會 AAAI 2020 就將於美國紐約開幕。為向讀者們介紹更多 AAAI 2020 優質論文,機器之心組織策劃了 AAAI 2020 線上論文分享。
  • NeurIPS 2020獎項出爐:GPT-3等三項研究獲最佳論文獎
    OpenAI 等提出的語言模型GPT-3、米蘭理工大學和卡內基梅隆大學提出的 no-regret 學習動態研究,和加州大學伯克利分校關於數據總結的論文共享本屆會議的最佳論文獎項。獲得時間檢驗獎的論文則是誕生於 2011 年的研究《HOGWILD!: A Lock-Free Approach to Parallelizing Stochastic Gradient Descent》。
  • NeurIPS 2020 獎項出爐:GPT-3等三項研究獲最佳論文獎
    OpenAI 等提出的語言模型GPT-3、米蘭理工大學和卡內基梅隆大學提出的 no-regret 學習動態研究,和加州大學伯克利分校關於數據總結的論文共享本屆會議的最佳論文獎項。獲得時間檢驗獎的論文則是誕生於 2011 年的研究《HOGWILD!: A Lock-Free Approach to Parallelizing Stochastic Gradient Descent》。
  • NeurIPS2020獎項出爐:GPT-3等三項研究獲最佳論文獎,華人一作論文...
    OpenAI 等提出的語言模型 、米蘭理工大學和卡內基梅隆大學提出的 no-regret 學習動態研究,和加州大學伯克利分校關於數據總結的論文共享本屆會議的最佳論文獎項。獲得時間檢驗獎的論文則是誕生於 2011 年的研究《HOGWILD!: A Lock-Free Approach to Parallelizing Stochastic Gradient Descent》。
  • GPT-3獲NeurIPS 2020最佳論文獎,蘋果華人學者獲經典論文獎
    Improved Guarantees and a Multiple-Descent Curve for Column Subset Selection and the Nystrm Method這篇論文來自加州大學伯克利分校,也是一篇關於學習理論的論文。
  • NeurIPS 2020 | 近期必讀高斯過程精選論文
    根據AMiner-NeurIPS 2020詞雲圖和論文可以看出,與Gaussian Process是在本次會議中的熱點,下面我們一起看看Gaussian Process主題的相關論文。conf=neurips2020簡介:在這項工作中,我們開發了一種新的近似方法,以解決具有可分解的高斯似然性和單輸出潛函數的高斯過程模型的解析上難以解決的貝葉斯推斷。
  • NeurIPS 2020論文接收大排行!谷歌169篇第一、斯坦福第二、清華...
    而在前日,NeurIPS 2020 論文接收列表終於在官網放出:(https://neurips.cc/Conferences/2020/AcceptedPapersInitial)據 Criteo AI Lab 機器學習研究科學家 Sergey Ivanov 統計,
  • NeurIPS 2020高校論文排名:斯坦福全球第1,清華全球第5!周志華,李飛飛等大牛論文上榜!
    而在昨日,NeurIPS 2020論文接收列表終於在官網放出:(https://neurips.cc/Conferences/2020/AcceptedPapersInitial)據Criteo AI Lab機器學習研究科學家Sergey Ivanov統計,本次NeurIPS 2020論文接收量全球機構排名Top 10依次為:
  • 2018ACM博士論文獎公布:伯克利博士獲獎,清華姚班馬騰宇榮譽提名
    今日,ACM 公布最佳博士論文獎,來自 UC 伯克利的博士生 Chelsea Finn 憑藉論文《Learning to Learn with Gradients》摘得桂冠。這篇論文介紹了一種基於梯度的新型元學習算法,幫助深度網絡基於小型數據集解決新任務,該算法可用於計算機視覺、Chelsea Finn 也在社交平臺上表達了自己獲獎後的心情:「很榮幸可以獲得今年的 ACM 最佳博士論文獎。
  • UC伯克利大學胡戎航博士論文公布:視覺與語言推理的結構化模型
    機器之心報導機器之心編輯部UC 伯克利大學計算機科學博士胡戎航(Ronghang Hu)的博士論文新鮮出爐,內容涉及視覺與語言推理的結構化模型。UC 伯克利胡戎航的博士論文就是關於這個主題:論文連結:https://www2.eecs.berkeley.edu/Pubs/TechRpts/2020/EECS-2020-50.pdf論文概述這篇論文通過視覺 - 語言推理的結構化模型為上述問題提供了答案,該模型考慮了人類語言、視覺場景、智能體技能中的模式和規律。
  • NeurIPS 2020 | 伯克利新工作: 基於動態關係推理的多智能體軌跡預測問題
    針對此問題,Thomas Kipf等人在《Neural relational inference for interacting systems》一文中提出了一種基於圖神經網絡的模型對關係進行推斷(以下簡稱NRI模型),並基於這種推斷進行對未來軌跡的預測。
  • NeurIPS 2020線上分享 | 華為諾亞方舟:超越CNN的加法神經網絡
    針對這些問題,Hanting Chen 等提出了不需要大量浮點數乘法運算的加法神經網絡(Adder Neural Network, ANN),不僅實現了比低位寬二進位神經網絡更好的性能,還對未來深度學習硬體加速器的設計產生深遠影響。
  • 17篇論文,詳解圖的機器學習趨勢|NeurIPS 2019
    ,都希望把雙曲空間的好處和圖神經網絡的表達能力結合起來,只不過具體的模型設計有所區別。/workshops/neurips19-Conversational-AI/Papers/32.pdf論文13 介紹了一個神經網絡助理模型,這個對話系統架構不僅能考慮到對話歷史,也能利用到知識庫中的事實信息。
  • 17篇論文詳解圖的機器學習趨勢 | NeurIPS 2019
    Neural Networks論文地址:https://papers.nips.cc/paper/9033-hyperbolic-graph-neural-networks.pdf開源:https://github.com/facebookresearch/hgnn論文 1 和論文 2 兩者的思想是相似的,都希望把雙曲空間的好處和圖神經網絡的表達能力結合起來,只不過具體的模型設計有所區別。
  • 17篇論文,詳解圖的機器學習趨勢 | NeurIPS 2019
    /paper/9033-hyperbolic-graph-neural-networks.pdf開源:https://github.com/facebookresearch/hgnn論文 1 和論文 2 兩者的思想是相似的,都希望把雙曲空間的好處和圖神經網絡的表達能力結合起來,只不過具體的模型設計有所區別。
  • 圖神經網絡的十大學習資源分享
    字幕組雙語原文:【乾貨】圖神經網絡的十大學習資源分享英語原文:Top 10 Learning Resources for Graph Neural Networks翻譯:雷鋒字幕組(聽風1996)圖神經網絡(GNNs)是深度學習的一個相對較新的領域,從最近開始越來越流行。
  • NeurIPS 2020|用於半監督學習的圖隨機神經網絡
    導讀:在 NeurIPS 2020 上,清華大學聯合微眾銀行、微軟研究院以及博世人工智慧中心提出了 Graph Random Neural Network (GRAND),一種用於圖半監督學習的新型圖神經網絡框架。
  • NeurIPS 2020 | 用於半監督學習的圖隨機神經網絡
    導讀:在 NeurIPS 2020 上,清華大學聯合微眾銀行、微軟研究院以及博世人工智慧中心提出了 Graph Random Neural Network (GRAND),一種用於圖半監督學習的新型圖神經網絡框架
  • 【乾貨】圖神經網絡的十大學習資源分享
    字幕組雙語原文:【乾貨】圖神經網絡的十大學習資源分享英語原文:Top 10 Learning Resources for Graph Neural Networks>翻譯:雷鋒字幕組(聽風1996)圖神經網絡(GNNs)是深度學習的一個相對較新的領域,從最近開始越來越流行。
  • 124頁,UC伯克利大學胡戎航博士論文公布:視覺與語言推理的結構化模型
    來源:機器之心 本文約1500字,建議閱讀5分鐘 UC 伯克利大學計算機科學博士胡戎航(Ronghang Hu)的博士論文新鮮出爐,內容涉及視覺與語言推理的結構化模型