加州伯克利博士:基於隱模型的圖神經網絡設計|NeurIPS 2020論文分享

2020-12-05 AI 科技評論

近年來，人們對深度學習方法在圖上的擴展越來越感興趣。在多方因素的成功推動下，研究人員借鑑了卷積網絡、循環網絡和深度自動編碼器的思想，定義和設計了用於處理圖數據的神經網絡結構，由此出現了一個新的研究熱點——「圖神經網絡（Graph Neural Networks，GNN）」。圖神經網絡在計算機視覺、基於圖的推薦系統、交通路線規劃、化學分子的圖結構等等領域有著廣泛的應用前景。但是現有的圖神經網絡發展也存在著諸多不足，仍需要這一領域的專家學者們進行深入探索。

本周六上午11點，我們特別邀請到遠在加州大學伯克利分校的顧方達博士，作客AI研習社NeurIPS 2020系列論文解讀直播間，為大家詳細介紹他被收錄的論文情況。嘉賓分享完還有問答環節，歡迎大家積極參與討論，一起探討《基於隱模型的圖神經網絡設計》。

分享主題：

《基於隱模型的圖神經網絡設計》

分享時間：

2020年12月5日（周六）11:00-12:00

分享嘉賓：

▲顧方達

加州大學伯克利分校二年級博士生，導師Laurent El Ghaoui。主要研究方向為隱模型（Implicit Model），機器學習模型和優化方法。

分享背景

圖神經網絡從圖結構中學習表徵。但主流圖神經網絡模型採用有限步數的信息傳遞，這樣得到的表徵無法包含長程依賴關係。我們提出基於隱模型（Implicit model）的圖神經網絡框架，隱圖神經網絡（Implicit Graph Neural Networks）。框架通過解平衡方程獲得圖表徵，進而學習長程依賴關係。隱圖神經網絡在很多圖任務上取得了優秀的表現。

分享提綱

1.圖神經網絡背景和長程依賴關係；

2.隱圖神經網絡模型；

3.模型的適定問題和訓練；

4.隱圖神經網絡的實驗驗。

論文地址

https://arxiv.org/abs/2009.0621

代碼地址

SwiftieH/IGNN: Implicit Graph Neural Networks (github.com

直播間觀看地址

AI研習社直播間：https://live.yanxishe.com/room/887

Bilibili直播間：http://live.bilibili.com/5612206

相關焦點

  • 深度圖高斯過程 | NeurIPS 2020論文分享第一期
    同時，大量實驗分析表明他們的方法不僅能在小數據集上免於過擬合，還能在大數據集上達到與精心設計的神經網絡同等水平的性能。此外，DPGP同樣繼承了高斯過程在不確定性預測和特徵相關性發掘方面的良好特性。為了幫助大家了解NeurIPS最新研究成果和動態，我們特別邀請到清華大學伯克利深圳研究生院李乃琦博士、清華大學深圳國際研究生院李文杰博士作客AI研習社NeurIPS2020系列論文解讀直播間，為大家詳細介紹他們被收錄的論文情況，兩位嘉賓分享完還有問答環節，歡迎大家積極參與互動，一起探討《深度圖高斯過程》。
  • 今晚AAAI線上分享加州大學伯克利分校:Hessian矩陣下的神經網絡
    最新一期機器之心 AAAI 2020 線上分享，我們邀請到了加州大學伯克利分校 Zhewei Yao 博士為我們介紹將二階方法用於訓練深度神經網絡的最新成果。這是一期硬核的線上分享。今年春節後不久，人工智慧學術頂會 AAAI 2020 就將於美國紐約開幕。為向讀者們介紹更多 AAAI 2020 優質論文，機器之心組織策劃了 AAAI 2020 線上論文分享。
  • GPT-3獲NeurIPS最佳論文獎，華人學者獲經典論文獎
    Improved Guarantees and a Multiple-Descent Curve for Column Subset Selection and the Nyström Method這篇論文來自加州大學伯克利分校
  • 17篇論文,詳解圖的機器學習趨勢 | NeurIPS 2019
    ，只不過具體的模型設計有所區別。如今，只經過了不到兩年的時間，我們就已經可以說這個數據集已經基本被解決了，基於神經網絡的方法也獲得了超過人類的表現。這篇論文中提出了語義解析模型 SQLova ，它通過BERT編碼問題和表頭、用基於注意力的編碼器生成SQL查詢（比如 SELECT 命令、WHERE 條件、聚合函數等等）  、然後還能對生成的查詢語句進行排序和評價。
  • 【乾貨】圖神經網絡的十大學習資源分享
    【乾貨】圖神經網絡的十大學習資源分享英語原文：Top 10 Learning Resources for Graph Neural Networks翻譯：雷鋒字幕組（聽風1996）圖神經網絡（GNNs）是深度學習的一個相對較新的領域，從最近開始越來越流行
  • NeurIPS 2020|用於半監督學習的圖隨機神經網絡
    導讀：在 NeurIPS 2020 上，清華大學聯合微眾銀行、微軟研究院以及博世人工智慧中心提出了 Graph Random Neural Network (GRAND)，一種用於圖半監督學習的新型圖神經網絡框架。
  • 為什麼要進行圖學習?談一談逆勢而上的圖神經網絡
    NeurIPS2020 | 解決不確定性問題—用於半監督學習的圖隨機神經網絡(代碼已經公開)ICLR 2020 | 兼顧效率與質量—基於譜方法的高效多級圖嵌入框架NeurIPS2020 | 用於半監督學習的圖隨機神經網絡NeurIPS2020 | 顯著超越STGCN: 方法簡單-效果顯著自適應構圖的時空圖網絡硬核 | TKDE2020
  • 華人學者再獲 SIGGRAPH 優秀博士論文獎:「每章都能作為博士論文」
    ACM SIGGRAPH 頒發的優秀博士論文獎後，今年華人學者再獲嘉譽，2019 優秀博士論文獎獲得者為畢業於加州大學伯克利分校的閆令琪博士。而而他的博士論文頒獎詞：「將閆令琪博士論文的任一章節摘取出，都可以自成一篇博士論文」，充分代表了業內對其卓越學術成就的至高評價。
  • 西電本科博士聯手在人工智慧頂級會議發表論文
    neurips.cc/)將於12月06日—12月12日，通過線上舉行。該模型結構相似於現有的卷積-動態層次化神經網絡，包括了卷積層、概率池化層和循環網絡層，但在解碼部分，利用全概率生成模型對數據建模，從而賦予隱變量概率解釋以及緩解網絡對數據量的依賴性。
  • 谷歌DeepMind 的可微分神經計算機 DNC 怎麼樣?看 Facebook AI...
    賈揚清，擁有加州大學伯克利分校計算機科學博士學位、清華大學碩士學位和學士學位，曾於新加坡國立大學、微軟亞洲研究院近日，谷歌的 AI 部門 DeepMind 開發了一種叫做可微分神經計算機（DNC）的神經網絡模型，相關論文發表於 10 月 12 日在線出版的《自然》雜誌上，題為《 利用神經網絡與外部動態存儲器進行混合計算》。這種新模型將神經網絡與可讀寫的外部存儲器結合，既能像神經網絡那樣通過試錯和樣本訓練進行深度學習，又能像傳統計算機一樣處理數據。
  • 港科大博士生侯璐:基於損失函數的神經網絡量化方法|分享總結
    為了解決這個問題， 最近有許多針對於神經網絡壓縮和加速的工作被提出， 例如神經網絡剪枝， 權重矩陣低秩分解，權重量化等。這次分享主要是針對於權重量化這一類方法。近期，在雷鋒網 GAIR 大講堂上，來自香港科技大學的博士生侯璐同學分享了深度學習網絡的權重量化的一些最新進展。以及幾篇ICLR的論文解讀。
  • 每章都能當做一篇博士論文:閆令琪獲SIGGRAPH 2019最佳博士論文獎
    昨天，頂級計算圖形學機構 ACM SIGGRAPH 頒發了 2019 年最佳博士論文獎。獲獎者閆令琪博士畢業於加州大學伯克利分校（UC Berkeley），目前已是加州大學聖巴巴拉分校（UCSB）的一名助理教授。他的博士論文頒獎詞是這麼說的：「他的論文每章都可以自成一篇博士論文。」從高考狀元到計算機科學「學神」，閆令琪博士的學術成就與貢獻還不止於此。
  • 7篇必讀ACM MM 2019論文:圖神經網絡+多媒體
    圖神經網絡在多媒體領域應用非常多，本文整理了七篇ACM MM 2019最新GNN相關論文，並附上論文連結供參考——個性化推薦、短視頻推薦、多視頻摘要、基於文本的行人搜索、視頻關係檢測、社區問答（CQA）系統等。來新智元 AI 朋友圈和AI大咖們一起討論吧。
  • 基於英文字母識別的三種人工神經網絡的設計方案
    代寫論文 它是理論化的人腦神經網絡的數學模型，是基於模仿大腦神經網絡結構和功能而建立的一種信息處理系統。因其自組織、自學習能力以及具有信息的分布式存儲和並行處理，信息存儲與處理的合一等特點得到了廣泛的關注，已經發展了上百種人工神經網絡。 一般來說，人工神經網絡從結構上可分為兩種:前向網絡和反饋網絡。
  • 「擇校解讀」加州大學伯克利分校(UCB)院校指南
    加利福尼亞大學伯克利分校（University of California, Berkeley）是一所世界著名的公立研究型大學，在學術界享有盛譽，是世界最頂尖公立大學之一，成立於1868年，校園規模為1232英畝。學校使用基於學期的學術日曆，在2020年最佳綜合大學排名中排名第22。州內學生的學雜費為14184美元，而州外學生的學雜費為43176美元。
  • 加州大學伯克利分校Dr. Richard Carl Dehmel教授來訪
    【研究領域】：計算機結構與工程，科學計算，數值分析線性代數計算機結構與工程研究主要解決計算機體系結構中的下一代問題，以應對並行計算機的巨大挑戰，引入其他領域的技術（例如用於高影響優化的機器學習），基於新穎基板、電源預算問題、微建築電路級問題以及傳感器網絡開發中的體系結構問題的構建想法。
  • 基於神經網絡算法 羊毛_基於pso算法和bp算法訓練神經網絡 - CSDN
    圖神經網絡是用於圖結構數據的深度學習架構，將端到端學習與歸納推理相結合，業界普遍認為其有望解決深度學習無法處理的因果推理、可解釋性等一系列瓶頸問題，是未來 3 到 5 年的重點方向。2019 年圖神經網絡有哪些研究成果值得關注？2020 年它又將朝什麼方向發展？讓我們一起來一探究竟。
  • 本科博士聯手!西電陳渤團隊兩篇論文被頂級會議錄用
    第34屆神經信息處理系統大會(Neural Information Processing Systems, NeurIPS，https://neurips.cc/)將於12月06日—12月12日，通過線上舉行。
  • 聚焦快速機器學習訓練算法,UC伯克利尤洋189頁博士論文公布
    機器之心報導編輯：蛋醬、小舟這份 189 頁的博士學位論文，凝結了尤洋在快速機器學習訓練算法領域的研究心血。過去十年，深度學習應用領域的數據量迅速增長，使得深度神經網絡（DNN）的訓練時間拉長。而這已經成為機器學習開發者和研究者面臨的瓶頸問題。
  • CVPR2020|深度學習不要乘法?北大,華為Oral論文提出加法神經網絡
    在深度神經網絡中廣泛應用的卷積計算了輸入特徵和卷積核的互相關，其中包含著大量乘法操作。我們提出了一種加法神經網絡來將 CNN 中的大量乘法操作用加法來代替。具體的，我們將輸出特徵使用濾波器和輸入特徵的 L1 距離來度量。通過細緻的分析，我們提出了基於全精度梯度的反向傳播和自適應學習率來幫助加法神經網絡的訓練。