圖神經網絡為何如此強大?看完這份斯坦福31頁PPT就懂了!

2021-01-17 新智元

新智元報導

來源:Stanford

編輯:大明

【新智元導讀】去年,DeepMind、谷歌大腦、MIT等機構聯合提出「圖網絡」(GNN),將端到端學習與歸納推理相結合,有望解決深度學習無法進行關係推理的問題。圖網絡究竟為什麼如此強大?背後的機制如何?未來發展方向有哪些?這裡有一份斯坦福31頁PPT,帶你看個明白。

圖神經網絡最近是個很火的話題,與傳統的神經網絡相比,圖神經網絡將圖形作為輸入(而不是原始像素或聲波),然後學習推理和預測對象及其關係如何隨時間演變。圖網絡方法已經證明了在一系列應用實現快速學習,達到人類水平的能力。

此外,圖網絡可以使網絡不那麼容易受到對抗性攻擊,原因很簡單,它是一個將事物表示為對象,而不是像素模式的系統,不會輕易被一點噪音或無關的貼紙所幹擾。

新智元今天為大家推薦一份PPT綜述,作者是史丹福大學的多位博士後和博士生。這篇綜述由基於神經網絡和圖網絡的任務入手,對圖神經網絡的建立、架構、訓練模式和模型特徵等方面做了系統的梳理和介紹,並在最後給出了幾個產業界和學術界的應用實例。

下面是全部PPT文稿(共31頁),供感興趣的讀者參考。

首先介紹了傳統神經網絡任務和圖網絡的區別

為何圖網絡難以構建?

圖網絡架構解析:如何通過圖向計算節點特徵傳播信息

GraphSAGE:聚合後的參數可供全部計算節點共享

提出DiffPool架構,對圖網絡進行池化

下面是幾個應用實例:

圖網絡的強大判別能力和表達能力

結論與未來研究方向:

最後是參考文獻與作者介紹:

更多閱讀

看完這個文,你還會高喊快快造出「中國芯」?騰訊給出27億美元估值,Reddit要成中國公司?四年三次上春晚,大型仿人服務機器人中國造!

新智元AI技術+產業社群招募中,歡迎對AI技術+產業落地感興趣的同學,加小助手_2 入群;通過審核後我們將邀請進群,加入社群後務必修改群備註(姓名 - 公司 - 職位;專業群審核較嚴,敬請諒解)。

相關焦點

  • 為什麼要進行圖學習?談一談逆勢而上的圖神經網絡
    -時空數據挖掘深度學習技術全面綜述NeurIPS2020 | Google《圖學習與挖掘》綜述教程,311頁ppt+教程NeurIPS2020 | 圖對比學習 | 結合四種數據擴充方式進行對比學習(附論文代碼連結)NeurIPS2020 | 四篇圖魯棒性研究相關論文一覽方法總結 | 兩篇論文分析解耦/分離/Disentangled/圖神經網絡表示學習
  • 斯坦福教授ICLR演講:圖網絡最新進展GraphRNN和GCPN(附PPT下載)
    、史丹福大學Jure Leskovec教授在ICLR 2019就圖深度生成模型做了演講,闡述了圖生成模型的方法和應用,並詳細介紹了他的最新成果史丹福大學教授Jure Leskovec 是圖網絡領域的專家,圖表示學習方法 node2vec 和 GraphSAGE 作者之一。
  • 還在用PPT做神經網絡架構圖?GitHub2萬星項目,手把手教你從入門到...
    不過這只是一個ppt模板。所以,當你進行可視化的時候,你需要手動將裡面的元素一個一個的替換成自己的數據。   有多少智能,就有多少人工,這話一點兒不假。  直到我發現了manim!  如果你看了下面manim做的效果,絕對跟我一樣,再也不想用ppt了!   告別重複性純體力勞動,manim自動生成驚豔的動畫效果!   你可能會說,ppt就拖拖拽拽就夠了,這個還得寫代碼,當然,你的網絡結構簡單,也沒有什麼動態需求的話,ppt是可以滿足。但如果你想做出令人驚豔的效果,manim就是你的最佳選擇了。
  • 斯坦福的神經網絡用這種激活函數,高保真還原圖像視頻
    蕭簫 發自 凹非寺量子位 報導 | 公眾號 QbitAI一個來自斯坦福團隊研究的、名為SIREN的簡單神經網絡結構,剛引爆了機器學習圈。不為別的,實在是因為它展現出來的音/視頻及圖像復原效果,太令人驚嘆了(效果展示中,Ground Truth為原始視頻、音頻或圖像數據)。
  • 圖神經網絡的表達能力,究竟有多強大?
    作者 | Mr Bear編輯 | 叢 末近年來,隨著圖神經網絡在各個領域的火熱應用,越來越多的學者試圖從圖論的角度對圖神經網絡的表達能力進行理論分析,並基於這些理論分析開發出了性能強大的模型。然而,在實際應用中,這些在理論上非常強大的模型的性能往往會受到計算複雜度等因素的限制。
  • 七年級數學上冊期末複習專題課件|數學老師:學霸愛學這份ppt
    很多學生在考前的時候都會認真複習,但是如何才能抓住期末前的考點,很多同學選擇看課本或者死學,其實很多老師都會準備一份七年級上冊期末複習專題的PPT,我們年級的教學主任數學老師整理這份PPT把課本當中核心精簡的要點總結出來,並把經典的例題整理。
  • 斯坦福ICLR2019圖網絡最新論文:圖神經網絡的表徵能力有多強?
    深度學習領域關於圖神經網絡(Graph Neural
  • 用循環神經網絡進行文件無損壓縮:史丹福大學提出DeepZip
    選自史丹福大學作者:Kedar Tatwawadi機器之心編譯參與:李澤南、黃小天神經網絡不僅可以分析、識別特徵,提出預測,還可以壓縮文件。史丹福大學的研究者最近提交的論文中,循環神經網絡捕捉長期依賴關係的優勢被用於無損壓縮任務中,這種被稱為 DeepZip 的技術已在文本和基因組數據文件中得到了實驗。研究人員稱,其結果頗具潛力。
  • 【乾貨】圖神經網絡的十大學習資源分享
    【乾貨】圖神經網絡的十大學習資源分享英語原文:Top 10 Learning Resources for Graph Neural Networks翻譯:雷鋒字幕組(聽風1996)圖神經網絡(GNNs)是深度學習的一個相對較新的領域,從最近開始越來越流行
  • 史丹福大學實現高性能低功耗人工突觸,可用於神經網絡計算
    選自Stanford作者:TAYLOR KUBOTA機器之心編譯參與:微胖、晏奇斯坦福研究人員打造出一種新的有機人工突觸,更好地支持計算機再現人類大腦信息處理方式。該研究還能改善腦機(brain—machine)技術。儘管這些年來,計算機技術取得不少進展,但是,在再造大腦低能耗、簡潔的信息處理過程這方面,我們仍然步履蹣跚。
  • 南洋理工大學最新發布開源圖神經網絡基準
    介紹最近的許多研究讓我們看到了圖形神經網絡模型(GNN)的強大潛力,許多研究團隊也在不斷改進和構建基礎模塊。但大多數研究所使用的數據集都很小,如Cora和TU,在這種情況下,即使是非圖神經網絡的性能也相當可觀。只有使用中等大小的數據集進行進一步比較,圖形神經網絡的優勢才會變得明顯。在斯坦福圖形神經網絡bull Jure等人發布「開放圖形基準」之後,又一項旨在構建「圖形神經網絡圖像網」的研究應運而生。
  • 為何人們只用河沙建房,而不敢用沙漠裡的沙子?看完瞬間懂了
    為何人們只用河沙建房,而不敢用沙漠裡的沙子?看完瞬間懂了網羅天下趣事,縱觀八方奇聞,沙子是建築行業必不可少的一樣材料,它的用途可謂是多種多樣,尤其是在建房子的時候,它起到的作用是非常大的,但建造房屋使用的沙子,大多都為河裡撈出來的河沙,對此就有人提出了疑問,為什麼不能用沙漠裡的沙子來建造房子呢?
  • 西安這份花裡胡哨的PPT,被我啪的一下,改了4頁
    昨天收到一位大學生讀者的私信,問我說她的這份結課PPT做的怎麼樣?馬上要到年末了,對於很多大學生來說,這一學期的課程也馬上要結束了,有些還需要通過PPT,對這門課程做一個總結。所以,今天就這份PPT為例,我手把手該如何做一份學術PPT:先給大家看一下我修改之後的成品:這份修改後的PPT源文件,我也會免費分享給大家,需要的朋友可以下載一下,仔細學習哈~關注我,私信關鍵詞【西安】,一鍵領取PPT源文件。
  • 送你含900頁ppt和代碼實例
    如何設計一個神經網絡,如何訓練它,以及有哪些現有技術專門處理非常大的網絡結構。本課程旨在教授應用問題的深度學習方法所需的技能。課程計劃內容:1. 什麼是深度學習,張量介紹。2.深度學習課程導讀緒論1.1 從神經網絡到深度學習,21頁slides
  • 通俗易懂:圖卷積神經網絡入門詳解
    本人愚鈍,一直沒能搞懂這個GCN為何物,最開始是看清華寫的一篇三四十頁的綜述,讀了幾頁就沒讀了;後來直接拜讀GCN的開山之作,也是讀到中間的數學部分就跪了;再後來在知乎上看大神們的講解,直接被排山倒海般的公式——什麼傅立葉變換、什麼拉普拉斯算子等等,給搞蒙了,越讀越覺得:「哇這些大佬好厲害,哎我怎麼這麼菜!」。
  • 《超智能體》作者講述深層神經網絡設計理念(附PPT+視頻) | 雷鋒網...
    本期雷鋒網(公眾號:雷鋒網)硬創公開課邀請到《超智能體》一書作者於建國,分享的內容就是理解為何「深層」比「淺層」網絡要好,深度學習適用於什麼任務,並嘗試找出前饋神經網絡、循環神經網絡、卷及神經網絡、殘差網絡、預訓練、多任務學習、端到端學習、自動編碼器、遷移學習、distillation、dropout、regularization、batch-normalization
  • 性能優於ReLU,斯坦福用周期激活函數構建隱式神經表示,Hinton點讚
    近日,史丹福大學的一項研究《Implicit Neural Representations with Periodic Activation Functions》進入了我們的視野。這項研究提出利用周期性激活函數處理隱式神經表示,由此構建的正弦表示網絡(sinusoidal representation network,SIREN)非常適合表示複雜的自然信號及其導數。
  • 看不懂電路圖?中建121頁電工多彩實物接線圖圖集,電工入門必備
    電路圖指用電路元件符號表示電路連接的圖,由電路圖可以得知組件間的工作原理,為分析性能、安裝電子、電器產品提供規劃方案。所以電路圖在施工工程中非常重要。今天整理了121頁電工多彩實物接線圖圖集,包括照明電路、電子電路、工業的電動機控制電路和各類電氣控制還有電錶的各種接線等等,有100多張電路圖詳解,清晰明了,簡單易懂,是電工入門的必備資料。
  • 中科院計算所沈華偉:圖神經網絡表達能力的回顧和前沿
    沈華偉老師還對近幾年圖神經網絡表達能力的相關研究進行了梳理,他說:「GNN出現的早期,大家對它表達能力的認識是基於其在半監督學習,尤其是節點分類任務上的優秀表現,一些應用向的研究也只是對圖神經網絡表達能力經驗上的證明」。基於這個認知,在介紹完圖神經網絡的基本知識之後,沈華偉老師對圖神經網絡的表達能力給予了理論上的介紹。
  • 中科院計算所沈華偉:圖神經網絡表達能力的回顧和前沿
    在報告中,沈華偉老師提到:這幾年,雖然圖神經網絡在其他領域大量應用,但「內核」仍然停滯不前,目前設計新圖神經網絡(GNN)的兩種常用方式都在面臨理論上的瓶頸。沈華偉老師還對近幾年圖神經網絡表達能力的相關研究進行了梳理,他說:「GNN出現的早期,大家對它表達能力的認識是基於其在半監督學習,尤其是節點分類任務上的優秀表現,一些應用向的研究也只是對圖神經網絡表達能力經驗上的證明」。基於這個認知,在介紹完圖神經網絡的基本知識之後,沈華偉老師對圖神經網絡的表達能力給予了理論上的介紹。