逆勢而上的技術:圖神經網絡學習來了!

2020-12-05 百度AI

要問這幾年一直在逆勢而上的技術有哪些？你一定不會忽略它——圖神經網絡。

相比傳統神經網絡，圖神經網絡的優勢非常明顯：

1、非順序排序的特徵學習：GNN 的輸出不以節點的輸入順序為轉移的。

2、兩個節點之間依賴關係的學習：傳統的神經網絡中，這種依賴關係只能通過節點的特徵來體現。

3、推理能力：GNN 能夠從非結構化數據（例如:場景圖片、故事片段等）中生成推理圖。

因此，圖神經網絡在生物學、地圖、金融、搜索、推薦、高能物理學到社會科學和經濟學等領域的複雜關係建模和互動系統構建起到重要作用。例如，在社交軟體 Twitter 和 Facebook 等社交網絡上取得了顯著的成功。

在實際場景中，有大量的數據是在非歐式空間，限制了深度神經網絡的應用。得益於圖神經網絡在非結構化數據上出色的處理能力，它在學界與工業界上大放光彩。然而，圖神經網絡模型目前仍處於前期高速發展期，面臨著多項方法論和實踐挑戰。

百度作為 AI 領域的領頭羊企業，在圖神經網絡領域的研究、產業實踐、工業落地方面，積累了豐富的經驗！作為百度圖神經網絡研究的中堅力量，百度 PGL 團隊戰績累累，刷新圖神經網絡權威榜單 OGB 三項榜單 SOTA以及獲得今年 COLING 協辦比賽 TextGraph 冠軍！

圖神經網絡技術已被應用在百度內數十個實際項目中，大幅度提升公司效益。為了幫助廣大同學入門圖學習，百度飛槳 PGL 團隊開發了「圖神經網絡7日打卡營」。

面對肆虐全球的新冠疫情，團隊還在課程中設置了「實戰演練新冠疫苗項目」：由於 mRNA 結構極不穩定，通常需零下70度保存，帶來了冷鏈存儲和運輸等眾多難題。因此，我們將通過圖神經網絡算法篩選出結構更加穩定的 mRNA，為疫苗的長途運輸問題的解決貢獻一份力量。一起對抗疫情，讓同學們在實戰中解決問題！

11月23日起，圖神經網絡世界冠軍團隊親自講解，結合多年經驗，7日全直播手把手教學，5大實戰，帶你實踐圖神經網絡，助力新冠疫情防控，攻克難題！

你將收穫：

1. 世界頂尖圖神經網絡團隊手把手教學，與大佬面對面梳理知識體系；

2. 世界頂尖圖神經網絡框架 PGL，復用性強，支持大規模並行；

3.7日高效入門圖神經網絡，專治拖延症，時間短見效快；

4. GPU 計算資源免費使用；

5.百度認證紙質結業證書——「圖神經網絡人才證書」郵寄到家。

還有超級多的學習福利，等你來挑戰！

講師介紹

小斯妹老師 百度飛槳圖學習框架 PGL 核心人員

百度飛槳圖神經網絡框架 PGL 核心人員，所在團隊曾獲得圖學習權威榜單 OGB 三項榜首以及 COLING 協辦比賽 TextGraph 冠軍，推動圖學習技術在百度內部落地數十個項目，大幅度提升公司效益。

課程大綱

01

圖學習初印象

圖神經網絡概述、入門路線

實踐：環境搭建

實戰作業：

安裝 PGL 環境，跑通 example 代碼

02

圖遊走類模型

DeepWalk、node2vec、metapath2vec、metapath2vec 變種

實踐：DeepWalk 代碼解析

實戰作業：

以填空的方式完成 node2vec 模型復現

03

圖神經網絡算法（一）

GCN、GAT、消息傳遞機制

實踐：GCN 代碼解析、比賽代碼講解

實戰作業：

以填空的方式完成 GAT 模型復現

04

圖神經網絡算法（二）

圖採樣技術、圖聚合技術

實踐：講解 GraphSage 代碼

實戰作業：

以填空的方式完成 GraphSage 模型復現

05

圖神經網絡進階模型講解

ERNIESage、UniMP

實踐：ERNIESage 代碼講解

結業比賽：

論文引用網絡的節點預測

06

實戰演練新冠疫苗項目，助力疫情防控！

07

結營儀式

比賽實戰經驗分享

課程總結與 Q&A

頒獎儀式

學習激勵

擔心無法堅持學習？別擔心，成長的路上需要鼓勵。超多獎勵等你來搶！

百度內推資格、官方渠道項目推廣、機械鍵盤、小度在家、 小度音箱、百度網盤會員、紙質證書、算力卡、圖書《深度學習》......超多獎品鼓勵你學習！

學成之後，還有百度官方認證結業證書，讓你的學習看得見！

百度飛槳官方認證結業證書

學習時間

11月23日—11月30日 每晚20:30—21:30

報名方式

圖神經網絡世界冠軍團隊授課，7日全直播教學，5次實戰打卡，實踐圖神經網絡！

關注「飛槳paddlepaddle」公眾號，回復【AIGNN】，即可報名！

相關焦點

  • 為什麼要進行圖學習?談一談逆勢而上的圖神經網絡
    問一問近幾年來逆勢而上的技術有什麼？相信你一定會說出來一個：圖神經網絡。-時空數據挖掘深度學習技術全面綜述NeurIPS2020 | Google《圖學習與挖掘》綜述教程，311頁ppt+教程NeurIPS2020 | 圖對比學習 | 結合四種數據擴充方式進行對比學習(附論文代碼連結)NeurIPS2020 | 四篇圖魯棒性研究相關論文一覽方法總結 | 兩篇論文分析解耦/分離/Disentangled/圖神經網絡表示學習
  • 【乾貨】圖神經網絡的十大學習資源分享
    【乾貨】圖神經網絡的十大學習資源分享英語原文：Top 10 Learning Resources for Graph Neural Networks翻譯：雷鋒字幕組（聽風1996）圖神經網絡（GNNs）是深度學習的一個相對較新的領域，從最近開始越來越流行
  • 用於半監督學習的圖隨機神經網絡
    原標題：用於半監督學習的圖隨機神經網絡 　　導讀：在 NeurIPS 2020 上，清華大學聯合微眾銀行
  • 詳解凸優化、圖神經網絡、強化學習、貝葉斯方法等四大主題
    在本期訓練營（第四期）中我們對內容做了大幅度的更新，一方面新增了對前沿主題的講解如圖神經網絡（GCN,GAT等），另外一方面對核心部分（如凸優化、強化學習）加大了對理論層面上的深度。　　　　從事AI行業多年，但技術上總感覺不夠深入，感覺在技術上遇到了瓶頸；　　　　停留在使用模型/工具上，很難基於業務場景來提出新的模型；　　　　對於機器學習背後的優化理論、前沿的技術不夠深入；　　　　計劃從事尖端的科研、研究工作、申請AI領域研究生、博士生；
  • 極驗發布全國首個專注於圖神經網絡的書籍,《深入淺出圖神經網絡...
    圖神經網絡是當前 AI 領域最為火爆的研究熱點之一，學術界與工業界各大公司紛紛投入大量資源研究。它在因果推理上擁有巨大潛力，有望解決深度學習無法處理的關係推理、可解釋性等一系列問題，而這些問題被業界認為是能夠推動 AI 出現實質性進展的關鍵。
  • CVPR 2018 最前沿:讓神經網絡學習比較來實現少樣本學習
    這就是我們人具備少樣本學習能力的關鍵原因。那麼問題又來了：提取特徵很好理解，現在的神經網絡比如卷積神經網絡也是在學習提取特徵，但是這個比較能力又是什麼東西呢？思考清楚這個問題是產生這個 idea 的關鍵。看起來我們人不需要學習先天就擁有視覺比較能力。如果哪天你看到一個人看一個東西卻說出「It doesn’t look like anything to me.」
  • 一份完全解讀:是什麼使神經網絡變成圖神經網絡?
    本文將就「為什麼圖有用」、「為什麼很難在圖上定義卷積」、「是什麼使神經網絡成為了圖神經網絡」這些問題進行討論。首先，讓我們簡單回顧一下什麼是圖？圖 G 是由有向或無向邊連接的一組節點(頂點)。節點和邊通常是由專家依據知識經驗或是對問題的直覺進行設置的。
  • 圖神經網絡越深,表現就一定越好嗎?
    數十層甚至數百層神經網絡的應用，是深度學習的重要標誌之一。但現實情況卻遠非如此：比如今年被視作機器學習領域最火熱的研究方向之一——圖神經網絡，大多數都只運用了寥寥幾層網絡。一般思路裡，我們會認為圖神經網絡越深，效果就會越好。
  • 深度學習技術和卷積神經網絡(CNN)讓機器視覺識別更智能
    隨著人工智慧技術的進步，深度學習技術（DL）和卷積神經網絡技術(CNN)領域的人工智慧（AI）被引入到機器視覺圖像處理系統的應用中來,從而幫助機器學習和機器檢測缺陷更加高效，使機器視覺識別的過程更加精確。也讓使用這些技術的企業可以從智能化中獲得更高的生產經營效益。
  • 基於深度神經網絡技術的自學習AI智能設備
    網絡安全行業面臨著「技術鴻溝」，對組織構成最大的風險。沒有足夠的熟練安全專家來適當地分類，調查和響應不斷增長的潛在威脅和實際威脅，這使得網絡犯罪分子很容易超越傳統的安全流程和工具來發起攻擊。全球安全公司Fortinet Korea（執行長Won-Kyun Cho）宣布推出fortiAI，這是一種本地設備，可基於自學習的深度神經網絡（DNN）技術來加速網絡威脅的補救並自動執行安全分析。 。
  • NeurIPS 2020|用於半監督學習的圖隨機神經網絡
    導讀：在 NeurIPS 2020 上，清華大學聯合微眾銀行、微軟研究院以及博世人工智慧中心提出了 Graph Random Neural Network (GRAND)，一種用於圖半監督學習的新型圖神經網絡框架。
  • 深度學習:神經網絡算法的昨天、今天和明天
    Neural networks 1.2 (1988): 119-130）當學習能力無法被實現的時候，就需要更多的人工設計來替代網絡的自主學習。1982年，美國科學家John Hopfield發明了一種神經網絡，在其中加入了諸多限制，讓神經網絡在變化中保持記憶以便學習。
  • 深度學習背後的基礎-神經網絡揭秘
    最近， 深度學習三傑獲得了計算機界最重要的圖靈獎， 它們的貢獻都集中在對深度學習的根據神經網絡的理論突破。 今天我們看到的所有和人工智慧有關的偉大成就， 從阿法狗到自動駕駛， 從海量人臉識別到對話機器人， 都可以歸功於人工神經網絡的迅速崛起。那麼對於不了解神經網絡的同學如何入門？ 神經網絡的技術為什麼偉大， 又是什麼讓它們這麼多年才姍姍走來?
  • 人工智慧系列(六) 深度學習中的神經網絡
    從另一個角度看，不管是哪種網絡結構，其根本還是從傳統的神經網絡、多層感知機發展而來的。本篇聊聊神經網絡和多層感知機。我們在上一篇中提到高中學過的線性擬合，線性回歸。神經網絡在深度學習中的作用，就類似於線性回歸方程y=ax+b的作用。從另一個角度看，線性回歸方程y=ax+b就是一個最簡單的神經網絡。在實際工程中，我們的研究對象可能比較複雜，很難用一個線性方程來表示其模型。
  • 表徵圖數據絕不止圖神經網絡一種方法
    近年來，圖神經網絡掀起了將深度學習方法應用於圖數據分析的浪潮。不過其作為一門古老的認識世界的方法論，人們對於圖表徵技術的研究從很早以前就開始了。雖然現在深度神經網絡在物體識別、圖像分類和自然語言處理領域都取得了巨大的成功。然而，「設計出最優的神經網絡，學習並輸出任意的圖」仍然是一個熱門的研究課題。
  • 人工智慧黑盒揭秘:深度神經網絡可視化技術
    雲腦科技自主研發的 Deepro 深度學習平臺利用可視化技術，集成了最前沿的各類深度神經網絡可視化組件，分析與顯化內部隱藏結構與模型輸出的關係，解決「黑盒」難題。深度神經網絡的可視化作為理解人工智慧系統的主要技術，模型可視化是一個由來已久而且寬泛的話題。模型可視化與數據可視化屬於不同的範疇，數據可視化通過降維，主成分分析等技術來分析數據的結構，模型可視化針對的是對機器學習模型本身的理解。
  • 「冪律與臨界」支配神經網絡，深度學習技術要向大腦學習
    導語近年來，怎樣讓深度學習的系統借鑑大腦的編碼機製成為了一個熱點問題。最近，研究人員從大腦的視覺神經網絡中發現了令人驚訝的臨界現象和冪律，這一發現對於深度學習系統的設計和穩定性分析都有重要的啟發。以此來研究視覺刺激的高維度神經活動。 因此，Harris和他的同事們發明了能同時記錄一萬個神經元的新技術後，重新開始研究這一課題。他們讓小鼠觀看了近 3000 幅自然圖片，同時檢測動物視覺皮層的反應，發現了與高維度的神經活動相適應的一系列模式。 但研究者們也發現了一些與神經活動相關的謎團。
  • 一文讀懂圖神經網絡
    小聲：今天老闆說深度學習必須學習python，於是:一、介紹什麼是圖神經網絡圖神經網絡(Graph Neural Networks, GNNs)是基於圖結構的深度學習方法，近期被廣泛應用到各類圖像、自然語言處理等任務上。圖
  • 表徵圖數據,絕不止圖神經網絡一種方法
    不過其作為一門古老的認識世界的方法論，人們對於圖表徵技術的研究從很早以前就開始了。雖然現在深度神經網絡在物體識別、圖像分類和自然語言處理領域都取得了巨大的成功。然而，「設計出最優的神經網絡，學習並輸出任意的圖」仍然是一個熱門的研究課題。
  • Widrow-Hoff神經網絡學習規則的應用研究
    Matlab中大量有關線性神經網絡的工具函數可為線性神經網絡研究和應用提供強有力的工具。2 線性神經網絡原理2．1 線性神經網絡的模型 圖1是具有R個輸入的單層(有S個神經元)線性神經網絡結構，其權值矩陣為w，閾值向量為b，這種網絡也稱為Madaline網絡。