德克薩斯A&M大學在讀博士遊宇寧:自監督學習在圖卷積網絡中的研究...

2020-12-04 智東西

自監督學習是一種介於無監督和有監督學習之間的新範式，可以有效減少對大量帶注釋數據的需求。在數據訓練的過程中，生成帶有無噪聲標籤的數據集的成本很高，而無標籤的數據又一直在不斷產生。為了有效利用大量的無標籤數據，自監督學習通過設置合理的學習目標和定義前置任務，從數據本身中得到了監督信號。當前自監督學習已經被廣泛用於訓練卷積神經網絡（CNNs），有效地提高了圖像表示學習可傳遞性、泛化能力和魯棒性，並且已在語義分割、目標檢測、圖像分類、人體動作識別等實戰場景中展現出卓越效果。現在更多無需人工標註的前置任務訓練也被提出，如前景對象分割、圖像修補、圖像著色等。

然而，自監督如何應用於處理圖數據結構的圖卷積網絡（GCNs）的問題卻很少被探索。作為圖神經網絡中的重要分支，GCNs解決了CNNs無法處理非歐幾裡德結構數據（如社交網絡、推薦系統上抽取的圖譜等）的問題，能從拓撲結構網絡中有效提取空間特徵。因此，GCNs成為了當前機器學習領域的研究熱點之一。近年的研究重點多聚焦於GCNs的半監督學習算法，而如何在圖卷積網絡中引入自監督學習，來解決圖卷積模型自身的問題，仍然十分值得探索。

8月10日上午10點，智東西公開課邀請到德克薩斯A&M大學電子工程系在讀博士遊宇寧參與到「機器學習前沿講座」第5講，帶來主題為《自監督學習在圖卷積網絡中的研究與應用》的直播講解。遊宇寧博士將深度講解自監督在GCNs多任務學習、自訓練等機制中的探索，並介紹三種基於GCNs的新型自監督學習任務以及如何將多任務自監督學習應用到圖對抗性訓練中。

遊宇寧是德克薩斯A&M大學電子工程系的在讀博士，研究方向是圖機器學習和自監督學習等，在CVPR、ICML等頂會發表多篇論文。遊博士本科畢業於西安交通大學。

課程內容

主題：自監督學習在圖卷積網絡中的研究與應用

提綱：1、自監督在圖卷積網絡多任務學習機制中的探索2、基於圖卷積網絡的新型自監督學習任務3、多任務自監督學習在圖對抗訓練中的應用

講師介紹

遊宇寧，德克薩斯A&M大學電子工程系在讀博士；研究方向是圖機器學習和自監督學習等；在CVPR、ICML等頂會發表多篇論文；本科畢業於西安交通大學。

直播信息

直播時間：8月10日上午10點直播地點：智東西公開課小程序答疑地址：智東西公開課討論群

加入主講群

本次課程的講解分為主講和答疑兩部分，主講以視頻直播形式，答疑將在「智東西公開課討論群」進行。加入討論群，除了可以免費收看直播之外，還能認識講師，與更多同行和同學一起學習，並進行深度討論。掃碼添加小助手曼曼（ID：zhidx006）即可申請，備註「姓名-公司/學校/單位-職位/專業」的朋友將會優先審核通過哦~

相關焦點

  • 為什麼要進行圖學習?談一談逆勢而上的圖神經網絡
    越大的自監督模型，半監督學習需要的標籤越少KDD2020 | MoFlow：基於流的分子圖生成模型【綜述】圖神經網絡與深度學習在智能交通中的應用：綜述Survey淺談圖上的自監督學習——對比學習論文快訊 | NeurIPS2020 重新思考圖神經網絡中的池化自監督學習 | ICML2020 自監督學習什麼時候可以對GCN有利？
  • 深入理解卷積網絡的卷積
    歷史卷積神經網絡最初是由福島核電站在1980年引入的，當時名為Neocognitron。它的靈感來自於Hubel和Weisel提出的神經系統的層次模型。但由於其複雜的無監督學習算法，即無監督學習，該模型並不受歡迎。
  • 用於半監督學習的圖隨機神經網絡
    原標題：用於半監督學習的圖隨機神經網絡 　　導讀：在 NeurIPS 2020 上，清華大學聯合微眾銀行
  • 從全卷積網絡到大型卷積核:深度學習的語義分割全指南
    使用圖像塊分類的主要原因是分類網絡通常是全連接層（fullconnectedlayer），且要求固定尺寸的圖像。　　2014年，加州大學伯克利分校的Long等人提出全卷積網絡（FCN），這使得卷積神經網絡無需全連接層即可進行密集的像素預測，CNN從而得到普及。使用這種方法可生成任意大小的圖像分割圖，且該方法比圖像塊分類法要快上許多。之後，語義分割領域幾乎所有先進方法都採用了該模型。
  • 人工智慧的下半場,一定少不了自監督學習
    這裡呈上一份精心收集的自監督學習論文列表：https://github.com/jason718/awesome-self-supervised-learning。如果你對此感興趣，並想進行更加深入的研究，可以查閱這些論文。
  • 深度學習時代的圖模型,清華發文綜述圖網絡
    他們將現有方法分為三個大類：半監督方法，包括圖神經網絡和圖卷積網絡；無監督方法，包括圖自編碼器；近期新的研究方法，包括圖循環神經網絡和圖強化學習。然後按照這些方法的發展史對它們進行系統概述。該研究還分析了這些方法的區別，以及如何合成不同的架構。最後，該研究簡單列舉了這些方法的應用範圍，並討論了潛在方向。
  • 從圖(Graph)到圖卷積(Graph Convolution):漫談圖神經網絡 (二)
    在從圖(Graph)到圖卷積(Graph Convolution): 漫談圖神經網絡 (一)中，我們簡單介紹了基於循環圖神經網絡的兩種重要模型，在本篇中，我們將著大量筆墨介紹圖卷積神經網絡中的卷積操作。接下來，我們將首先介紹一下圖卷積神經網絡的大概框架，藉此說明它與基於循環的圖神經網絡的區別。
  • 卷積神經網絡的卷積到底是什麼
    卷積神經網絡是一種特殊的神經網絡結構，是自動駕駛汽車、人臉識別系統等計算機視覺應用的基礎，其中基本的矩陣乘法運算被卷積運算取代。但由於其複雜的無監督學習算法，即無監督學習，該模型並不受歡迎。1989年，Yann LeCun利用反向傳播和Neocognitron的概念提出了一種名為LeNet的架構，該架構被美國和歐洲用於手寫的郵政編碼識別。郵政服務。Yann LeCun進一步研究了這個項目，最終在1998年發布了LeNet-5——第一個引入了我們今天在CNN仍然使用的一些基本概念的現代卷積神經網絡。
  • 推薦中的自監督圖神經網絡
    數據的偏態分布、噪聲等問題在機器學習中廣泛存在，極大的限制了模型的性能。自監督學習可能是緩解上述問題的有效途徑！微軟亞洲研究院、中國科學技術大學、新加坡國立大學的一眾大佬聯合提出了SGL模型，通過輔助的自監督任務來提高監督任務(推薦)的性能。
  • 自監督學習知識遷移
    自監督學習是一個非常有趣的研究領域，其目標是在沒有任何人工標註的情況下，從未標註的數據中學習豐富的表示。我們可以通過創造性地提出一個問題來實現，這樣你就可以使用數據本身的一部分作為標籤並嘗試進行預測。這樣的表述被稱為前置任務例如，你可以設置一個前置任務，給定灰度圖情況下來預測圖像的彩色版本。
  • NeurIPS 2020|用於半監督學習的圖隨機神經網絡
    導讀：在 NeurIPS 2020 上，清華大學聯合微眾銀行、微軟研究院以及博世人工智慧中心提出了 Graph Random Neural Network (GRAND)，一種用於圖半監督學習的新型圖神經網絡框架。
  • 深度| 一文概覽圖卷積網絡基本結構和最新進展
    選自tkipf.github作者：Thomas Kipf機器之心編譯參與：李詩萌、劉曉坤本文介紹了圖卷積網絡的基本結構，和最新的研究進展，並指出了當前模型的優缺點。通過對半監督學習應用 GCN 證明三層 GCN 模型不需要節點的任何特徵描述就可以對只有一個標籤實例的類進行線性分離。
  • 自監督、半監督和有監督全涵蓋,四篇論文遍歷對比學習的研究進展
    自監督學習意思是使用非人工標記數據進行學習。在機器學習中，比較著名的自監督方法就是自然語言處理中的 。由此可見，與無監督學習不同，自監督中仍然存在標記，只不過，這些標記不是人類參與生成的，而是從輸入數據中生成的，通常可以使用啟發式算法生成標記。
  • 重新思考圖卷積網絡:GNN只是一種濾波器
    新智元報導 來源：arxiv編輯：肖琴【新智元導讀】最新研究提出，圖神經網絡僅對特徵向量進行低通濾波，不具有非線性流形學習特性。論文提出了一種基於圖形信號處理的理論框架，用於分析圖神經網絡。圖神經網絡已成為解決圖結構數據機器學習問題的最重要技術之一。
  • 深度| 理解深度學習中的卷積
    機器之心經授權轉載來源：碼農場譯者按：本文譯自 Tim Dettmers 的 Understanding Convolution in Deep Learning。有太多的公開課、教程在反覆傳頌卷積神經網絡的好，卻都沒有講什麼是「卷積」，似乎默認所有讀者都有相關基礎。這篇外文既友好又深入，所以翻譯了過來。
  • 卷積網絡訓練太慢?Yann LeCun:已解決CIFAR-10,目標 ImageNet
    很多競賽選手使用了卷積網絡來完成這場競賽，其中一些在該分類任務中靠著超乎人類能力的表現而得分。在本系列的博客中，我們將會分別採訪三位選手和卷積網絡之父、Facebook人工智慧實驗室主任和紐約大學教授 Yann LeCun 。
  • 萬字長文帶你看盡深度學習中的各種卷積網絡(上篇)
    雷鋒網 AI 科技評論按：深度學習中的各種卷積網絡大家知多少？對於那些聽說過卻又對它們沒有特別清晰的認識的小夥伴們，Kunlun Bai 這篇文章非常值得一讀。Kunlun Bai 是一位人工智慧、機器學習、物體學以及工程學領域的研究型科學家，在本文中，他詳細地介紹了 2D、3D、1x1 、轉置 、空洞（擴張）、空間可分離、深度可分離、扁平化、 分組等十多種卷積網絡類型。
  • NAS-DIP: 基於神經架構搜索的自監督圖像補全算法
    From: Arxiv；編譯: T.R　　與先前使用大規模監督數據進行訓練的算法不同，Deep Image Prior(DIP)利用隨機初始化的神經網絡模型和退化後的圖像進行自監督迭代，在無需大規模數據進行訓練的情況下，就能有效實現圖像去噪、超分辨和補全等任務。
  • 深度學習之卷積神經網絡經典模型
    隨著ReLU與dropout的提出，以及GPU帶來算力突破和網際網路時代大數據的爆發，卷積神經網絡帶來歷史的突破，AlexNet的提出讓深度學習走上人工智慧的最前端。VGG net在ILSVRC-2014中，牛津大學的視覺幾何組提出的VGGNet模型在定位任務第一名和分類任務第一名[[i]]。如今在計算機視覺領域，卷積神經網絡的良好效果深得廣大開發者的喜歡，並且上文提到的AlexNet模型擁有更好的效果，所以廣大從業者學習者試圖將其改進以獲得更好地效果。
  • 形象理解深度學習中八大類型卷積
    本文總結了深度學習中常用的八大類型的卷積，以非常形象的方式幫助你建立直覺理解，為你的深度學習提供有益的參考。分別是單通道卷積、多通道卷積、3D卷積、1 x 1卷積、轉置卷積、擴張卷積、可分離卷積、分組卷積。