網絡表示學習領域(NRL/NE)必讀論文匯總

2021-01-08 雷鋒網

雷鋒網AI科技評論按:近日,Cunchao Tu 和 Yuan Yao 兩位研究者在 GitHub 上總結發表了一份關於網絡表示學習(NRL: network representation learning)和網絡嵌入研究領域(NE: network embedding)必讀論文清單。這份清單共包含 5 篇綜述論文和 64 篇會議期刊論文。同時兩位研究者在 GitHub 上發布了 NE / NERL 的開源工具包 OpenNE。該庫提供了標準的 NE / NRL(網絡表示學習)培訓和測試框架,目前在 OpenNE 中實現的模型包括 DeepWalk,LINE,node2vec,GraRep,TADW 和 GCN。

五篇必讀Survey Papers

作者:William L. Hamilton, Rex Ying

論文地址:https://arxiv.org/pdf/1709.05584.pdf

論文摘要:在不同圖(Graph)上的機器學習是一項重要且無處不在的任務,其應用範圍從藥物設計到社交網絡中的好友推薦。該領域的主要挑戰是找到一種方法來表示或編碼圖結構,以便機器學習模型可以輕鬆利用它。傳統的機器學習方法依賴於用戶定義的啟發式方法來提取編碼關於圖的結構信息的特徵(例如,度數統計或內核函數)。然而,近年來,使用基於深度學習和非線性降維的技術,自動學習將圖結構編碼為低維嵌入的方法出現了激增。在這裡,我們提供了關於圖形表示學習領域進展的關鍵概念回顧,包括基於矩陣分解的方法,基於隨機遊走的算法和圖形卷積網絡。文中回顧了嵌入單個節點的方法以及嵌入整個(子)圖的方法。為此,制定了一個統一的框架來描述這些最新的方法,並且強調了未來工作的一些重要應用和方向。

作者:Palash Goyal , Emilio Ferrara

論文地址: https://arxiv.org/pdf/1705.02801.pdf

論文摘要:社交網絡,詞語共現網絡和通信網絡等圖(Graph)出現在現實世界的應用中。在過去,研究人員已經通過很多方法分析它們用來洞察社會結構,語言以及不同的交流模式。最近,在向量空間中使用圖節點表示的方法得到了研究團隊的關注。在這次調查中,我們對文獻中提出的各種圖嵌入技術進行了全面和結構化分析。我們首先介紹嵌入任務及其可擴展性,維度選擇,以及要保留的功能等挑戰及其可能的解決方案。然後,我們基於因式分解方法,隨機遊走和深度學習,提出了三類方法,並給出了每個類別中具有代表性算法的例子以及各種任務的表現分析。我們在幾個常見數據集上評估這些最先進的方法,並比較它們的性能。我們最終呈現了我們開發的開源 Python 庫,名為 GEM(圖嵌入方法,可在 https://github.com/palash1992/GEM 上獲得),它提供了所有在統一界面中提到的算法。

作者:Hongyun Cai, Vincent W. Zheng,  Kevin Chen-Chuan Chang

論文地址:https://arxiv.org/pdf/1709.07604.pdf

論文摘要:圖是一種重要的數據表示形式,它出現在各種各樣的現實場景中。有效的圖分析為用戶提供了對數據背後知識更深入的了解,從而可以使許多有價值的應用程式受益,如節點分類,節點推薦,連結預測等。然而,大多數圖分析方法仍遭受高計算和空間成本的限制。圖嵌入是解決圖分析問題的有效且高效的方法,它將圖形數據轉換為低維空間,其中圖形結構信息和圖形屬性得到最大限度地保留。在這次調查中,我們對過去關於圖嵌入的文獻進行了全面的回顧。我們首先介紹圖形嵌入的正式定義以及相關的概念。之後,我們提出了兩種圖嵌入分類法,它們對應於不同圖嵌入問題設置中存在的挑戰以及現有工作如何解決其解決方案中的這些挑戰。最後,我們總結了圖嵌入的應用,並提出了四個有前景的未來研究方向,包括計算效率,問題設置,技術和應用場景。

作者:Daokun Zhang, Jie Yin,Xingquan Zhu, Chengqi Zhang

論文地址:https://arxiv.org/pdf/1801.05852.pdf

論文摘要:隨著信息技術的廣泛使用,捕捉社交網絡,引文網絡,電信網絡和生物網絡等各種學科網絡之間的複雜關係變得越來越流行。分析這些網絡揭示了社會生活的不同方面,如社會結構,信息傳播和不同的交流模式。然而,大規模的信息網絡往往使網絡分析任務計算成本昂貴且棘手。最近,網絡表示學習被提出作為一種新的學習範式,通過保留網絡拓撲結構,頂點內容和其他邊信息將網絡頂點嵌入低維向量空間。這有助於在新的向量空間中輕鬆處理原始網絡以供進一步分析。在這次調查中,我們對數據挖掘和機器學習領域中的網絡表示學習的當前文獻進行了全面的回顧。我們提出了一種新的分類方法,根據他們所使用的方法和他們保存的網絡信息來分析和總結最先進的網絡表示學習技術。最後,為了便於研究這一主題,我們總結了基準數據集和評估方法,並討論了該領域的未來研究方向。

作者:Cunchao Tu, Cheng Yang, Zhiyuan Liu, Maosong Sun

論文地址:http://engine.scichina.com/publisher/scp/journal/SSI/47/8/10.1360/N112017-00145?slug=full%20text

論文摘要:網絡是表示對象及其關係的重要方式。網絡研究中的一個關鍵問題是如何正確表示網絡信息。隨著機器學習的發展,網絡頂點的特徵學習已成為一個重要的研究領域。網絡表示學習算法將網絡信息轉換為密集的低維實值向量,可用作現有機器學習算法的輸入。例如,頂點的表示可以被饋送到分類器,例如用於頂點分類的支持向量機(SVM)。另外,通過將表示作為歐幾裡德空間中的點,可以將表示用於可視化。網絡表徵學習的研究引起了許多研究者的關注。在這篇文章中,介紹和總結了近期關於網絡表示學習的研究工作。

六十四篇期刊會議論文

論文地址:https://arxiv.org/pdf/1403.6652.pdf;

代碼地址:https://github.com/phanein/deepwalk

論文地址:http://webia.lip6.fr/%7Egallinar/gallinari/uploads/Teaching/WSDM2014-jacob.pdf

論文地址:http://media.cs.tsinghua.edu.cn/%7Emultimedia/cuipeng/papers/KDD-NonTransitiveHashing.pdf

論文地址:https://www.researchgate.net/publication/301417811_GraRep;

代碼地址:https://github.com/ShelsonCao/GraRep

論文地址:https://arxiv.org/pdf/1503.03578.pdf;

代碼地址:https://github.com/tangjianpku/LINE

論文地址:http://thunlp.org/%7Eyangcheng/publications/ijcai15.pdf     

代碼地址:https://github.com/tangjianpku/LINE

論文地址:https://arxiv.org/pdf/1508.00200.pdf

代碼地址:https://github.com/mnqu/PTE

論文地址:http://www.ifp.illinois.edu/%7Echang87/papers/kdd_2015.pdf

論文地址:https://pdfs.semanticscholar.org/1a37/f07606d60df365d74752857e8ce909f700b3.pdf

論文地址:http://media.cs.tsinghua.edu.cn/%7Emultimedia/cuipeng/papers/hoppe.pdf

論文地址:http://proceedings.mlr.press/v48/yanga16.pdf

論文地址:http://www.kdd.org/kdd2016/papers/files/rfp0218-groverA.pdf

代碼地址:https://github.com/aditya-grover/node2vec

論文地址:http://thunlp.org/%7Etcc/publications/ijcai2016_mmdw.pdf

代碼地址:https://github.com/thunlp/mmdw

論文地址:https://www.ijcai.org/Proceedings/16/Papers/271.pdf

論文地址:http://www.aclweb.org/anthology/P16-1095

論文地址:http://media.cs.tsinghua.edu.cn/%7Emultimedia/cuipeng/papers/SDNE.pdf

論文地址:http://www.kdd.org/kdd2016/papers/files/Paper_679.pdf

論文地址:http://media.cs.tsinghua.edu.cn/%7Emultimedia/cuipeng/papers/NE-Community.pdf

論文地址:https://arxiv.org/pdf/1609.02907.pdf

代碼地址:https://github.com/tkipf/gcn

論文地址:http://thunlp.org/%7Etcc/publications/acl2017_cane.pdf

代碼地址:https://github.com/thunlp/cane

論文地址:http://thunlp.org/%7Etcc/publications/ijcai2017_neu.pdf

代碼地址:https://github.com/thunlp/neu

論文地址:http://thunlp.org/%7Etcc/publications/ijcai2017_transnet.pdf

代碼地址:https://github.com/thunlp/transnet

論文地址:https://www3.nd.edu/%7Edial/publications/dong2017metapath2vec.pdf

代碼地址:https://ericdongyx.github.io/metapath2vec/m2v.html

論文地址:https://dl.acm.org/citation.cfm?id=3098142

論文地址:http://www.public.asu.edu/%7Ejundongl/paper/KDD17_SignedFS.pdf

論文地址:https://arxiv.org/pdf/1704.03165.pdf

代碼地址:https://github.com/leoribeiro/struc2vec

論文地址:http://people.tamu.edu/%7Exhuang/Xiao_WSDM17.pdf

代碼地址:https://github.com/xhuang31/LANE

論文地址:http://www.public.asu.edu/%7Ejundongl/paper/SDM17_AANE.pdf

代碼地址:https://github.com/xhuang31/AANE_Python

論文地址:https://arxiv.org/pdf/1706.02216.pdf

代碼地址:https://github.com/williamleif/GraphSAGE

論文地址:http://aclweb.org/anthology/P17-3010

論文地址:https://papers.nips.cc/paper/7110-prune-preserving-proximity-and-global-ranking-for-network-embedding.pdf

論文地址:https://arxiv.org/pdf/1710.03059.pdf

CIKM 2017

論文地址:https://arxiv.org/pdf/1702.02287.pdf

論文地址:http://www.cis.pku.edu.cn/faculty/system/zhangyan/papers/CIKM2017-lts.pdf

論文地址:http://www.public.asu.edu/%7Eswang187/publications/SNEA.pdf

論文地址:https://arxiv.org/pdf/1706.01860.pdf

論文地址:http://shichuan.org/hin/topic/Embedding/2017.%20CIKM%20HIN2Vec.pdf

論文地址:https://dl.acm.org/citation.cfm?id=3132975&dl=ACM&coll=DL

論文地址:https://arxiv.org/pdf/1709.06636.pdf

論文地址:http://i.cs.hku.hk/%7Ezphuang/pub/CIKM17.pdf

論文地址:https://www.cs.uic.edu/%7Eclu/doc/cikm17_mcge.pdf

論文地址:https://web.cs.wpi.edu/%7Exkong/publications/papers/cikm17.pdf

論文地址:http://sentic.net/community-embedding.pdf

代碼地址:https://github.com/andompesta/ComE

WSDM 2018

論文地址:https://arxiv.org/pdf/1710.02971.pdf

論文地址:http://people.tamu.edu/~xhuang/Xiao_WSDM18.pdf

論文地址:https://arxiv.org/pdf/1712.00732.pdf

論文地址:http://cse.msu.edu/~mayao4/downloads/Multidimensional_Network_Embedding_with_Hierarchical_Structure.pdf

論文地址:https://dl.acm.org/citation.cfm?id=3159711&dl=ACM&coll=DL

AAAI 2018

論文地址:https://arxiv.org/pdf/1711.07838.pdf

論文地址:http://yangy.org/works/dynamictriad/dynamic_triad.pdf

Multi-facet Network Embedding: Beyond the General Solution of Detection and Representation.

RSDNE: Exploring Relaxed Similarity and Dissimilarity from Completely-imbalanced Labels for Network Embedding. 

Link Prediction via Subgraph Embedding-Based Convex Matrix Completion. 

Generative Adversarial Network based Heterogeneous Bibliographic Network Representation for Personalized Citation Recommendation. 

DepthLGP: Learning Embeddings of Out-of-Sample Nodes in Dynamic Networks. 

論文地址:http://media.cs.tsinghua.edu.cn/%7Emultimedia/cuipeng/papers/DepthLGP.pdf

Structural Deep Embedding for Hyper-Networks. 

TIMERS: Error-Bounded SVD Restart on Dynamic Networks. 

Community Detection in Attributed Graphs: An Embedding Approach. 

Bernoulli Embeddings for Graphs. 

論文地址:http://sumitbhatia.net/papers/aaai18.pdf

論文地址:https://arxiv.org/pdf/1711.08267.pdf

論文地址:https://arxiv.org/pdf/1706.07845.pdf

代碼地址:https://arxiv.org/pdf/1706.07845.pdf

論文地址:https://arxiv.org/pdf/1711.10755.pdf

雷鋒網(公眾號:雷鋒網)整理編譯

更多內容歡迎關注雷鋒網AI科技評論

雷鋒網原創文章,未經授權禁止轉載。詳情見轉載須知。

相關焦點

  • 為什麼要進行圖學習?談一談逆勢而上的圖神經網絡
    (附下載連結)圖綜述|綜述《A Gentle Introduction to Deep Learning for Graphs》圖網絡綜述|9篇研究綜述看圖神經網絡GNN的最新研究進展圖網絡綜述|10-異構網絡表示學習圖網絡綜述|動態圖上的表示學習(1)圖文獻綜述|動態圖上的表示學習(2)圖文獻綜述|交通領域如何構建圖模型進行深度學習
  • AI專家們推薦的「必讀」論文
    這次推薦的論文依然是分量十足、誠意滿滿,各位推薦者都認為自己推薦的論文是AI人員必讀的經典之作,不知各位讀者怎麼看。現在,我們來看看這次入選的是哪些論文吧!不過在這之前,我還是向您推薦我們之前的那一篇文章,那篇文章也絕對值得一讀。
  • 文本也有攻防戰:清華大學開源對抗樣本必讀論文列表
    在自然語言處理領域,對抗樣本的攻擊與防禦近來受到很多研究者的關注,我們希望構建更穩健的 NLP 模型。在本文中,我們簡要討論了攻防的概念,並介紹了清華大學近日開源的 NLP 對抗樣本攻防必讀論文列表。自然語言處理方面的研究在近幾年取得了驚人的進步,深度神經網絡模型已經取代了許多傳統的方法。但是,當前提出的許多自然語言處理模型並不能夠反映文本的多樣特徵。
  • 《人工智慧之表示學習》報告重磅發布:AI未來發展方向與前景
    藉助科技情報大數據挖掘與服務系統平臺AMiner,通過「表示學習」領域的關鍵詞智能匹配出所有相關論文。並基於這些論文,進行進一步挖掘分析。在語音交互的AI時代,深度學習的出現與發展使自然語言處理(NLP)技術取得了重大的突破。深度學習的重點之一則是語言表示學習,該報告主要從表示學習的理論基礎、主要方法、最新科研進展及代表性論文解讀等方面進行相關核心技術介紹。
  • AAAI 2018入選論文——關於網絡表示學習的最新研究 | 分享總結
    如何用合理的方式表示這些數據是網絡挖掘的關鍵問題,本文探討的就是網絡的表示學習問題。在近期雷鋒網 GAIR 大講堂舉辦的一期關於網絡表示學習的直播中,來自浙江大學本科三年級的馮瑞同學講解了關於網絡表示學習的相關知識,以及他最新入選 AAAI 2018 的一篇論文的主要內容。本文根據馮瑞同學的直播分享整理記錄,有刪減,推薦大家觀看 GAIR 大講堂提供的視頻回放。
  • NeurIPS圖表示學習研討會錄取論文揭曉:92篇論文看懂圖表示學習
    近年來,圖表示學習的研究激增,包括用於深圖嵌入的技術,卷積神經網絡對圖結構數據的泛化以及受信念傳播啟發的神經信息傳遞方法。圖可以看作是對更簡單類型的結構化數據(例如圖像)的自然概括,因此,它們代表了機器學習的下一個突破口。歡迎來新智元 AI 朋友圈與大咖一起討論~ 從電信網絡到量子化學,圖形結構化數據在自然科學和社會科學中無處不在。
  • 7篇必讀ACM MM 2019論文:圖神經網絡+多媒體
    圖神經網絡在多媒體領域應用非常多,本文整理了七篇ACM MM 2019最新GNN相關論文,並附上論文連結供參考——個性化推薦、短視頻推薦、多視頻摘要、基於文本的行人搜索、視頻關係檢測、社區問答(CQA)系統等。來新智元 AI 朋友圈和AI大咖們一起討論吧。
  • AI專家們推薦的13篇「必讀」論文
    我們在一月份的時候就和Jeff談過,當時他不能只選一篇論文作為必讀,所以我們讓他選了兩篇。下面列出這兩篇論文。Learning to Reinforcement Learn(2016)--Jane X Wang et al.本文解讀了兩個關鍵的討論點,即稀疏訓練數據的局限性,以及循環網絡是否能在完全監督的情況下支持元學習。
  • 年度必讀:2018最具突破性人工智慧論文Top 10
    遷移學習已經對計算機視覺領域產生了很大的影響,但NLP領域的現有方法仍然需要針對任務進行修改和從零開始進行訓練。 要包含來自所有biLM層的表示,因為不同的層代表不同類型的信息。 將ELMo表示建立在字符的基礎上,以便網絡可以使用形態學線索「理解」訓練中未見的詞彙表外的token。
  • ARXIV:深度學習在金融領域中的應用 | 唧唧堂論文解析
    然而,相比較ML領域,DL(深度學習)是一個新興領域,越來越多的 DL 模型開始應用在金融中。本文的重點是介紹DL模型在不同金融領域的已實現應用,以便幫助對DL感興趣的研究人員和從業人員決定研究方向。因此本文提出了如下問題:1. 哪些金融領域是深度學習的應用熱門?2. 這些領域的現存研究是否成熟?
  • 機器學習必讀TOP100論文高引用清單
    蕭簫 發自 凹非寺量子位 報導 | 公眾號 QbitAI想要入門機器學習,奈何領域的新論文太多,不知道該看哪一篇?自2017年以來,超越SOTA的方法天天有,但往往針對性非常強,不一定是顛覆機器學習圈的重要成果。又回到了熟悉的話題:要想入行,還得看高引用經典論文。
  • NLP入門+實戰必讀:一文教會你最常見的10種自然語言處理技術
    這期間我需要翻閱大量資料,通過研究報告,博客和同類NLP問題的賽事內容學習該領域的最新發展成果,並應對NLP處理時遇到的各類狀況。因此,我決定將這些資源集中起來,打造一個對NLP常見任務提供最新相關資源的一站式解決方案。下方是文章中提到的任務列表及相關資源。那就一起開始吧。
  • 深度學習進入晶片領域,揭秘寒武紀神經網絡處理器
    作為國際上為數不多的幾個長期開展此方向研究的團隊之一,我們在不被認可中堅持了下來,並嘗試通過自己的努力來改善這個領域的環境(當然近年來環境的改善也得益於深度學習的興起),最終得到了學術界一定程度的肯定。回想起來,如果我們緊緊跟隨國際學術圈的熱點走,我們是很難拿到ASPLOS最佳論文獎的。原因有兩個方面:第一,當我們看到別人的「熱點」論文發表後再去跟著做,可能已經比別人晚了若干年。
  • 用於深度強化學習的結構化控制網絡(ICML 論文講解)
    許多控制應用程式使用通用多層感知器(MLP),用於策略網絡的非視覺部分。在本工作中,我們為策略網絡表示提出了一種新的神經網絡架構,該架構簡單而有效。所提出的結構化控制網(Structured Control Net ,SCN)將通用多層感知器MLP分成兩個獨立的子模塊:非線性控制模塊和線性控制模塊。直觀地,非線性控制用於前視角和全局控制,而線性控制圍繞全局控制以外的局部動態變量的穩定。
  • 機器學習算法匯總:人工神經網絡、深度學習及其它
    以下為原文: 學習方式根據數據類型的不同,對一個問題的建模有不同的方式。在機器學習或者人工智慧領域,人們首先會考慮算法的學習方式。在機器學習領域,有幾種主要的學習方式。常見算法包括Q-Learning以及時間差學習(Temporal difference learning)在企業數據應用的場景下, 人們最常用的可能就是監督式學習和非監督式學習的模型。 在圖像識別等領域,由於存在大量的非標識的數據和少量的可標識數據, 目前半監督式學習是一個很熱的話題。 而強化學習更多的應用在機器人控制及其他需要進行系統控制的領域。
  • Hinton等人新研究:如何更好地測量神經網絡表示相似性
    在機器學習的很多任務中,深度神經網絡可以自動從數據中學習強大的特徵表示。儘管深度神經網絡在多種任務中取得了令人印象深刻的進展,但如何理解和描述神經網絡從數據中學習到的表示仍未得到充分研究。之前的工作(例如 Advani&Saxe (2017)、Amari et al. (2018)、Saxe et al. (2013))在理解神經網絡訓練過程的理論動態方面取得了一些進展。
  • 10本機器學習和數據科學的必讀書籍推薦
    雷鋒網按:Matthew Mayo 是知名數據科學網站 KDnuggets 的副主編,同時也是一位資深的數據科學家、深度學習技術愛好者,在機器學習和數據科學領域具有豐富的科研和從業經驗。近日,他在 KDnuggets 上推薦了一份機器學習和數據科學相關的免費必讀書單,雷鋒網特來與大家分享。
  • 圖神經網絡 Graph Neural Network (GNN)
    傳統的神經網絡比較適合用於歐式空間的數據,而圖神經網絡 GNN 可以把神經網絡用在圖結構 (Graph) 中。圖神經網絡的種類很多,包括圖卷積網絡 GCN、圖注意力網絡 GAT、圖自編碼器 GAE 等。本文介紹最早被提出的圖神經網絡 (Graph Neural Network) GNN。
  • CVPR2020|深度學習不要乘法?北大,華為Oral論文提出加法神經網絡
    作為計算機視覺領域的三大國際頂會之一,CVPR 每年都會吸引全球領域眾多專業人士參與。如 2019 年,CVPR 註冊參會人數高達 9227 人,突破歷屆記錄。其中,來自國內的參會人數就達到 1044 位,僅次於大會舉辦地美國(4743 位)。
  • 【乾貨】圖神經網絡的十大學習資源分享
    】圖神經網絡的十大學習資源分享英語原文:Top 10 Learning Resources for Graph Neural Networks翻譯:雷鋒字幕組(聽風1996)圖神經網絡(GNNs)是深度學習的一個相對較新的領域,從最近開始越來越流行