【年終盤點】2018年29篇必讀機器學習論文總結,BERT, SeqGAN等上榜

2021-02-23 專知

【導讀】本文作者 Cody Marie Wild，她是一位機器學習領域的數據科學家，她鍾愛語言和簡潔優美的系統，與此同時Cody Marie Wild還標榜自己是一位專業求知慾者。Cody每年都會找一個月時間集中精讀當年的重要和經典的機器學習論文，每天一篇並寫上500-1000詞的總結，比如論文主要是思路，重要的創新點以及可能的應用方向等，這對於每個研究者來說都是一份重要的論文閱讀指導，可以作為初學者如何看論文，讀論文一個非常好的借鑑範例。

請關注專知公眾號（掃一掃最下面專知二維碼，或者點擊上方藍色專知），

在論文中，每篇論文，作者都給了論文的主要思路，與其他相關的研究有什麼區別，這篇論文有哪些亮點與創新點等等。而且，基本上每篇論文都附上了連結，可以作為初學者如何看論文，讀論文一個非常好的借鑑範例。

註：專知最新推出的專知開課啦!《深度學習: 算法到實戰》, 中科院博士為你講授！裡面會有大量最新前沿的深度學習熱點話題比如：強化學習、遷移學習、圖卷積、以及深度學習可解釋性等等，也會有大牛指導論文閱讀，教你如何找論文和看論文。


論文筆記工分為六個部分：

語言/序列模型（Language/Sequence Models）

元學習/多任務（Meta Learning / Multi Task）

內在獎勵/基於模型的強化學習（Intrinsic Rewards/Model-Based RL）

Multi-Agent強化學習

對抗樣本（Adversarial Examples）

其他（Miscellaneous）

論文筆記的目錄

附筆記全文

請關注專知公眾號（掃一掃最下面專知二維碼，或者點擊上方藍色專知），

參考連結：

https://docs.google.com/document/d/15o6m0I8g6O607mk5YPTh33Lu_aQYo7SpHhNSbLPQpWQ/edit#

請加專知小助手微信（掃一掃如下二維碼添加），加入專知主題群（請備註主題類型：AI、NLP、CV、 KG等）交流~

點擊「閱讀原文」，了解報名專知《深度學習:算法到實戰》課程

相關焦點

  • 2018年29篇必讀機器學習論文總結,BERT, SeqGAN等上榜
    本文作者 Cody Marie Wild，她是一位機器學習領域的數據科學家，她鍾愛語言和簡潔優美的系統，與此同時Cody Marie Wild還標榜自己是一位專業求知慾者
  • 必讀論文 | 機器學習必讀論文20篇
    擁有AI賦能的科技大數據檢索平臺 AMiner 新推出的必讀論文模塊，將會不讓你為了不知道讀什麼論文而禿頭，美貌與才華兼可得也。以下是小編整理搜索得到的，近五年來有關機器學習的 20 篇必讀論文，不知道是否符合您的心中所想？如有疏漏，請輕拍，與小編聯繫後，我們將會及時添加您心目中的dream paper。
  • seqgan
    近幾篇重要的工作：1. 為了解決這兩個問題，比較早的工作是上交的這篇發表在AAAI 2017的文章：SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient， 16年9月就放上了Arxiv上面了，而且也公布了原始碼。利用了強化學習的東西來解決以上問題。
  • 【年終盤點】2018年有哪些網絡小說值得一看?
    2018年就快過去了，照例來一個2018年的年終書單吧，方便老白書友尋覓好書。需要注意的是，該盤點旨在解決網文老白讀者的書荒問題，入選的書籍都是2018年左右的新書，且相對冷門，本期是今年的新書，18年完結書單也正在努力製作中，過兩天發。
  • Byte Cup 2018國際機器學習競賽奪冠記
    9月份，我們兩位同學一起組隊，參加Byte Cup 2018國際機器學習競賽。本次比賽由中國人工智慧學會和字節跳動主辦，IEEE中國代表處聯合組織。比賽的任務是文章標題自動生成。最終，我們隊伍獲得了第一名。1. 比賽介紹本次比賽的任務是給定文章文本內容，自動生成標題。本質上和文本摘要任務比較類似。
  • bert 學習筆記(一) 搞清楚bert預訓練原理 pytorch版
    （詞彙表的大小），embed_size即embedding_dim(列)# 第2行corpus(2-1)tokenembedding(bert_input) = tokenembedding(train_dataset[1]["bert_input"]) = tokenembedding(torch.tensor([3,4,7,20,13,2,
  • 兩行代碼玩轉 Google BERT 句向量詞向量
    關於作者：肖涵博士，bert-as-service 作者。現為騰訊 AI Lab 高級科學家、德中人工智慧協會主席。肖涵的 Fashion-MNIST 數據集已成為機器學習基準集，在 Github 上超過 4.4K 星，一年來其學術引用數超過 300 篇。
  • 從 one-hot 到 BERT,帶你一步步理解 BERT
    而自google在2018年10月底公布BERT在11項nlp任務中的卓越表後，BERT（Bidirectional Encoder Representation from Transformers)就成為NLP一枝獨秀，本文將為大家層層剖析bert。NLP常見的任務主要有：中文自動分詞、句法分析、自動摘要、問答系統、文本分類、指代消解、情感分析等。
  • 基於BERT 的中文數據集下的命名實體識別(NER)
    其中共設置了10個類別，PAD是當句子長度未達到max_seq_length時，補充0的類別。CLS是每個句首前加一個標誌[CLS]的類別，SEP是句尾同理。總結其實在讀了BERT的論文後，結合代碼進行下遊任務的微調能夠理解的更深刻。其實改造下遊任務主要是把自己數據改造成它們需要的格式，然後將輸出類別根據需要改一下，然後修改一下評估函數和損失函數。
  • 2017年深度學習必讀31篇論文(附下載地址)
    2017年即將擦肩而過，Kloud Strife在其博客上盤點了今年最值得關注的有關深度學習的論文，包括架構/模型、生成模型、強化學習、SGD & 優化及理論等各個方面，有些論文名揚四海，有些論文則非常低調。一如既往，首先，標準免責聲明適用，因為今年僅與GAN有關的論文就超過1660篇。
  • 年終盤點:2019年神經發育及成年神經再生十大研究突破​​
    年終盤點：2019年帕金森病十大臨床研究進展3. 年終盤點：2019年阿爾茨海默病十大基礎研究進展4. 年終盤點：2019年阿爾茨海默病十大臨床研究進展5.年終盤點：2019年腦血管病領域十大基礎研究進展8. 年終盤點：2019年神經炎症領域十大基礎研究進展9.
  • 熱門機器學習開源資源最強盤點
    今天我們帶來了由 Mybridge 整理的 2018 年度熱門機器學習開源資源大盤點，值得一提的是，在這份列表中，出現了來自中國騰訊的貢獻的兩個資源。更多優質內容請關注微信公眾號「AI 前線」（ID：ai-front） 在過去的一年裡，我們比較了近 22000 個機器學習開源工具和項目，選出了前 49 個（約佔 0.22%）。
  • 【整理】2020 年必讀的十篇「機器學習」 論文
    🎉🎉在2020年，機器學習圈子已經取得了非常多的成就。我相信寒假是回顧這一年的好時機，所以本篇文章將介紹10篇我認為有趣且值得閱讀的代表性論文。最佳論文 以下是我選出的2020年10篇最佳ML論文（按時間順序排列）。
  • 大盤點:Top100 深度學習論文+7 篇下載量最多的 AI 研究文章!
    100 篇深度學習論文在 GitHub 上有一個關於深度學習論文閱讀路線圖的存儲庫，包含了 100 篇 Top 深度學習論文，涉及自然語言處理、機器人、語義圖像分割等多個領域，為初入深度學習的研究者提供引導方向。
  • 【乾貨】2017年深度學習必讀31篇論文(附論文下載地址)
    ，Kloud Strife在其博客上盤點了今年最值得關注的有關深度學習的論文，包括架構/模型、生成模型、強化學習、SGD & 優化及理論等各個方面，有些論文名揚四海，有些論文則非常低調。一如既往，首先，標準免責聲明適用，因為今年僅與GAN有關的論文就超過1660篇。我肯定會有疏漏，試圖縮減到每兩周一篇論文，包含了Imperial Deep Learning Reading Group上的大量素材。無論如何，我們開始吧。今年的Convnet網絡架構已經少得多，一切都穩定了。 有些論文肯定是在推動這項研究。
  • GAN學習路線圖:論文、應用、課程、書籍大總結
    從論文資源、到應用實例，再到書籍、教程和入門指引，不管是新人還是老手，都能有所收穫。本文是一篇關於GAN開源資源的一篇分類匯總貼。全文共分為論文、應用、課程、書籍和入門指南五個部分，比較硬核的論文和應用實例部分放在前面，課程、入門指導等內容則放在文末。無論是對於初學者還是老手，相信本文的內容都會對你有所幫助。
  • 超級盤點 | Github年終各大排行榜
    今天，AI科技大本營為大家整理了一份 Github 2018 年終報告，為大家盤點這一年 Github 上正在發生的一些變化，也希望能給大家在即將開始的 2019 年提供參考方向。Github 年終報告今年，在 Github 上，你可以跨存儲庫進行訪問、獲取全球超過 9600 萬個項目的請求、問題與評論。
  • 超詳細的 Bert 文本分類源碼解讀 | 附源碼
    參考論文https://arxiv.org/abs/1706.03762https://arxiv.org/abs/1810.04805在本文中，我將以run_classifier.py以及MRPC數據集為例介紹關於bert以及transformer的源碼，官方代碼基於tensorflow-gpu 1.
  • 酷玩年終盤點:2017年令人失望的科技產品(手機篇)
    【編者按】2017年接近尾聲。在這一年中，科技產品層出不窮，或讓人驚嘆不已，或便利你我生活，或深刻地改變了世界。酷玩科技將為大家盤點2017年的各類科技產品，以下是我們年終盤點的第三彈——2017最令人失望科技產品（手機篇）。
  • 2018年機器學習/人工智慧最重要的進展是什麼?
    2018年機器學習/人工智慧最重要的進展是什麼？三位從業人員給出回答。What were the most significant machine learning/AI advances in 2018?Xavier Amatriain