2018年29篇必讀機器學習論文總結,BERT, SeqGAN等上榜

2021-02-20 智車科技

本文作者 Cody Marie Wild，她是一位機器學習領域的數據科學家，她鍾愛語言和簡潔優美的系統，與此同時Cody Marie Wild還標榜自己是一位專業求知慾者。Cody每年都會找一個月時間集中精讀當年的重要和經典的機器學習論文，每天一篇並寫上500-1000詞的總結，比如論文主要是思路，重要的創新點以及可能的應用方向等，這對於每個研究者來說都是一份重要的論文閱讀指導，可以作為初學者如何看論文，讀論文一個非常好的借鑑範例。

在論文中，每篇論文，作者都給了論文的主要思路，與其他相關的研究有什麼區別，這篇論文有哪些亮點與創新點等等。而且，基本上每篇論文都附上了連結，可以作為初學者如何看論文，讀論文一個非常好的借鑑範例。

微信後臺回復「論文筆記」 就可以獲取筆記全文下載連結~

論文筆記工分為六個部分：


語言/序列模型（Language/Sequence Models）

元學習/多任務（Meta Learning / Multi Task）

內在獎勵/基於模型的強化學習（Intrinsic Rewards/Model-Based RL）

Multi-Agent強化學習

對抗樣本（Adversarial Examples）

其他（Miscellaneous）

論文筆記的目錄

附筆記全文

duang的一下，

我們就到了2018年的冬天

智車科技已經陪你走過n多日夜啦

智車科技一步步從稚嫩走向成熟

希望通過自己的成長給粉絲帶來最好的體驗

成為小夥伴們生活工作中堅實的依靠~

智車科技能夠長遠前行

靠的就是各位「芝麻」（小智的粉絲愛稱）的關懷~~

今天，小智再次靜心和芝麻們交流

想要問問各位

我們的前進還需要什麼？

你可以通過掃碼二維碼來填寫報名表單

小智期待「芝麻」們的熱情回復~


推薦閱讀

▼

▎本文來源：專知。智車科技（IV_Technology）整理編輯，轉載請註明來源。如有侵權請第一時間聯繫我們。

相關焦點

  • 【年終盤點】2018年29篇必讀機器學習論文總結,BERT, SeqGAN等上榜
    【導讀】本文作者 Cody Marie Wild，她是一位機器學習領域的數據科學家，她鍾愛語言和簡潔優美的系統，與此同時Cody Marie Wild
  • 必讀論文 | 機器學習必讀論文20篇
    擁有AI賦能的科技大數據檢索平臺 AMiner 新推出的必讀論文模塊，將會不讓你為了不知道讀什麼論文而禿頭，美貌與才華兼可得也。以下是小編整理搜索得到的，近五年來有關機器學習的 20 篇必讀論文，不知道是否符合您的心中所想？如有疏漏，請輕拍，與小編聯繫後，我們將會及時添加您心目中的dream paper。
  • seqgan
    近幾篇重要的工作：1. 為了解決這兩個問題，比較早的工作是上交的這篇發表在AAAI 2017的文章：SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient， 16年9月就放上了Arxiv上面了，而且也公布了原始碼。利用了強化學習的東西來解決以上問題。
  • Byte Cup 2018國際機器學習競賽奪冠記
    9月份，我們兩位同學一起組隊，參加Byte Cup 2018國際機器學習競賽。本次比賽由中國人工智慧學會和字節跳動主辦，IEEE中國代表處聯合組織。比賽的任務是文章標題自動生成。最終，我們隊伍獲得了第一名。1. 比賽介紹本次比賽的任務是給定文章文本內容，自動生成標題。本質上和文本摘要任務比較類似。
  • bert 學習筆記(一) 搞清楚bert預訓練原理 pytorch版
    （詞彙表的大小），embed_size即embedding_dim(列)# 第2行corpus(2-1)tokenembedding(bert_input) = tokenembedding(train_dataset[1]["bert_input"]) = tokenembedding(torch.tensor([3,4,7,20,13,2,
  • 兩行代碼玩轉 Google BERT 句向量詞向量
    關於作者：肖涵博士，bert-as-service 作者。現為騰訊 AI Lab 高級科學家、德中人工智慧協會主席。肖涵的 Fashion-MNIST 數據集已成為機器學習基準集，在 Github 上超過 4.4K 星，一年來其學術引用數超過 300 篇。
  • 從 one-hot 到 BERT,帶你一步步理解 BERT
    而自google在2018年10月底公布BERT在11項nlp任務中的卓越表後，BERT（Bidirectional Encoder Representation from Transformers)就成為NLP一枝獨秀，本文將為大家層層剖析bert。NLP常見的任務主要有：中文自動分詞、句法分析、自動摘要、問答系統、文本分類、指代消解、情感分析等。
  • 基於BERT 的中文數據集下的命名實體識別(NER)
    其中共設置了10個類別，PAD是當句子長度未達到max_seq_length時，補充0的類別。CLS是每個句首前加一個標誌[CLS]的類別，SEP是句尾同理。總結其實在讀了BERT的論文後，結合代碼進行下遊任務的微調能夠理解的更深刻。其實改造下遊任務主要是把自己數據改造成它們需要的格式，然後將輸出類別根據需要改一下，然後修改一下評估函數和損失函數。
  • 【整理】2020 年必讀的十篇「機器學習」 論文
    🎉🎉在2020年，機器學習圈子已經取得了非常多的成就。我相信寒假是回顧這一年的好時機，所以本篇文章將介紹10篇我認為有趣且值得閱讀的代表性論文。最佳論文 以下是我選出的2020年10篇最佳ML論文（按時間順序排列）。
  • GAN學習路線圖:論文、應用、課程、書籍大總結
    從論文資源、到應用實例，再到書籍、教程和入門指引，不管是新人還是老手，都能有所收穫。本文是一篇關於GAN開源資源的一篇分類匯總貼。全文共分為論文、應用、課程、書籍和入門指南五個部分，比較硬核的論文和應用實例部分放在前面，課程、入門指導等內容則放在文末。無論是對於初學者還是老手，相信本文的內容都會對你有所幫助。
  • 超詳細的 Bert 文本分類源碼解讀 | 附源碼
    參考論文https://arxiv.org/abs/1706.03762https://arxiv.org/abs/1810.04805在本文中，我將以run_classifier.py以及MRPC數據集為例介紹關於bert以及transformer的源碼，官方代碼基於tensorflow-gpu 1.
  • 2018年機器學習/人工智慧最重要的進展是什麼?
    2018年機器學習/人工智慧最重要的進展是什麼？三位從業人員給出回答。What were the most significant machine learning/AI advances in 2018?Xavier Amatriain
  • 【愛可可推薦】春節必讀10大熱門機器學習文章
    1.  【論文】通過總結長序列生成維基百科作者：Peter Liu和Google Brain團隊成員論文地址：https://arxiv.org/pdf/1801.10198.pdf2018年的3月29日，新智元再匯AI之力，共築產業躍遷之路。
  • BERT為什麼是NLP的革新者
    BERT，全稱 Bidirectional Encoder Representation from Transformers，是一款於 2018 年發布，在包括問答和語言理解等多個任務中達到頂尖性能的語言模型。它不僅擊敗了之前最先進的計算模型，而且在答題方面也有超過人類的表現。BERT 是一個可以將文字轉換為數字的計算模型。
  • bert之我見-attention
    （風格依舊，不會重複別人寫過的東西）今天給大家談的是bert中的attention，通篇可能不會有太多篇幅對著bert講，而是把attention講懂，然後再去看bert中的attention幹了什麼，這樣大家能對bert中的attention，甚至整個注意力機制有更加深刻的理解。
  • 通俗易懂的Attention、Transformer、BERT原理詳解
    李宏毅老師深度學習與人類語言處理課程視頻及課件（附下載）從數據到模型，你可能需要1篇詳實的pytorch踩坑指南如何讓Bert在finetune小數據集時更「穩」一點模型壓縮實踐系列之——bert-of-theseus，一個非常親民的bert壓縮方法文本自動摘要任務的「不完全」心得總結番外篇——submodular
  • Embedding從入門到專家必讀的十篇論文
    這裡是「王喆的機器學習筆記」的第十篇文章，今天我們不分析論文，而是總結一下Embedding方法的學習路徑，這也是我三四年前從接觸word2vec，到在推薦系統中應用Embedding，再到現在逐漸從傳統的sequence embedding過渡到graph embedding的過程，因此該論文列表在應用方面會對推薦系統
  • 從AlexNet到BERT:深度學習中那些最重要idea的最簡單回顧
    本文作者Denny Britz按時間總結的深度學習比較重要的idea集錦，推薦新人看，幾乎給自12年以來最重要的idea 都列了出來，這些 idea
  • 【乾貨】2017年深度學習必讀31篇論文(附論文下載地址)
    一如既往，首先，標準免責聲明適用，因為今年僅與GAN有關的論文就超過1660篇。我肯定會有疏漏，試圖縮減到每兩周一篇論文，包含了Imperial Deep Learning Reading Group上的大量素材。無論如何，我們開始吧。今年的Convnet網絡架構已經少得多，一切都穩定了。 有些論文肯定是在推動這項研究。
  • 如何在 fast.ai 用 BERT 做中文文本分類?
    ULMfit 推出1年多了，至今卻沒有一個公開發布、廣泛使用的中文預訓練模型。這真是令人煩惱的事兒啊！黑客有需求，也就有人來琢磨解決。fast.ai 結合 BERT 這問題，對研究者的要求，著實不低。bert_model = "bert-base-chinese"max_seq_len = 128batch_size = 32設置參數之後，我們就可以讀取預置的 Tokenizer 了，並且將它存入到 bert_tokenizer 變量中。