作者 | Elvis
譯者 | 凱隱、夕顏
【導讀】對自然語音處理（NLP）領域而言，2019年是令人印象深刻的一年，本文將回顧2019年NLP和機器學習領域的重要事件。內容 主要集中於 NLP 領域，但也會包括一些與 AI 有關的有趣故事，包括新發布模型、工程成果、年度報告以及學習資源等。文章較長，將近萬字，適合先馬後看，靜下心來細細研讀。
模型與文獻
谷歌AI 提出了 ALBERT 模型，這是 BERT 模型的簡化版本，用於語境化語言表示的自監督學習。相較於 BERT，其在模型更加精練的同時更有效地分配了模型的容量。該模型在12個 NLP任務中都達到了最優效果。
ALBERT: https://ai.googleblog.com/2019/12/albert-lite-bert-for-self-supervised.htmlBERT: https://arxiv.org/abs/1810.04805在今年早些時候，英偉達在一篇流行論文中提出了風格化 GAN(styleGAN)，其作為 GAN 的一種可選生成器結構，可以實現圖像的風格轉換，後續的許多工作在此基礎上進一步重新設計了生成器的標準化過程，以適應不同任務。Code2seq 則是其中非常有趣的一篇，其可以通過code的結構化表示來生成自然語言序列，這可以應用到文檔或總結的自動摘要。
StyleGAN: https://arxiv.org/pdf/1812.04948.pdfCode2seq: https://code2seq.org/
在生物醫學方面，BioBERT 可以實現生物醫學文本挖掘，這是一種基於上下文來從生物醫學文本中提取重要信息的方法。
BioBERT: https://arxiv.org/abs/1901.08746
在發布BERT後，Facebook 的研究員們進一步提出了RoBERTa，其引入了新的優化方法來改進BERT，並在各種NLP基準測試上達到了最佳效果。
RoBERTa: https://ai.facebook.com/blog/roberta-an-optimized-method-for-pretraining-self-supervised-nlp-systems/
Facebook AI的研究人員最近還發布了一種基於全注意力層（all-attention layer）的方法，用於提高Transformer語言模型的效率，該研究小組的其他工作包括教授人工智慧系統如何使用自然語言進行規劃。
相關連結:
https://ai.facebook.com/blog/making-transformer-networks-simpler-and-more-efficient/https://ai.facebook.com/blog/-teaching-ai-to-plan-using-language-in-a-new-open-source-strategy-game/
模型可解釋性一直是機器學習和NLP領域的重要課題，這篇文章提供了關於AI可解釋性，分類標準，以及未來研究方向的全面綜述：
https://arxiv.org/abs/1910.10045
Sebastian Ruder 發表了一篇關於自然語言處理的神經轉移學習的論文：https://ruder.io/thesis/
一些研究人員開發了一種在對話上下文中進行情感識別的方法，為生成帶情感的對話鋪平了道路。另一項相關工作涉及一種名為DialogueGCN的GNN方法來檢測對話中的情緒。本論文還提供了代碼實現：
https://arxiv.org/abs/1910.04980https://www.aclweb.org/anthology/D19-1015.pdfhttps://github.com/SenticNet/conv-emotion/tree/master/DialogueGCN谷歌AI量子小組在《自然》雜誌上發表了一篇論文，聲稱他們已經開發出一種比世界上最大的超級計算機還要快的量子計算機。更多的相關實驗請戳連結：
https://www.nature.com/articles/s41586-019-1666-5https://ai.googleblog.com/2019/10/quantum-supremacy-using-programmable.html如前所述，神經網絡的可解釋性仍是一個需要改進和提升的領域，本文討論了注意力作為一種可靠的可解釋性方法在語言建模中的局限性：https://arxiv.org/abs/1908.04626
神經邏輯機（Neural logic machine）是一種既能進行歸納學習又能進行邏輯推理的神經符號網絡結構。該模型在排序數組和尋找最短路徑等任務中表現得非常出色：https://arxiv.org/abs/1904.11694
這是一篇將Transformer語言模型應用於提取和抽象神經文檔摘要的論文：https://arxiv.org/abs/1909.03186
研究人員開發了一種側重於通過對比來建立和訓練ML模型的方法。這種技術不需要大量的特徵-標籤對，而是將圖像與以前看到的圖像進行比較，以確定圖像是否屬於某個特定的標籤。
https://blog.ml.cmu.edu/2019/03/29/building-machine-learning-models-via-comparisons/
Nelson Liu等人發表了一篇論文，討論了在預設語境下訓練的模型 (如BERT和ELMo)獲取的語言知識類型。
https://arxiv.org/abs/1903.08855
XLNet是基於預訓練的NLP模型，它在20個任務上相較於BERT都有提升。相關總結請戳連結。
https://arxiv.org/abs/1906.08237https://medium.com/dair-ai/xlnet-outperforms-bert-on-several-nlp-tasks-9ec867bb563b來自DeepMind的工作報告了一項廣泛的實證調查的結果，該調查旨在評估應用於各種任務中的語言理解模型。這種廣泛的分析有助於更好地理解語言模型學習到的內容，從而提高它們的效率。
https://arxiv.org/abs/1901.11373
VisualBERT是一個簡單而魯棒的框架，用於諸如包括VQA和Flickr30K等視覺-語言任務。這種方法通過堆疊Transformer層並結合self-attention來將文本中的元素和圖像中的區域進行對齊。
https://arxiv.org/abs/1908.03557
這項工作提供了一個NLP轉移學習方法的詳細分析比較，以及對NLP領域從業者的指導。
https://arxiv.org/abs/1903.05987
Alex Wang和Kyunghyun提出了一種BERT的實現方法，能夠產生高質量、流暢的語言生成器。
https://arxiv.org/abs/1902.04094https://colab.research.google.com/drive/1MxKZGtQ9SSBjTK5ArsZ5LKhkztzg52RVFacebook的研究人員發布了XLM的代碼，這是一個用於跨語言模型訓練的預訓練模型。(PyTorch實現)
https://github.com/facebookresearch/XLM
這篇文章全面分析了強化學習算法在神經機器翻譯中的應用：
https://www.cl.uni-heidelberg.de/statnlpgroup/blog/rl4nmt/
這篇發表在JAIR上的綜述對跨語言單詞嵌入模型的訓練，驗證和部署進行了全面的概述。
https://jair.org/index.php/jair/article/view/11640
The Gradient發表了一篇不錯的文章，其詳細闡述了強化學習目前的局限性，並提供了一條潛在的分級強化學習的前進道路。很快，其他人又發布了一套優秀的教程來幫助入門強化學習。
https://thegradient.pub/the-promise-of-hierarchical-reinforcement-learning/https://github.com/araffin/rl-tutorial-jnrr19/blob/master/1_getting_started.ipynb這篇文章簡要介紹了基於上下文的詞表示方法。
https://arxiv.org/abs/1902.06006
ML/NLP的創造力和社會性
機器學習已被應用於解決現實世界的問題，但它也在被以有趣和具有創造性的方式應用著。ML的創造力和任何其他人工智慧研究領域一樣重要，因為我們的最終目的是建立有助於塑造我們的文化和社會的人工智慧系統。
今年年底，Gary Marcus 和Yoshua Bengio 就深度學習、象徵性人工智慧和混合人工智慧系統的想法展開了辯論。
https://www.zdnet.com/article/devils-in-the-details-in-bengio-marcus-ai-debate/
2019年人工智慧指數報告最終發布，全面分析了人工智慧的現狀，可以幫助人們更好地了解人工智慧領域的總體進展。
https://hai.stanford.edu/ai-index/2019
常識推理（Commonsense reasoning）仍然是一個重要的研究領域，因為我們的目標是建立不僅能夠對提供的數據進行預測，而且能夠理解和推理這些決策的人工智慧系統。這種技術可以用於會話人工智慧，其目標是使智能代理能夠與人進行更自然的對話。除了Nasrin Mostafazadeh對常識推理和諸如講故事和語言理解等應用的討論， 還可以查看最近這篇關於如何利用語言模型進行常識推理的文章。
https://arxiv.org/abs/1906.02361
激活地圖集（Activation Atlases）是谷歌和Open AI的研究人員開發的一種技術，用於更好地理解和可視化神經網絡神經元之間發生的交互作用。
https://openai.com/blog/introducing-activation-atlases/
可以看看Geoffrey Hinton和Yann LeCun的圖靈獎演講，他們和Yoshua Bengio一起獲得了今年的圖靈獎。
https://fcrc.acm.org/turing-lecture-at-fcrc-2019
本文討論了利用機器學習來應對氣候變化問題。
https://arxiv.org/abs/1906.05433
OpenAI發布了一份內容廣泛的報告，全面討論了語言模型的社會影響，包括對現有技術的有益使用和潛在誤用。
https://d4mucfpksywv.cloudfront.net/papers/GPT_2_Report.pdf
情緒分析繼續在各種各樣的應用發揮作用。Mojifier是一個很酷的項目，它可以觀看圖片，檢測情緒，然後用與檢測到的情緒相匹配的表情符號替換臉部表情。
https://themojifier.com/
人工智慧在放射學方面的應用也很流行。以下是對這一研究領域的趨勢和前景的一個很好的總結。紐約大學的研究人員還發布了一個Pytorch實現的深層神經網絡，可以提高放射科醫生在乳腺癌篩查中的表現。此外還有重要的數據集發布，叫做MIMIC-CXR，它包括一個胸部x光和文本放射學報告的資料庫。
https://arxiv.org/abs/1903.11726https://medium.com/@jasonphang/deep-neural-networks-improve-radiologists-performance-in-breast-cancer-screening-565eb2bd3c9fhttps://physionet.org/content/mimic-cxr/2.0.0/《紐約時報》寫了一篇關於 Karen Spark Jones 的文章，回顧了她對NLP和信息檢索的重大貢獻。
https://www.nytimes.com/2019/01/02/obituaries/karen-sparck-jones-overlooked.html
OpenAI Five 成為第一個在電子競技遊戲（dota2）中擊敗世界冠軍的AI系統。
https://openai.com/blog/openai-five-defeats-dota-2-world-champions/
全球人工智慧人才報告提供了全球人工智慧人才庫和全球對人工智慧人才需求的詳細報告。
https://jfgagne.ai/talent-2019/
如果你還沒有訂閱，DeepMind 團隊的播客是很不錯的選擇，參與者可以在裡面討論與人工智慧有關的最緊迫的話題。談到人工智慧的潛力，Demis Hassabis 在接受《經濟學人》採訪時談到了一些未來主義的想法，比如將人工智慧作為人類思維的延伸，以找到重要科學問題的潛在解決方案。
https://deepmind.com/blog?filters=%7B%22category%22:%5B%22Podcasts%22%5D%7D
今年還見證了ML在健康應用方面令人難以置信的進步。例如，麻薩諸塞州的研究人員開發了一種人工智慧系統，能夠像人類一樣準確地發現腦出血。
https://venturebeat.com/2019/01/04/massachusetts-generals-ai-can-spot-brain-hemorrhages-as-accurately-as-humans/
Janelle Shane 總結了一組「奇怪」的實驗，展示了機器學習如何以創造性的方式進行有趣的實驗。有時候這是一種需要真正理解人工智慧系統實際「做了什麼」和「沒做什麼」的實驗。其中一些實驗包括利用神經網絡生成假蛇和講笑話。
https://aiweirdness.com/post/181621835642/10-things-artificial-intelligence-did-in-2018
基於 tensorflow 框架的機器學習行星探測模型。
https://www.blog.google/topics/machine-learning/hunting-planets-machine-learning/
OpenAI 討論了發布(包括潛在的惡意用例)大型非監督語言模型的含義。
https://openai.com/blog/better-language-models/#sample1
Colab Notebook 提供了一個關於如何使用細胞核和張力流進行「DNA測序錯誤糾正」的不錯介紹。這裡有一篇關於深度學習架構在探索DNA中的應用的詳細文章。
https://colab.research.google.com/github/google/nucleus/blob/master/nucleus/examples/dna_sequencing_error_correction.ipynb
Alexander Rush 是哈佛大學的一位 NLP 研究員，他寫了一篇關於張量存在的問題，以及這些問題如何體現在當前一些代碼庫中的重要文章。他還提出了一個關於張量附帶命名指標的建議。
http://nlp.seas.harvard.edu/NamedTensor
ML/NLP 工具和數據集
這部分主要介紹與軟體和數據集相關的內容，它們促進了 NLP 和機器學習的研究和工程。
抱抱臉（Hugging Face）發布了一個基於Pytorch的流行Transformer庫：Pytorch - Transformer。它允許NLP從業者和研究人員輕鬆地使用最先進的通用架構，如BERT、GPT-2和XLM等。如果你對如何使用pytorch-transformer感興趣，可以從以下幾個地方開始，但是我非常喜歡Roberto Silveira的這個詳細教程，它展示了如何使用庫進行機器理解。
https://github.com/huggingface/transformershttps://rsilveira79.github.io/fermenting_gradients/machine_learning/nlp/pytorch/pytorch-transformer-squad/
TensorFlow 2.0帶著一系列新特點發布了。在這裡閱讀更多關於最佳實踐的信息。Francois Chollet也在這個Colab notebook 中對新特點進行了全面的概述。
https://medium.com/tensorflow/whats-coming-in-tensorflow-2-0-d3663832e9b8https://colab.research.google.com/drive/1UCJt8EYjlzCs1H1d1X0iDGYJsHKwu-NOPyTorch 1.3發布了大量新特性，包括命名張量和其他前端改進。
https://ai.facebook.com/blog/pytorch-13-adds-mobile-privacy-quantization-and-named-tensors/
艾倫人工智慧研究所(Allen Institute for AI)發布了一款名為 Iconary 的人工智慧系統，它可以和人類一起玩圖畫類遊戲。這項工作結合了視覺/語言學習系統和常識推理。他們還發布了一個新的常識推理基準，稱為Abductive-NLI。
https://iconary.allenai.org/
spaCy發布了一個新的庫，將 Transformer 語言模型合併到它們自己的庫中，以便能夠在spaCy NLP中提取特徵並使用它們。這一工作依賴於由 Hugging Face 開發的流行 Transformer 庫。
Maximilien Roberti也寫了一篇關於如何快速合併 fast.ai 代碼與 pytorch-transformer 的文章。
https://explosion.ai/blog/spacy-transformershttps://towardsdatascience.com/fastai-with-transformers-bert-roberta-xlnet-xlm-distilbert-4f41ee18ecb2Facebook人工智慧團隊發布了物理推理基準：PHYRE，旨在通過解決各種物理難題來測試人工智慧系統的物理推理能力。
https://phyre.ai/
StanfordNLP 發布了StanfordNLP 0.2.0，這是一個用於自然語言分析的Python庫，你可以對70多種不同的語言進行不同類型的語言分析，如詞化和部分語音識別。
https://stanfordnlp.github.io/stanfordnlp/
GQA是一個可視化的問題回答數據集，用於支持與可視化推理相關的研究。
https://cs.stanford.edu/people/dorarad/gqa/
exBERT是一個可視化交互工具，用於探索 Transformer 語言模型的嵌入機制和注意力機制，你可以在這裡找到論文和演示。
https://arxiv.org/abs/1910.05276http://exbert.net/
Distill發表了一篇關於如何在遞歸神經網絡（RNN）中可視化神經元記憶狀態的文章。
https://distill.pub/2019/memorization-in-rnns/
Mathpix 是一個從圖像中識別公式的工具，它可以根據公式的照片來提取並生成該公式的latex 版本。
https://mathpix.com/
Parl.ai 是一個聚合眾多會話和會話人工智慧相關工作數據集的託管平臺。
https://parl.ai/
Uber 的研究人員發布了一個開源工具盒 Ludwig，用戶只需幾行代碼就可以輕鬆地訓練和測試深度學習模型。該框架的初衷是在訓練和測試模型時避免任何形式的編碼。
https://uber.github.io/ludwig/
谷歌人工智慧研究人員發布了「Natural Questions」，這是一個大規模的語料庫，用於訓練和測試開放領域問題回答系統。
https://ai.googleblog.com/2019/01/natural-questions-new-corpus-and.html
文章和博客
2019 年見證了數據科學作家和愛好者的爆炸式增長。這對我們的領域非常有用，鼓勵了健康的討論和學習。在這裡，我列出了一些有趣且必看的文章和博客文章：
Christian Perone 很好地介紹了最大似然估計（MLE）和最大後驗（MAP），這是了解如何估計模型參數的重要原理：http://blog.christianperone.com/2019/01/mle/
Reiichiro Nakano 發表了一篇博文，討論了具有對抗性強的分類器的神經樣式轉換，並附帶了 Colab 筆記：
https://reiinakano.com/2019/06/21/robust-neural-style-transfer.htmlhttps://colab.research.google.com/github/reiinakano/adversarially-robust-neural-style-transfer/blob/master/Robust_Neural_Style_Transfer.ipynbSaif M. Mohammad 撰寫了一系列精彩的文章，討論了 ACL 選集的歷時分析：https://medium.com/@nlpscholar/state-of-nlp-cbf768492f90
歷年來首次在 AA 文章發布者的平均學齡、平均學齡和比例
有一個問題是：語言模型可以學習語法嗎？通過結構探索，這項工作旨在表明可以使用上下文表示法和查找樹結構的方法來實現這一目標：https://nlp.stanford.edu/~johnhew/structural-probe.html
Andrej Karpathy 寫了一篇博客文章，總結了有效訓練神經網絡的最佳實踐和秘訣：https://karpathy.github.io/2019/04/25/recipe/
為提高對使用BERT模型的搜索的理解，Google AI 研究人員和其他研究人員合作。像 BERT 這樣的上下文化方法足以理解搜索查詢背後的意圖：https://www.blog.google/products/search/search-language-understanding-bert
RAdam（Rectified Adam）是一種基於亞當優化器的新優化技術，可幫助改善 AI 架構。為了找到更好、更穩定的優化器，我們付出了許多努力，但作者表示應該把重點放在優化的其他方面，這些方面對於改進收斂性來說同樣重要：https://medium.com/@lessw/new-state-of-the-art-ai-optimizer-rectified-adam-radam-5d854730807b
隨著近來機器學習工具的迅速發展，關於如何實現能夠解決實際問題的機器學習系統的討論也很多。Chip Huyen 的一篇有趣的文章討論了機器學習系統設計，重點關注諸如超參數調整和數據管道等：https://github.com/chiphuyen/machine-learning-systems-design/blob/master/build/build1/consolidated.pdf
NVIDIA 創造了通過數十億個參數訓練的最大語言模型的記錄：https://techcrunch.com/2019/08/13/nvidia-breaks-records-in-training-and-inference-for-real-time-conversational-ai/?guccounter=1&guce_referrer=aHR0cHM6Ly9tZWRpdW0uY29tL2RhaXItYWkvbmxwLXllYXItaW4tcmV2aWV3LTIwMTktZmI4ZDUyM2JjYjE5&guce_referrer_sig=AQAAAE_F3K6WB0wyWhWbqWGJT2vkLdEwj9xHCY-D75V6X8Flw_aZ2uIBp_ZvO0Xv_ceEWCITkC7CjTCkvSAdVKGviGpCkburbws1EGKipL0FJ2ToGD2hmM63Z4_R6qMFnQGTlG5Kqhs0xsQhd0fQw2_xOV2auWbdx0aChx7Nyv4YgTz
Abigail See 撰寫了一篇出色的博客文章，內容是關於如何在自然語言生成系統中提高對話能力：http://www.abigailsee.com/2019/08/13/what-makes-a-good-conversation.html
Google AI 發布了兩個自然語言對話數據集，想要通過更複雜和自然的對話數據集來改善數字助理等對話應用程式個性化：https://ai.googleblog.com/2019/09/announcing-two-new-natural-language.html
深度強化學習仍然是 AI 領域中討論最廣泛的話題之一，它甚至引起了心理學和神經科學領域的興趣。可以看一下發表在《認知科學趨勢》上的這篇文章，了解更多有關重點信息：https://www.cell.com/trends/cognitive-sciences/fulltext/S1364-6613(19)30061-0
Samira Abner 在文章中總結了 transfomer 和膠囊網絡及其連接背後的主要構建模塊:https://staff.fnwi.uva.nl/s.abnar/?p=108
Adam Kosiorek 還寫了這篇關於膠囊自動編碼器（膠囊網絡的無監督版本）的文章，用於物體檢測：http://akosiorek.github.io/ml/2019/06/23/stacked_capsule_autoencoders.html
研究人員在 Distill 上發表了一篇頗具互動性的文章，用視覺化的方式展示了高斯過程：https://distill.pub/2019/visual-exploration-gaussian-processes/
通過這篇在 Distill 上發布的文章，Augustus Odena 呼籲研究人員解決有關GAN的幾個重要的開放性問題：https://distill.pub/2019/gan-open-problems/
這是圖卷積網絡（GCN）的 PyTorch 實現，用於對垃圾郵件發送者和非垃圾郵件發送者進行分類：https://github.com/zaidalyafeai/Notebooks/blob/master/Deep_GCN_Spam.ipynb
2019 年初，VentureBeat 發布了由Rumman Chowdury、Hilary Mason、Andrew Ng 和 Yan LeCun 等專家做出的 2019 年預測清單。回顧一下，看看他們的預測是否正確吧：https://venturebeat.com/2019/01/02/ai-predictions-for-2019-from-yann-lecun-hilary-mason-andrew-ng-and-rumman-chowdhury/
了解如何優化 BERT 以執行多標籤文本分類：https://medium.com/huggingface/multi-label-text-classification-using-bert-the-mighty-transformer-69714fa3fb3d
由於 BERT 的流行，在過去的幾個月中，許多研究人員開發了一些方法來「壓縮」 BERT，其思想是構建更快、更小且內存效率更高的版本。 Mitchell A. Gordon 總結了圍繞此目標開發的壓縮類型和方法：http://mitchgordon.me/machine/learning/2019/11/18/all-the-ways-to-compress-BERT.html
超級智能仍然是專家們爭論的話題。超級智能需要對框架、政策和正確的觀察有正確的理解。我發現一系列有趣的綜合性文章（K. Eric Drexler 以技術報告的形式撰寫），這對於理解有關超級智能的一些問題和注意事項很有用：https://www.fhi.ox.ac.uk/wp-content/uploads/Reframing_Superintelligence_FHI-TR-2019-1.1-1.pdf
Eric Jang 在一篇不錯的博客文章中介紹了元學習的概念，旨在建立和訓練預測和學習能力都很強的機器學習模型：https://blog.evjang.com/2019/02/maml-jax.html
Sebastian Ruder 撰寫的 AAAI 2019 重點摘要：https://ruder.io/aaai-2019-highlights/
圖神經網絡今年受到了廣泛的關注。David Mack 撰寫了一篇不錯的視圖文章，介紹了他們如何使用此技術，且非常注意執行最短路徑計算：https://medium.com/octavian-ai/finding-shortest-paths-with-graph-networks-807c5bbfc9c8
貝葉斯方法仍然是一個有趣的主題，尤其是如何將它們應用於神經網絡，以避免諸如過度擬合之類的常見問題，推薦讀一下 Kumar Shridhar 的這些文章：https://medium.com/neuralspace/bayesian-neural-network-series-post-1-need-for-bayesian-networks-e209e66b70b2
以點估計為權重的網絡 VS. 以概率分布為權重的網絡
AI道德
倫理學可能是今年人工智慧系統中爭論最多的一個話題，其中包括圍繞偏見、公平和透明等方面的討論。在本節中，我將列出相關話題的有趣故事和論文：
題為《減輕ML的影響差異是否需要差別對待嗎？》的論文討論了通過對真實數據集進行實驗而應用不同學習過程的結果：http://papers.nips.cc/paper/8035-does-mitigating-mls-impact-disparity-require-treatment-disparity
HuggingFace 發表了一篇文章，討論了在對話式 AI 的開源 NLP 技術背景下的道德規範：https://medium.com/huggingface/ethical-analysis-of-the-open-sourcing-of-a-state-of-the-art-conversational-ai-852113c324b2
隨著我們繼續引入基於 AI 的技術，能夠量化倫理學在 AI 研究中的作用是一項重要的工作。本文對這些措施和「在領先的AI、機器學習和機器人技術場景中與道德相關的研究的使用」進行了廣泛的分析：https://arxiv.org/abs/1809.08328
在 NAACL 2019 上發表的這項工作討論了去偏方法如何掩蓋詞嵌入中的性別偏見：https://arxiv.org/abs/1903.03862
Zachary Lipton 提交的論文「機器學習獎學金陷入困境的趨勢」，我還為它寫了一篇有趣的論文摘要：https://medium.com/dair-ai/an-overview-of-troubling-trends-in-machine-learning-scholarship-582df3caa518?source=false----0
Gary Marcus 和 Ernest Davis 發表了他們的書《重啟人工智慧：建立我們可以信賴的人工智慧》。本書的主題是討論實現強大的人工智慧必須採取的步驟：https://www.amazon.com/Rebooting-AI-Building-Artificial-Intelligence/dp/1524748250
關於 AI 進步的話題，FranoisChollet 也寫了一篇令人印象深刻的論文，為更好地量化智能提供了依據：https://arxiv.org/abs/1911.01547
優達學城上，Andrew Trask 開設了有關差異化隱私、聯邦學習和加密 AI 等主題的課程：https://www.udacity.com/course/secure-and-private-ai--ud185
關於隱私主題，Emma Bluemke 撰寫了一篇很棒的文章，討論了如何在保護患者隱私的前提下訓練機器學習模型：https://blog.openmined.org/federated-learning-differential-privacy-and-encrypted-computation-for-medical-imaging/
在今年年初，Mariya Yao 發布了一份涉及 AI 倫理的綜合研究論文摘要清單。儘管論文參考清單是 2018 年的，但我相信它們在今天仍然有意義：https://www.topbots.com/most-important-ai-ethics-research/
ML / NLP學習資源
在這裡，我將列出一系列教育資源、作家和正在做一些在教育傳播 ML / NLP 晦澀概念/知識的人：
CMU 發布了「 NLP 神經網絡」課程的材料和課程提綱：http://phontron.com/class/nn4nlp2019/
Elvis Saravia 和 Soujanya Poria 發布了一個名為 NLP-Overview 的項目，該項目旨在幫助學生和從業人員獲得應用於NLP的現代深度學習技術的簡要概述，包括理論，算法，應用程式和最新成果，連結：
https://nlpoverview.com/https://github.com/omarsar/nlp_overview
NLP-Overview
Microsoft Research Lab 發布了有關數據科學基礎的免費電子書，其主題從 馬爾可夫鏈蒙特卡爾理論到隨機圖均有涉獵：https://www.datasciencecentral.com/profiles/blogs/new-book-foundations-of-data-science-from-microsoft-research-lab
「機器學習數學」是一本免費的電子書，介紹了機器學習中最重要的數學概念。它還包括一些描述機器學習部分的 Jupyter 筆記本教程。Jean Gallier 和 Jocelyn Quaintance 還撰寫了很多免費電子書，內容涉及機器學習中使用的數學概念：
https://mml-book.github.io/https://www.cis.upenn.edu/~jean/math-deep.pdf史丹福大學發布「自然語言理解」課程視頻：https://www.youtube.com/playlist?list=PLoROMvodv4rObpMCir6rNNUlFAn56Js20
在學習方面，OpenAI 匯總了有關如何繼續學習和提高機器學習技能的大量建議。顯然，他們的員工每天都使用這些方法來學習和擴展知識： https://openai.com/blog/learning-day/
Adrian Rosebrock 發布了長達 81 頁的指南，介紹如何使用 Python 和 OpenCV 進行計算機視覺：https://www.pyimagesearch.com/start-here/
Emily M. Bender 和 Alex Lascarides 出版了一本書，書名為「 NLP 語言基礎」。這本書的主要思想是通過打下語義和語用學的基礎，討論在 NLP 領域中「含義」是什麼：http://www.morganclaypoolpublishers.com/catalog_Orig/product_info.php?products_id=1451
Elad Hazan 發布了一份關於「機器學習優化」的演講筆記，旨在用優美的數學和符號將機器訓練作為優化問題呈現出來：https://drive.google.com/file/d/1GIDnw7T-NT4Do3eC0B5kYJlzwOs6nzIO/view
Deeplearning.ai 還發表了一篇很棒的文章，討論了使用更直觀和交互式的方法來優化神經網絡中的參數：https://www.deeplearning.ai/ai-notes/optimization/?utm_source=social&utm_medium=twitter&utm_campaign=BlogAINotesOptimizationAugust272019
Andreas Mueller 發布了一系列「應用機器學習」新課程視頻：https://www.youtube.com/playlist?list=PL_pVmAaAnxIQGzQS2oI3OWEPT-dpmwTfA
Fast.ai 發布了其新的 MOOC，標題為 Deep Learning from the Foundations。
麻省理工學院發布了有關「深度學習入門」課程的所有視頻和課程提綱：https://www.youtube.com/playlist?list=PLtBw6njQRU-rwp5__7C0oIVt26ZgjG9NI
Chip Huyen 在推特上發布了一系列令人印象深刻的機器學習入門免費在線課程：https://twitter.com/chipro/status/1157772112876060672
Andrew Trask 出版了名為《圖解深度學習》（Grokking Deep Learning）的書。這本書是理解神經網絡體系結構基本組成部分的一個很好的入門書籍：https://github.com/iamtrask/Grokking-Deep-Learning
Sebastian Raschka 上傳了 80 份筆記，介紹了如何實現不同的深度學習模型，如 RNN 和CNN。很棒的是，所有模型都用 PyTorch 和 TensorFlow 實現：https://github.com/rasbt/deeplearning-models
這是一個深入了解 TensorFlow 工作原理的很棒的教程：https://medium.com/@d3lm/understand-tensorflow-by-mimicking-its-api-from-scratch-faa55787170d
這是 Christian Perone 為 PyTorch 設計的教程：http://blog.christianperone.com/2018/03/pytorch-internal-architecture-tour/
Fast.ai 還發布了一個名為「NLP簡介」的課程，並附帶了一個播放列表。主題範圍從情感分析到主題建模再到 Transformer 都有：https://www.youtube.com/playlist?list=PLtmWHNX-gukKocXQOkQjuVxglSDYWsSh9
Xavier Bresson 在本演講中講解了用於模塊生成的圖卷積神經網絡。
幻燈片：http://helper.ipam.ucla.edu/publications/glws4/glws4_16076.pdf。這是一篇討論如何預訓練 GNN 的論文：https://arxiv.org/abs/1905.12265
下面是圖網絡有關主題，一些工程師使用圖網絡來預測分子和晶體的特性：https://www.eurekalert.org/pub_releases/2019-06/uoc--eug060719.php
Google AI 團隊還發表了一篇出色的博客文章，解釋了他們如何使用 GNN 進行氣味預測：https://ai.googleblog.com/2019/10/learning-to-smell-using-deep-learning.html
如果你對使用圖神經網絡感興趣，這裡是各種 GNN 及其應用的全面概述：https://arxiv.org/pdf/1812.08434.pdf
這是一些無監督學習方法相關的視頻，例如約翰·霍普金斯大學的 Rene Vidal 的 PCA（主成分分析法）。
如果你對將預訓練的 TensorFlow 模型轉換為 PyTorch 感興趣，可以看一下 Thomas Wolf 在這片博客文章中的介紹：https://medium.com/huggingface/from-tensorflow-to-pytorch-265f40ef2a28
想了解生成型深度學習嗎？David Foster 寫了一本很棒的書 Generative Deep Learning
，教數據科學家如何應用 GAN 和編碼器/解碼器模型學畫畫、寫作和音樂創作等任務。
Generative Deep Learning：https://www.oreilly.com/library/view/generative-deep-learning/9781492041931/本書隨附官方存儲庫，其中包含 TensorFlow 代碼：https://github.com/davidADSP/GDL_code以及將代碼轉換為 PyTorch：https://github.com/MLSlayer/Generative-Deep-Learning-Code-in-Pytorch包含代碼塊的 Colab 筆記，用於練習和學習因果推理概念，例如幹預措施、反事實：https://colab.research.google.com/drive/1rjjjA7teiZVHJCMTVD8KlZNu3EjS7Dmu#scrollTo=T9xtzFTJ1Uwf
這是 Sebastian Ruder、Matthew Peters、Swabha Swayamdipta 和 Thomas Wolf 提供的NAACL 2019「自然語言處理中的遷移學習」相關材料：https://github.com/huggingface/naacl_transfer_learning_tutorial，以及隨附的 Google Colab 上手筆記：https://colab.research.google.com/drive/1iDHCYIrWswIKp-n-pOg69xLoZO09MEgf
Jay Alammar 的另一篇很棒的博客文章 https://jalammar.github.io/visual-numpy/，主題是數據表示。他還寫了許多其他有趣的插圖指南，包括 GPT-2 和 BERT。Peter Bloem 還發表了一篇非常詳細的博客文章，解釋了構成 Transfomer 的所有要素。
基本的自我注意力的圖示
這是 Mihail Eric 撰寫的 ACL 2019 上 NLP趨勢的概述，還不錯。其中一些主題包括將知識圖譜引入 NLP 體系結構、可解釋性和減少偏見等。如果你有興趣，這裡還有一些概述：
https://medium.com/@mgalkin/knowledge-graphs-in-natural-language-processing-acl-2019-7a14eb20fce8http://noecasas.com/post/acl2019/史丹福大學發布了 CS231n 2019 版的完整課程大綱：http://cs231n.stanford.edu/syllabus.html
David Abel 為 ICLR 2019 寫了一些筆記，還為 NeurIPS 2019 寫下了令人印象深刻的摘要：
https://david-abel.github.io/notes/iclr_2019.pdfhttps://david-abel.github.io/notes/neurips_2019.pdf這是一本很棒的書，是一本適合深度學習的入門書籍，附帶筆記：http://d2l.ai/
一份 BERT、ELMo 和遷移學習 NLP co. 的插圖指南：http://jalammar.github.io/illustrated-bert/
Fast.ai 發布了其 2019 版的「面向程式設計師的實用深度學習」課程：https://www.fast.ai/2019/01/24/course-v3/
由 Pieter Abbeel 和其他人講授的奇妙課程，深入了解無監督學習：https://sites.google.com/view/berkeley-cs294-158-sp19/home
Gilbert Strang 出版了一本有關線性代數和神經網絡的新書：http://math.mit.edu/~gs/learningfromdata/'
加州理工學院為「機器學習基礎」課程提供了完整的教學大綱，講義幻燈片和視頻：http://tensorlab.cms.caltech.edu/users/anima/cs165.html
「 Scipy 講義」是一系列教程，教你如何掌握 matplotlib、NumPy 和 SciPy 等工具。
這是一個關於理解高斯過程的不錯教程（附筆記）：https://peterroelants.github.io/posts/gaussian-process-tutorial/
這是一篇必讀文章，Lilian Weng 深入探討了通用語言模型，例如 ULMFit、OpenAI GPT-2 和BERT：https://lilianweng.github.io/lil-log/2019/01/31/generalized-language-models.html
Papers with Code 網站上有精選的附有代碼和最新結果的機器學習論文：https://paperswithcode.com/
Christoph Molnar 發布了第一版《可解釋性機器學習》，該書涉及用於更好地解釋機器學習算法的重要技術：https://christophm.github.io/interpretable-ml-book/
David Bamman 發布了伯克利大學開設的自然語言處理課程的完整課程大綱和幻燈片：http://people.ischool.berkeley.edu/~dbamman/nlp18.html
伯克利發布其「 應用自然語言處理」課程的所有材料：https://github.com/dbamman/anlp19
Aerin Kim 是微軟的高級研究工程師，撰寫了有關應用數學和深度學習主題的文章。其中一些主題包括條件獨立性、伽瑪分布、困惑度等：https://towardsdatascience.com/@aerinykim
Tai-Danae Bradley 在此博客文章中討論了如何考慮矩陣和張量的方法。本文有很棒的圖示，有助於讀者更好地理解在矩陣上執行的某些轉換和操作。
希望這些連結可以幫到你。祝你在 2020 年成功、健康！
原文連結：
https://medium.com/dair-ai/nlp-year-in-review-2019-fb8d523bcb19
所有CSDN 用戶都可參與投票和抽獎活動
加入福利群，每周還有精選學習資料、技術圖書等福利發送