Deep Learning & Neural Network 免費學習資源【譯】

2021-02-13 樂享數據DataScientists

   想必最近都被吳恩達Deeplearning.ai的深度學習課程刷屏了，不過這篇針對初學者的介紹深度學習和神經網絡的免費學習資源,感覺也非常不錯，特此總結下，分享給大家。    吳恩達Deeplearning.ai的深度學習課程連結：

https://www.coursera.org/specializations/deep-learning

https://www.deeplearning.ai/

   下面言歸正傳，由於都是國外學習資源，請科學上網。不過深度學習的教學資源，確實國外要優質很多。

目錄

一、課程（Courses）

1.1. Machine Learning by Andrew Ng

1.2.Neural Network Course on Coursera

1.3.Carnegie Mellon University – Deep Learning

1.4.Deep Learning for NLP

1.5.Deep Learning for Computer Vision

1.6.Deep Learning

二、書籍（Books）

三、博客（Blogs）

3.1 Introduction to Neural Networks

3.2 Hacker’s guide to Neural Networks

3.3 Recurrent Neural Networks Tutorial, Part 1,part 2,part 3,part 4

3.4 Deep Learning Tutorial by Stanford

3.5 Unreasonable Effectiveness of RNN

四、視頻（vedios）

4.1 Complete Tutorial on Neural Networks

4.2 Deep Learning Lectures

4.3 Introduction to Deep Learning with Python

4.4 Deep Learning Summer School, Montreal 2015

五、研究論文（Research Papers）

一、課程（Courses）1.1. Machine Learning by Andrew Ng

連結地址<https://www.coursera.org/learn/machine-learning>

   如果你是完全的機器學習、神經網絡新手，這個課程應該是你最好的first-step.吳恩達的這門機器學習課程在國內的知曉率也是不言而喻的。課程廣泛的講授了機器學習、深度學習、數據挖掘、神經網絡等，你甚至只需要基本的高等數據知識（哪怕已經忘得差不多了），你仍然可以聽懂課程的絕大多數內容。結合實踐案例，它確實是一個不可多得的入門教程。

1.2.Neural Network Course on Coursera

連結地址<https://www.coursera.org/learn/neural-networks>

   該課程在神經網絡領域得到很高的讚譽，雖然課程開始於2013年，但運用神經網絡於聲音、圖像識別，模擬自然語言等，仍然是一個基礎教程。通過8 weeks課程，至少每周7-9 hours，課程需要有一定的python\Octave\Matlab和向量、微積分、代數等先期知識儲備。

1.3.Carnegie Mellon University – Deep Learning

連結地址<http://deeplearning.cs.cmu.edu/>

   卡耐基梅隆大學的深度學習在線課程雖然結束於2015年10月，但我們可以獲得課程寶貴的slides及其他在線學習材料，通過這些優質的slides，可以讓你快速理解深度學習一些知識。它可能不推薦作為入門學習材料，但對於中級學生是不可多得的學習材料。

1.4.Deep Learning for NLP

連結地址<https://nlp.stanford.edu/courses/NAACL2013/>

   根據NAACL HLT(the North American Chapter of the Association for Computational Linguistics: Human Language Technologies)會議整理得到，可以在網站中獲得slides及相應的videos。是NLP學習新手學習Logistic 回歸到更深入學習的機器學習算法很好的學習材料。

1.5.Deep Learning for Computer Vision

連結地址<http://llcao.net/cu-deeplearning15/index.html>

   課程由哥倫比亞大學在2015年開設，主要關注於深度學習技術在計算機視覺及自然語言處理領域。課程主要以theano為編程工具，需要有pyhon、NumPy及機器學習相關知識。

1.6.Deep Learning

連結地址<http://cilvr.cs.nyu.edu/doku.php?id=courses:deeplearning2014:start>

   由Yann LeCunn於2014年開設，被作為研究生課程，slides和videos均可獲取，非常適合初學者。

二、書籍（Books）2.1 Deep Learning

連結地址<http://www.deeplearningbook.org/>

   書籍由Ian Goodfellow and Yoshua Bengio and Aaron Courville撰寫，最後一次更新於2016年12月，作為一本理解機器學習、模式識別的統計技術的學習工具書，全書共20章分3大部分：一是數學和機器學習應用基礎，講述線性回歸、概率論、機器學習基礎；二是深度網絡模型實踐，講述BP網絡、正則化、參數優化、卷積網絡、遞歸網絡等；三是深度學習研究，包括線性因子模型、自編碼器、表徵學習、Monte Carlo等更深入的內容。

2.2 Neural Networks and Deep Learning

連結地址<http://neuralnetworksanddeeplearning.com/about.html>

    由Michael Neilson撰寫，如果你擅長自學，它不失為一個online學習的好去處。全書僅有6章，每章都有詳盡的闡釋深度學習相關概念。

三、博客（Blogs）3.1 Introduction to Neural Networks

連結地址<http://natureofcode.com/book/chapter-10-neural-networks/>

   它是Daniel Shiffman撰寫的《the NATURE of Code》第10章內容：Neural Networks，適合初學者，在閱讀中你會發現風格通俗易懂，作者從零開始接受神經網絡，同時給出python 代碼輔助實現，你不僅學習「是什麼」還可以知道「為什麼」。

3.2Hacker’s guide to Neural Networks

連結地址<http://karpathy.github.io/neuralnets/>

   雖然內容由Javascript代碼實現，但有許多理論性概念闡釋得非常易懂，僅需要很少的數學知識，來綜合理解各個部分。

3.3 Recurrent Neural Networks Tutorial, Part 1,part 2,part 3,part 4

連結地址
[Part 1]
(http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/),
[part 2]
(http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-2-implementing-a-language-model-rnn-with-python-numpy-and-theano/),
[part 3]
(http://www.wildml.com/2015/10/recurrent-neural-networks-tutorial-part-3-backpropagation-through-time-and-vanishing-gradients/),
[part 4]
(http://www.wildml.com/2015/10/recurrent-neural-network-tutorial-part-4-implementing-a-grulstm-rnn-with-python-and-theano/)

   當你已經對深度學習基礎有較好掌握，就可以實現進階啦，卷積神經網絡「4部曲」，是絕好的指導你成為RNN高手的寶典。注意循序漸進，各個擊破。

3.4 Deep Learning Tutorial by Stanford

連結地址<http://deeplearning.stanford.edu/wiki/index.php/UFLDL%E6%95%99%E7%A8%8B>

   本教程由 Andrew Ng, Jiquan Ngiam等完成。是至今為止被很多地方強烈推薦的深度學習資源教程。將闡述無監督特徵學習和深度學習的主要觀點。通過學習，你也將實現多個功能學習/深度學習算法。有很好的中文支持哦。也算是進階神器了吧。建議在完成Andrew Ng的機器學習課程後開始學習。

3.5 Unreasonable Effectiveness of RNN

連結地址<http://karpathy.github.io/2015/05/21/rnn-effectiveness/>

   屬於學習RNN的一些補充資源。以RNN基礎理論開始，到更深入的構造特徵模型，它能幫助你實現神經網絡在多個領域的應用。

四、視頻（vedios）4.1 Complete Tutorial on Neural Networks

連結地址<https://www.youtube.com/watch?list=PL6Xpj9I5qXYEcOhn7TqghAJ6NAPrNmUBH&v=SGZ6BttHMPw>

   這是個非常全面的神經網絡指導視頻list，在YouTube上，你可以按需學習。

4.2 Deep Learning Lectures

連結地址<https://www.youtube.com/watch?v=PlhFWT7vAEw&index=16&list=PLE6Wd9FR--EfW8dtjAuPoTuPcqmOV53Fu>

   Oxford大學2015年深度學習系列課程，主講人 Nando de Freitas，課程涵蓋了從線性模型、Logistic回歸、正則化到RNN等的廣泛的內容。課程的配套資料在[這裡](https://www.cs.ox.ac.uk/people/nando.defreitas/machinelearning/)

4.3Introduction to Deep Learning with Python

連結地址<https://www.youtube.com/watch?v=S75EdAcXHKk>

   看了這麼多深度學習理論，是時候運用python進行實踐了。這1個小時左右的深度學習python實現theano值得推薦。這是相應的[slides](https://www.slideshare.net/indicods/deep-learning-with-python-and-the-theano-library)和[Code](https://github.com/Newmu/Theano-Tutorials)

4.4Deep Learning Summer School, Montreal 2015 

連結地址<http://videolectures.net/deeplearning2015_montreal/>

   這是montreal 2015深度學習暑期學校的學習視頻。這些視頻涵蓋了深度學習的高級主題，不太推薦初學者，但對於有一定機器學習理論的同學一定得看看，它將帶你進入深度學習新的認識水平。    其他的資源也可以從[這裡](https://www.analyticsvidhya.com/blog/2015/07/top-youtube-videos-machine-learning-neural-network-deep-learning/)找到。

五、研究論文（Research Papers）

   本可以列出大量的深度學習研究論文，但顯然這是有違初衷的。因此為強調是「best resources」， 這裡列出了具有開創性意義的論文：

Deep Learning in Neural Networks<https://arxiv.org/pdf/1404.7828.pdf>

Introduction to Deep Learning <https://www.nature.com/articles/nature14539.epdf?referrer_access_token=K4awZz78b5Yn2_AoPV_4Y9RgN0jAjWel9jnR3ZoTv0PU8PImtLRceRBJ32CtadUBVOwHuxbf2QgphMCsA6eTOw64kccq9ihWSKdxZpGPn2fn3B_8bxaYh0svGFqgRLgaiyW6CBFAb3Fpm6GbL8a_TtQQDWKuhD1XKh_wxLReRpGbR_NdccoaiKP5xvzbV-x7b_7Y64ZSpqG6kmfwS6Q1rw%3D%3D&tracking_referrer=www.nature.com>

Deep Boltzmann Machines <http://www.utstat.toronto.edu/~rsalakhu/papers/dbm.pdf>

Learning Deep Architectures for AI <http://www.iro.umontreal.ca/~lisa/publications2/index.php/publications/show/239>

Deep Learning of Representations: Looking Forward <https://arxiv.org/pdf/1305.0445.pdf>

Gradient based training for Deep Architechture <https://arxiv.org/pdf/1206.5533.pdf>

」樂享數據「個人公眾號，不代表任何團體利益，亦無任何商業目的。任何形式的轉載、演繹必須經過公眾號聯繫原作者獲得授權，保留一切權力。歡迎關注「樂享數據」。

相關焦點

  • Deep learning與Neural Network
    深度學習是無監督學習的一種。深度學習的概念源於人工神經網絡的研究。含多隱層的多層感知器就是一種深度學習結構。深度學習通過組合低層特徵形成更加抽象的高層表示屬性類別或特徵，以發現數據的分布式特徵表示。Deep learning本身算是machine learning的一個分支，簡單可以理解為neural network的發展。
  • Learning Deep Neural Networks for Hard Natural Language...
    報告題目：Learning Deep Neural Networks for Hard Natural Language Problems報告摘要：Deep learning has revolutionized the way that many tasks are tackled in
  • Multi-Label Classification with Deep Learning
    Deep learning neural networks are an example of an algorithm that natively supports multi-label classification problems.
  • 乾貨:最全面的深度學習自學資源匯總
    深度學習作為機器學習的一個分支，是近年來最熱門同時也是發展最快的人工智慧技術之一，相關學習資源包括免費公開教程和工具都極大豐富，同時這也為學習 深度學習技術 的IT人才帶來選擇上的困擾，Yerevann整理的這個深度學習完全指南
  • 目前最全面的深度學習教程自學資源匯總
    ，是近年來最熱門同時也是發展最快的人工智慧技術之一，相關學習資源包括免費公開教程和工具都極大豐富，同時這也為學習深度學習技術的IT人才帶來選擇上的困擾，Yerevann整理的這個深度學習完全指南，匯集了目前網絡上最優秀的深度學習自學資源，而且會不定期更新，非常值得收藏關注，以下是IT經理網編譯整理的指南內容： 自學基本要求（數學知識、編程知識）
  • 論文解讀 Channel pruning for Accelerating Very Deep Neural Networks
    Compact deep convolutional neural networks with coarse pruning. arXiv preprint arXiv:1610.09639, 2016.[4] H. Bagherinezhad, M. Rastegari, and A. Farhadi.
  • (免費下載)深度學習 Top100:近 5 年被引用次數最高論文
    深度強化學習的異步方法Asynchronous methods for deep reinforcement learning (2016)作者V. Mnih et al.偵測機器人抓取的深度學習Deep learning for detecting robotic grasps (2015)作者 I. Lenz et al. 用強化學習玩atari遊戲Playing atari with deep reinforcement learning (2013)作者V.
  • 【資源】深度學習Top100:近5年被引用次數最高論文(下載)
    深度強化學習的異步方法Asynchronous methods for deep reinforcement learning (2016)作者V. Mnih et al.採用深度強化學習進行持續控制Continuous control with deep reinforcement learning (2015)作者T. Lillicrap et al.
  • KDD202 | 多模態網絡表示學習教程Multi-modal Network Representation Learning
    因此，通過多模式網絡中的表示學習來自動進行特徵發現對於許多應用而言已變得至關重要。在本教程中，我們系統地回顧了多模式網絡表示學習的領域，包括一系列最新方法和應用。將從無監督，半監督和監督學習的角度對這些方法進行分類和介紹，並分別介紹相應的實際應用。最後，我們結束了本教程並進行了公開討論。本教程的作者是該領域活躍且富有成果的研究人員。
  • 乾貨| 請收下這份2018學習清單:150個最好的機器學習,NLP和Python...
    在今年秋季開始準備博士項目的時候，我已經精選了一些有關機器學習和NLP的優質網絡資源。一般我會找一個有意思的教程或者視頻，再由此找到三四個，甚至更多的教程或者視頻。猛回頭，發現標收藏夾又多了20個資源待我學習（推薦提升效率工具Tab Bundler）。
  • 請收下這份2018學習清單:150個最好的機器學習,NLP和Python教程
    在秋季開始準備博士項目的時候，我已經精選了一些有關機器學習和NLP的優質網絡資源。一般我會找一個有意思的教程或者視頻，再由此找到三四個，甚至更多的教程或者視頻。猛回頭，發現標收藏夾又多了20個資源待我學習（推薦提升效率工具Tab Bundler）。
  • 【論文推薦】最新5篇度量學習(Metric Learning)相關論文—人臉驗證、BIER、自適應圖卷積、注意力機制、單次學習
    【導讀】專知內容組整理了最近五篇度量學習（Metric Learning）相關文章，為大家進行介紹，歡迎查看!1. neural networks yields highly correlated activations of embeddings.
  • 乾貨 | 請收下這份2018學習清單:150個最好的機器學習,NLP和Python教程
    在今年秋季開始準備博士項目的時候，我已經精選了一些有關機器學習和NLP的優質網絡資源。一般我會找一個有意思的教程或者視頻，再由此找到三四個，甚至更多的教程或者視頻。猛回頭，發現標收藏夾又多了20個資源待我學習（推薦提升效率工具Tab Bundler）。
  • 2018AI學習清單丨150個最好的機器學習和Python教程
    >sigmoid 神經元 (neuralnetworksanddeeplearning.com)http://neuralnetworksanddeeplearning.com/chap1.html#sigmoid_neurons 激活函數在神經網絡中有什麼作用？
  • TensorFlow 中文資源全集,學習路徑推薦
    【導讀】TensorFlow 中文資源全集，學習路徑推薦：官方網站，初步了解。
  • 機器學習(Machine Learning)&深度學習(Deep Learning)資料(之一)
    《Deep Learning in Neural Networks: An Overview》 介紹:這是瑞士人工智慧實驗室Jurgen Schmidhuber寫的最新版本《神經網絡與深度學習綜述》本綜述的特點是以時間排序，從1940年開始講起，到60-80年代，80-90年代，一直講到2000年後及最近幾年的進展。涵蓋了deep learning裡各種tricks，引用非常全面.
  • 深度學習(Deep Learning) 學習資料
    最近開始想系統學習一下， 整理了一些網上學習資料， 也供有共同興趣的朋友參考。如果有好的推薦，也歡迎給我留言。學習網站1. Deep Learning 101 http://markus.com/deep-learning-101/?
  • 春節充電系列:李宏毅2017機器學習課程學習筆記27之循環神經網絡 Recurrent Neural Network
    本文內容主要針對機器學習中Recurrent Neural Network的RNN、LSTM、LSTM-example以及Multiple-layer LSTM進行詳細介紹，話不多說，讓我們一起學習這些內容吧。
  • 「人工智慧研學社· 強化學習組」第二期:超越職業玩家的算法 - Deep Q-network
    這一算法的突出貢獻是，在 Q-learning 中引入了深度神經網絡，並且通過 experience replay 和 target network 技術穩定學習過程。而在此之前，普遍認為非線性函數近似與 Q-learning 結合就會有不收斂等問題。DQN 使用了端到端機制：輸入是遊戲幾幀的像素，輸出是操作策略，中間不需要人為進行特徵標記工程。
  • 資料|Graph embedding|Graph Neural Network 學習資料匯總
    深度學習在多個領域中實現成功，如聲學、圖像和自然語言處理。但是，將深度學習應用於普遍存在的圖數據仍然存在問題，這是由於圖數據的獨特特性。embedding techniques, applications, and performance: A surveyDeep Learning on Graphs: A Survey. arxiv 2018相關的TutorialKDD 2018 Tutorial2018年KDD上的Tutorial從數據中推斷圖（graph）、無監督圖表示學習