Pytoch1.0深度學習如何玩?送你含900頁ppt和代碼實例

2020-12-05 新智元

新智元推薦

來源:專知(ID:Quan_Zhuanzhi)

後臺回復「DLPY10」 就可以獲取深度學習課程PPT下載連結~

Francois Fleuret於2000年獲得巴黎第六大學數學博士學位,2006年獲得巴黎第十三大學數學博士學位。他是瑞士Idiap研究所計算機視覺和學習小組的負責人。在此之前,他曾在美國芝加哥大學、法國信息與自動化研究所(INRIA)和瑞士洛桑聯邦理工學院(EPFL)任職。他是IEEE模式分析和機器智能交易的副主編,也是幾個歐洲資助機構的專家。

深度學習課程概述

本課程的目標是提供深度機器學習的完整講解。如何設計一個神經網絡,如何訓練它,以及有哪些現有技術專門處理非常大的網絡結構。本課程旨在教授應用問題的深度學習方法所需的技能。

課程計劃內容:

1. 什麼是深度學習,張量介紹。

2. 基本機器學習,經驗風險最小化,簡單嵌入。

3. 線性可分性,多層感知器,反向傳播。

4. 通用網絡,autograd,批處理,卷積網絡。

5. 初始化、優化和正則化。Dropout,激活歸一化,跳過連接。

6. 計算機視覺的深層模型。

7. 深入模型分析。

8. 自編碼器,嵌入式和生成模型。

9. 循環模型和自然語言處理。

10. pytorch張量,深度學習模塊,和內部構件。

深度學習課程導讀

緒論1.1 從神經網絡到深度學習,21頁slides

1.2 當前成功應用的實例 22頁slides

1.3 正在發生什麼? (13頁slides)

1.4 張量基礎和線性回歸 12 頁slides

1.5 高維張量. 15頁slides

1.6 張量內部 5頁slides

2. 機器學習基礎 2.1 損失函數與風險. 15頁slides

2.2 過擬合與欠擬合. 24頁slides

2.3 方差-偏差困境 10頁slides

2.4 合適評價方法 6頁slides

2.5 基本聚類與嵌入方法19頁slides

3. 多層感知器和反向傳播 3.1 感知器。(幻燈片,講義- 16張)

3.2 線性分類器的概率視圖。(幻燈片,講義- 8張)

3.3 線性可分性與特徵設計。(幻燈片,講義- 10張)

3.4 多層感知器。(幻燈片,講義- 10張)

3.5 梯度下降法。(幻燈片,講義- 13張)

3.6 反向傳播。(幻燈片,講義- 11張)

4. 操作符、autograd和卷積層的圖操作 4.1 DAG網絡。(幻燈片,講義- 11張)

4.2 Autograd。(幻燈片,講義- 19張)

4.3 PyTorch模塊和批處理。(幻燈片,講義- 14張)

4.4 卷積。(幻燈片,講義- 23張)

4.5 池化(幻燈片,講義- 7張)

4.6 編寫一個PyTorch模塊。(幻燈片,講義- 10張)

5. 初始化和優化。 5.1 交叉熵損失。(幻燈片,講義- 9張)

5.2 隨機梯度下降法。(幻燈片,講義- 17張)

5.3 PyTorch優化。(幻燈片,講義- 8張)

5.3 L1和L2 懲罰項。(幻燈片,講義- 10張)

5.4 參數初始化。(幻燈片,講義- 22張)

5.5 網絡架構選擇和訓練協議。(幻燈片,講義- 9張)

5.6 寫一個autograd函數。(幻燈片,講義- 7張)

6. 搞更深 6.1 深度的好處。(幻燈片,講義- 9張)

6.2 修正器。(幻燈片,講義- 7張)

6.3 Dropout (幻燈片,講義- 12張)

6.4 批處理歸一化。(幻燈片,講義- 15張)

6.5 殘差網絡。(幻燈片,講義- 21張)

6.6 使用gpu。(幻燈片,講義- 17張)

7 計算機視覺。 7.1計算機視覺任務。(幻燈片,講義- 15張)

7.2 用於圖像分類的網絡。(幻燈片,講義- 36張)

7.3 用於目標檢測的網絡。(幻燈片,講義- 15張)

7.4 用於語義分割的網絡。(幻燈片,講義- 8張)

7.5 DataLoader和神經。(幻燈片,講義- 13張)

8. 關鍵技巧方法處理 8.1 看參數。(幻燈片,講義- 11張)

8.2 激活。(幻燈片,講義- 21張)

8.3 可視化輸入中的處理。(幻燈片,講義- 26張)

8.4 優化輸入。(幻燈片,講義- 25張)

9. 自編碼器和生成模型。 9.1 轉置運算。(幻燈片,講義- 14張)

9.2 Autoencoders。(幻燈片,講義- 20張)

9.3 去噪和變分自編碼器。(幻燈片,講義- 24張)

9.4 Non-volume保存網絡。(幻燈片,講義- 24張)

10. 生成對抗模型。 10.1 生成對抗的網絡。(幻燈片,講義- 29張)

10.2 Wasserstein GAN。(幻燈片,講義- 16張)

10.3 條件GAN和圖像轉換。(幻燈片,講義- 27張)

10.4 模型持久性和檢查點。(幻燈片,講義- 9張)

11 循環模型與NLP 11.1 循環神經網絡 (slides, handout – 23 slides)

11.2 LSTM 和 GRU. (slides, handout – 17 slides)

11.3 Word embeddings 與translation. (slides, handout – 31 slides)

更多閱讀:突發!中國法院初步裁決禁售多款iPhone,高通告贏了蘋果?孟晚舟終獲保釋!抱律師哭泣,現場掌聲雷動禁售iPhone再升級!高通尋求美國禁止進口蘋果,5G大戰英特爾躺槍

相關焦點

  • 「EMNLP2018乾貨」為NLP研究寫出好代碼(254頁教程)
    通過本教程,你將學習如何編寫NLP研究實驗代碼,如何設計和簡單化實驗代碼,從而推進研究,產出好的研究成果。現代的NLP研究工作都需要編寫代碼。良好的代碼可以實現快速的原型設計,簡單的代碼調試,實驗的可控性和可視化,幫助研究人員快速準確地了解實驗和模型的具體情況。
  • 給你代碼:leetcode隨筆
    整數的各位積和之差給你一個整數 n,請你幫忙計算並返回該整數「各位數字之積」與「各位數字之和」的差。有序數組中出現次數超過25%的元素給你一個非遞減的 有序 整數數組,已知這個數組中恰好有一個整數,它的出現次數超過數組元素總數的 25%。請你找到並返回這個整數example 1 :輸入:arr =[1,2,2,6,6,6,6,7,10]輸出:6來源:力扣(LeetCode)這題也不難。
  • 深度學習變革視覺實例搜索
    研究興趣為深度學習與計算機視覺。曾獲2015年首屆阿里巴巴大規模圖像搜索大賽二等獎,總排名第三名。摘要近些年,深度學習在各種計算機視覺任務上都取得了重大的突破,其中一個重要因素就是其強大的非線性表示能力,能夠理解圖像更深層次的信息。本文對基於深度學習的視覺實例搜索方法做了簡單的總結和概括,希望能給讀者們帶來啟發。
  • 教程| 基礎入門:深度學習矩陣運算的概念和代碼實現
    本文由機器之心編輯,「機器之心」專注生產人工智慧專業性內容,適合開發者和從業者閱讀參考。點擊右上角即刻關注。本文從向量的概念與運算擴展到矩陣運算的概念與代碼實現,對機器學習或者是深度學習的入門者提供最基礎,也是最實用的教程指導,為以後的機器學習模型開發打下基礎。
  • 光學精密工程 | 實例特徵深度鏈式學習全景分割網絡
    在MS COCO和Cityscapes數據集上的實驗結果表明,本文提出的實例特徵深度鏈式學習全景分割網絡在分割精度上優於現存同類方法,與全景分割網絡常用的Mask RCNN實例分割結構相比,分割準確率最高提升了0.94%。
  • 李沐《動手學深度學習》第一章:機器學習簡介
    本文由機器之心編輯,「機器之心」專注生產人工智慧專業性內容,適合開發者和從業者閱讀參考。點擊右上角即刻關注。《動手學深度學習》是一本深度學習在線書,其使用 Apache MXNet 的最新 gluon 接口來演示如何從 0 開始實現深度學習的各個算法。
  • 為什麼要進行圖學習?談一談逆勢而上的圖神經網絡
    -時空數據挖掘深度學習技術全面綜述NeurIPS2020 | Google《圖學習與挖掘》綜述教程,311頁ppt+教程NeurIPS2020 | 圖對比學習 | 結合四種數據擴充方式進行對比學習(附論文代碼連結)NeurIPS2020 | 四篇圖魯棒性研究相關論文一覽方法總結 | 兩篇論文分析解耦/分離/Disentangled/圖神經網絡表示學習
  • 十行代碼就能搞定深度學習?飛槳框架高層API,輕鬆玩轉AI
    機器之心發布機器之心編輯部嚮往深度學習技術,可是深度學習框架太難學怎麼辦?百度傾心打造飛槳框架高層 API,零基礎也能輕鬆上手深度學習,一起來看看吧?為了簡化深度學習的學習過程、降低深度學習的開發難度,百度飛槳框架歷經近一年的打磨,不斷地優化深度學習 API,並針對開發者的使用場景進行封裝,在飛槳框架的最新版本中,推出了高低融合、科學統一的飛槳全新 API 體系。飛槳框架將 API 分為兩種,基礎 API 和高層 API。
  • 分離硬體和代碼、穩定 API,PyTorch Lightning 1.0.0 版本正式發布
    Keras 和 PyTorch 都是對初學者非常友好的深度學習框架,兩者各有優勢,很多研究者和開發者在選擇框架時可能會舉棋不定。今日,PyTorch Lightning 在推特宣布,1.0.0 版本現在可用了,並發布新的博客文章詳細描述了 PyTorch Lightning 的運行原理和新的 API。William Falcon 表示自己非常期待有一天,當用戶查看 GitHub 上的複雜項目時,深度學習代碼不再那麼令人望而生畏。
  • 深度強化學習從入門到大師:以刺蝟索尼克遊戲為例講解PPO(第六部分)
    如果概率在[1 - ?, 1+?]區間外,梯度值為0。 最終的裁剪替代目標損失函數: 同樣,這個代碼實現比以前的代碼要複雜好多。我們要開始復現最先進的算法,因此需要代碼的更高的效率。這也是為什麼,我們將整個代碼分為不同對對象和文件來實現。 為了實現一個PPO智能體,需要讀一讀如下包含完成PPO過程的筆記和代碼解釋: (((0)))(((1))) 如上所述,你已經創建了一個學習如何玩刺蝟索尼克系列遊戲1,2,3的智能體。
  • 【PPT下載】深度學習入門指南!六步構建深度神經網絡
    侯宇濤此前還主講了第三講和第五講,主題分別為《不需要寫代碼,如何用開源軟體DIGITS實現圖像分類》和《手把手教你使用開源軟體DIGITS實現目標檢測》。主講環節侯宇濤:感謝智東西公開課的邀請,非常榮幸今天能有機會跟大家一起分享深度學習這一新概念在市場上盛行的情況。
  • 通過深度學習來創作自己的音樂(附代碼)
    直到我遇到了深度學習。使用特定的技術和框架,我可以創作自己的原創音樂,而不需要真正了解任何音樂理論!這是我最喜歡的專業項目之一。我把我的兩個愛好——音樂和深度學習——結合起來,創造了一個自動生成音樂的模型。夢想成真了!我很高興與你分享我的方法,包括整個代碼,使你能夠生成自己的音樂!
  • PPT幻燈片頁碼如何設置及頁碼怎麼從0開始
    在一些 PowerPiont 版本中,直接到母版視圖添加上總頁數,在使用該母版的幻燈片中就會顯示;在另一些 PowerPiont 版本中,僅這樣操作無效,必須新繪製一個文本框,把頁碼和總頁數添加到裡面,在使用它的幻燈片中才會顯示。以下就是PPT幻燈片頁碼如何設置與頁碼怎麼從0開始及怎樣添加總頁數的具體操作實例,實例中所用 PowerPiont 版本為 2019。
  • 谷歌通過深度度量學習,提出新的語義實例分割方法
    谷歌及UCLA則採取了一種不同的方法,通過計算兩個像素屬於同一個對象實例的可能性,並使用這種可能性將相似像素分組在一起來實現實例分割。研究者明確了「正確」段是什麼,即整個對象的空間範圍。這避免了模稜兩可的情況諸如是否將對象(例如,人的襯衫和褲子)的部分視為單獨的片段,這種片段對無監督方法的評估是一種困擾。團隊建議使用深度嵌入模型來學習相似性度量。
  • 看完這份斯坦福31頁PPT就懂了!
    新智元報導 來源:Stanford 編輯:大明【新智元導讀】去年,DeepMind、谷歌大腦、MIT等機構聯合提出「圖網絡」(GNN),將端到端學習與歸納推理相結合,有望解決深度學習無法進行關係推理的問題。圖網絡究竟為什麼如此強大?背後的機制如何?
  • 陳天奇等人提出TVM:深度學習自動優化代碼生成器
    TVM 是由華盛頓大學在讀博士陳天奇等人提出的深度學習自動代碼生成方法,去年 8 月機器之心曾對其進行過簡要介紹。該技術能自動為大多數計算硬體生成可部署優化代碼,其性能可與當前最優的供應商提供的優化計算庫相比,且可以適應新型專用加速器後端。
  • 評測| CNTK在Keras上表現如何?能實現比TensorFlow更好的深度學習嗎?
    作者:Max Woolf機器之心編譯參與:Jane W、吳攀Keras 是由 Franois Chollet 維護的深度學習高級開源框架,它的底層基於構建生產級質量的深度學習模型所需的大量設置和矩陣代數。Keras API 的底層基於像 Theano 或谷歌的 TensorFlow 的較低級的深度學習框架。
  • 乾貨滿滿:5本必看深度學習書籍!
    如果你喜歡書中出現一頁又一頁的詳細理論,那麼請直接把這篇文章當作反面教材。但如果你是喜歡理論聯繫實踐,那這就是你想要的書單。1.其中的數學不好怎麼學AI系列文章是重頭戲,尤其是第五章「用卷積神經網絡(CNNs)進行圖像識別」,和第七章「處理自然語言」。作者Aurélien Géron能通俗易懂地解釋很多複雜的問題,這也是我一直在追求的風格。在我看來,這本書完美結合了詳盡的實例和日常可用的代碼。
  • 最熱門的深度學習框架TensorFlow入門必備書籍
    但進入機器學習和人工智慧領域並不是一件簡單的事情,目前市場上有許多大量的學習資源,許多開發者和想要進入的愛好者往往很難找到適合自己的發展路徑。其實,早在 2015 年底,谷歌就開源了內部使用的深度學習框架 TensorFlow 。眾多研究表明,Tensorflow 是研究深度學習的首選平臺。
  • 如何使用純NumPy代碼從頭實現簡單的卷積神經網絡!這篇文章真叼
    在這種情況下,最好自己親手構建此類模型,這可以幫助你最大程度地控制網絡。因此在本文中,我們將僅使用 NumPy 嘗試創建 CNN。我們會創建三個層,即卷積層(簡稱 conv)、ReLU 層和最大池化層。所涉及的主要步驟如下: