【286頁乾貨】一天搞懂深度學習(臺灣資料科學年會課程)

2021-02-15 新智元

 來源:Linkedin 

譯者:胡祥傑


【新智元導讀】本文是2016 臺灣資料科學年會前導課程「一天搞懂深度學習」的全部講義PPT(共268頁),由臺灣大學電機工程學助理教授李宏毅主講。作者在文中分四個部分對神經網絡的原理、目前存在形態以及未來的發展進行了介紹。深度學習的每一個核心概念在文中都有相關案例進行呈現,通俗易懂。一天的時間搞懂深度學習?其實並不是沒有可能。

關注新智元,在公眾號後臺回復0822,可下載全部PPT(PDF版)

深度學習 ( Deep Learning ) 是機器學習 ( Machine Learning ) 中近年來備受重視的一支,深度學習根源於類神經網絡 ( Artificial Neural Network ) 模型,但今日深度學習的技術和它的前身已截然不同,目前最好的語音識別和影像辨識系統都是以深度學習技術來完成,你可能在很多不同的場合聽過各種用深度學習做出的驚人應用 ( 例如:最近紅遍大街小巷的 AlphaGo ),聽完以後覺得心痒痒的,想要趕快使用這項強大的技術,卻不知要從何下手學習,那這門課就是你所需要的。 

這門課程將由臺大電機系李宏毅教授利用短短的一天議程簡介深度學習。以下是課程大綱: 

什麼是深度學習 


深度學習的技術表面上看起來五花八門,但其實就是三個步驟:設定好類神經網絡架構、訂出學習目標、開始學習,這堂課會簡介如何使用深度學習的工具 Keras,它可以幫助你在十分鐘內完成深度學習的程序。另外,有人說深度學習很厲害、有各種吹捧,也有人說深度學習只是個噱頭,到底深度學習和其他的機器學習方法有什麼不同呢?這堂課要剖析深度學習和其它機器學習方法相比潛在的優勢。 

深度學習的各種小技巧 


雖然現在深度學習的工具滿街都是,想要寫一個深度學習的程序只是舉手之勞,但要得到好的成果可不簡單,訓練過程中各種枝枝節節的小技巧才是成功的關鍵。本課程中將分享深度學習的實作技巧及實戰經驗。 

有記憶力的深度學習模型 


機器需要記憶力才能做更多事情,這段課程要講解遞歸式類神經網絡 ( Recurrent Neural Network ),告訴大家深度學習模型如何可以有記憶力。 

深度學習應用與展望 


深度學習可以拿來做甚麼?怎麼用深度學習做語音識別?怎麼用深度學習做問答系統?接下來深度學習的研究者們在意的是什麼樣的問題呢? 


本課程希望幫助大家不只能了解深度學習,也可以有效率地上手深度學習,用在手邊的問題上。無論是從未嘗試過深度學習的新手,還是已經有一點經驗想更深入學習,都可以在這門課中有所收穫。

下面是課程全部PPT,由於篇幅有限,新智元對第一部分進行了翻譯:

深度學習吸引了很大的關注:

我相信,你之前肯定見到過很多激動人心的結果。圖中是谷歌內部深度學習技術的使用趨勢,可以看到從2015年第二季度開始,使用量呈直線上升。本講義聚焦深度學習基礎技術。

大綱:

報告第一部分:介紹深度學習

報告第二部分:關於訓練深度神經網絡的一些建議

報告第三部分:各種各樣的神經網絡

報告第四部分:下一股浪潮

報告1:深度學習介紹

深度學習有3步:神經網絡架構--學習目標--學習。

這三個步驟都是以數據為基礎的。

第3步:選擇最佳的功能函數。

從原理上說,深度學習非常簡單。

從函數的角度理解深度學習:第一步,是一個函數集;第二步,定義函數的擬合度;第三部,選擇最佳函數。

人類大腦的構成

神經網絡:神經元

激活函數的工作原理

不同的連接會導致不同的網絡結構

完全連接的反向網絡:S型網絡

極深網絡:從8層到19層,一直到152層。

全連接的反向網絡:矩陣系統

輸出層(選擇)

問題:

下圖中,總共有多少層?每一層有多少個神經元?

結構能自動決定嗎?

第二步:學習目標,定義函數擬合度。

例子:識別「2」

訓練數據:

準備訓練數據:圖像和相應的標籤

學習目標

損失:一個好的函數應該讓所有例子中的損失降到最小。

全局損失

第三步:學習!選擇最佳函數。

如何選擇最佳函數

梯度下降

梯度下降:綜合多個參數考慮的時候,你發現什麼問題了嗎?

局部最小值:梯度下降從來不會保證可以獲得全局最小值

反向傳播

可以做什麼?



篇幅有限。200頁以後PPT請在新智元公眾號後臺回復0822,下載瀏覽。

新智元於7月11日啟動2016年【新智元100】人工智慧創業公司評選,在人工智慧概念誕生60周年之際,尋找中國最具競爭力的人工智慧創業企業。智能駕駛技術是汽車行業的重點發展方向之一,同時也是人工智慧相關產業創新落地的重要賽道之一。為此新智元聯合北京中汽四方共同舉辦「新智元Top10智能汽車創客大賽」,共同招募智能汽車相關優質創業公司,並聯合組織人工智慧技術專家、傳統汽車行業技術專家、關注智能汽車領域的知名風投機構,共同評審並篩選出Top 10進入決賽,在2016年10月16日「國際智能網聯汽車發展合作論壇」期間,進行路演、頒獎及展覽活動。點擊文章下方閱讀原文,在線填寫報名表。該報名表為參加評選必填資料。如有更多介紹資料(例如BP等),可發送至xzy100@aiera.com.cn,郵件標題請註明公司名稱。如有任何諮詢問題,可聯繫微信號Kunlin1201。長按二維碼關注新智元100,發現中國最具競爭力人工智慧初創企業

新智元招聘信息,請點擊閱讀原文。

相關焦點

  • 深度學習導論 - 讀李宏毅《1天搞懂深度學習》
    【雷課導讀】本文是2016 臺灣資料科學年會前導課程「一天搞懂深度學習」的全部講義PPT(共268頁),由臺灣大學電機工程學助理教授李宏毅主講。
  • 李宏毅:1 天搞懂深度學習,我總結了 300 頁 PPT(附思維導圖)
    /details/72633245《1 天搞懂深度學習》,300 多頁的 ppt,臺灣李宏毅教授寫的,非常棒。不誇張地說,是我看過最系統,也最通俗易懂的,關於深度學習的文章。這份 300 頁的 PPT,被搬運到了 SlideShare 上,下面是 SlideShare 的連結:https://www.slideshare.net/tw_dsconf/ss-62245351?
  • 李宏毅:1 天搞懂深度學習,我總結了 300 頁 PPT
    《1 天搞懂深度學習》,300 多頁的 ppt,臺灣李宏毅教授寫的,非常棒。不誇張地說,是我看過最系統,也最通俗易懂的,關於深度學習的文章。
  • 深度學習全網最全學習資料匯總之入門篇
    下面進入本文的正題。要入門深度學習,首選的一個教程是來自臺灣大學電機系李宏毅教授的演講 PPT。該 PPT 共計301頁,源於 IEEE DSC 2016 系列活動,當時打出的標題是「一天搞懂深度學習」。該課程非常適合初學者,以最簡單易懂的圖示和文字闡述了深度學習的基本原理、深度學習模型的各種訓練小技巧、遞歸神經網絡和一些常見的深度學習應用。
  • 李宏毅:1 天搞懂深度學習(附思維導圖)
    作者:慢慢的燃燒https://blog.csdn.net/u010164190/article/details/72633245「《1 天搞懂深度學習》,300 多頁的 ppt,臺灣李宏毅教授寫的,非常棒。
  • 臺大李宏毅教授最新課程,深度強化學習有國語版啦!
    大數據文摘出品入坑深度學習的同學肯定都聽過臺灣大學的李宏毅教授,或者是他那本非常受歡迎的課程——《1天搞懂深度學習》。這門課程的講義PPT總共有286頁,深入淺出的介紹了深度學習的概念、框架及展望。課程內容通俗易懂,適合深度學習初學者及相關從業人員,在大數據文摘後臺回復「深度學習」可下載課程講義。
  • 資源 | 臺大李宏毅教授最新課程,深度強化學習有國語版啦!
    大數據文摘出品入坑深度學習的同學肯定都聽過臺灣大學的李宏毅教授
  • 2019年度最佳書單:深度學習/機器學習/強化學習(附部分電子書下載)
    點擊上方「CVer」,選擇加"星標"或「置頂」重磅乾貨,第一時間送達本文轉載自新智元和深度學習工坊
  • 深度學習預習資料:圖靈獎得主Yann LeCun《深度學習》春季課程
    這份資料手把手教會你入門 | 獻給新手的深度學習綜述……列出的這些課程僅是冰山一角。幾年下來,我們積攢了成百上千的教程資料,從基本概念到深度解析,從語言到框架,從讀博到就業…… 既有理論,也有實戰;既有精華文章,也有視頻、教科書、筆記,全都收錄在這幾份教程盤點文章之中:2019:收藏、退出一氣呵成,2019 年機器之心乾貨教程都在這裡了2018
  • 【乾貨薈萃】機器學習&深度學習知識資料大全集(二)(論文/教程/代碼/書籍/數據/課程等)
    【導讀】轉載來自ty4z2008(GItHub)整理的機器學習&深度學習知識資料大全薈萃,包含各種論文、代碼、視頻、書籍、文章、數據等等。是學習機器學習和深度學習的必備品!昨天介紹了第一篇:【乾貨薈萃】機器學習&深度學習知識資料大全集(一)(論文/教程/代碼/書籍/數據/課程等)今天第二篇:   介紹:使用卷積神經網絡的圖像縮放
  • 乾貨|給妹紙的深度學習教學(3)——用VGG19開荒
    妹紙:對了,你那邊有比較系統的深度學習和機器學習的資料嗎,我舍友也想要。花花:(懵逼。。)額,好像是有,那我晚點整理一下吧。遂,花花整理之:寫在前面,以下部分網站需要「翻牆」後食用,不在國內所以也不知道究竟被牆多少。
  • 乾貨!機器學習&深度學習經典資料匯總(續)
    《DeepLearning.University – An Annotated Deep Learning Bibliography》介紹:不僅是資料,而且還對有些資料做了注釋。合集《基於雲的自然語言處理開源項目FudanNLP》介紹:本項目利用了Microsoft Azure,可以在幾分種內完成NLP on Azure Website的部署,立即開始對FNLP各種特性的試用,或者以REST API的形式調用FNLP的語言分析功能《吳立德《概率主題模型&數據科學基礎》》介紹:現任復旦大學首席教授、計算機軟體博士生導師。
  • 【乾貨薈萃】機器學習&深度學習知識資料大全集(一)(論文/教程/代碼/書籍/數據/課程等)
    【導讀】轉載來自ty4z2008(GItHub)整理的機器學習&深度學習知識資料大全薈萃,包含各種論文、代碼、視頻、書籍、文章、數據等等。是學習機器學習和深度學習的必備品!, 短短300多頁道盡機器學習的方方面面.
  • 3 分鐘搞懂深度學習到底在深什麼
    答案是:不,建構一套深度學習的網絡,其實沒有想像中困難,只要看完這篇文章,就能夠有基本的了解,再搭配網絡資源自學一下,甚至就可以開始建立自己的深度學習網絡。如果你想要深度學習「深度學習」,又能快速搞懂它到底在深什麼東西,看這篇文章就對了,那我們開始囉!
  • 機器學習/深度學習入門資料匯總
    但大多數答案並不怎麼讓人滿意:搜索結果要麼星稀零散,只見樹木不見森林;要麼過於詳盡,讓人無從下手(很多資料作者自己都沒看過)。在這篇文章裡,我把自己在學習過程中的參考資料進行了梳理。一方面,希望能給你一個相對系統的學習路線參考;另一方面,自己真實的實踐經歷,遇過坎,掉過坑,希望能給正準備入門的同學更多真實的借鑑。
  • 資源|李宏毅中文《機器學習/深度學習》2019上線(附ppt及視頻分享)
    吳恩達、李飛飛等大牛的機器學習、深度學習公開課都乾貨滿滿,惠及很多學者。但是很遺憾的是他們的課程都是英文的,對於中文較差些的學生很不友好,而另外一位臺灣大學(NTU)的博士李宏毅則也是幽默風趣,在課程中加入二次元的元素,最重要的是中文授課,可以說非常適合我們入門或者重溫機器學習/深度學習的知識,我們也將這門課程推薦給大家~一、作者介紹:李宏毅(Hung-yi Lee)目前任臺灣大學電機工程學系和電機資訊學院的助理教授
  • 2020高中生深度學習策略課程
    」即可 免費獲得 深度思考、高效學習的方法(本文共4051字,閱讀約需11分鐘)前幾年,學習策略夏令營一直是做的線下實體課程,這是第一次將深度學習策略課程搬到線上來。綜合研究各類思維方法與學習策略,自主開發《可視化思維》《深度理解》《中學結構化策略生態》《輸出指引策略》等多套系列課程。為幾千名教育局官員、校長、骨幹教師,幾十萬名學生做過學習策略培訓,受到廣泛好評。 與別家培訓機構的最大不同在於,我是個真正搞教育研究的人,而不是個普通的商業機構。
  • AI | 怎樣快速入門機器學習和深度學習?
    你跟siri說hi自動映射到回答hello~一天學會深度學習-李宏毅給大家推薦一些書,同時提醒大家一些坑。書大致可以分為三類『科普書籍』『機器學習算法書籍』『編程書籍』。1.這樣的話,臺灣大學林軒田老師的機器學習基石及技法是非常不錯的選擇。
  • 中年人英語學習乾貨三:透析法實戰
    與此同時,為了搞清楚Transformers的來龍去脈,我就在網上搜索有關Transformers的書。這也就引出了我完整閱讀完的第一本英文原著−《Transformers: Ghost of Yesterday》。這本書讀的非常辛苦,我先不查詞讀了一遍,大概了解了全書的意思。然後,開始精讀,要搞懂每句話的意思。詳情請見文章《中年人英語學習乾貨二:閱讀探索》。