Dropout到底在幹啥?看完這篇文章,你就知道了

2021-02-19 專知

【導讀】Dropout是非常常用的深度學習組件，一般用來做模型正則化或模型壓縮，然而，Dropout到底是怎麼做的？它有哪些變體？CNN和RNN中Dropout該怎麼用？看完這篇文章，你就都知道了。

https://arxiv.org/pdf/1904.13310.pdfSurvey of Dropout Methods for Deep Neural Networks

深度神經網絡是當代人工智慧和信號處理領域的一個重要課題。它們的大量參數使得它們特別容易過度擬合，在實踐中需要正則化方法。Dropout是2012年推出的一種避免過度擬合的技術，隨後被應用於2012年的大尺度視覺識別挑戰賽 (Large Scale Visual Recognition Challenge) ，該挑戰賽徹底改變了深度學習研究。原方法在每次訓練迭代中省略概率為0.5的神經網絡中的每個神經元，在測試中包含所有神經元。該技術被證明可以顯著提高在各種任務上的結果。

近年來，受原始dropout方法的啟發而提出的各種隨機技術得到了廣泛的應用。我們通常使用術語dropout方法來指代它們。其中包括dropconnect、standout、fast dropout、變分dropout、Monte Carlo dropout等。上圖展示了對隨時間推移的輟學方法的研究。一般來說，dropout方法是在神經網絡訓練、推理或近似過程中隨機修改參數。雖然最初用於避免過度擬合，但dropout方法已經擴展到各種應用程式中。

本篇文章將上述dropout方法進行了一一分析。

【部分文章】

-END-

專知，專業可信的人工智慧知識分發，讓認知協作更快更好！歡迎登錄www.zhuanzhi.ai，註冊登錄專知，獲取更多AI知識資料！

歡迎微信掃一掃加入專知人工智慧知識星球群，獲取最新AI專業乾貨知識教程視頻資料和與專家交流諮詢！

請加專知小助手微信（掃一掃如下二維碼添加），加入專知人工智慧主題群，諮詢技術商務合作~

相關焦點

  • 那個基辛格到底是幹啥的?
    基辛格這人在中國和司徒雷登有點像，是中國人最熟悉的陌生人，幾乎誰都聽說過，但好像又誰都說不上來這人到底是幹啥的。他這兩天發了一篇文章，在國際上影響比較大。我本來準備講講那篇文章的，不過發現大家都不知道這人是幹嘛的，所以就先開一篇掃盲貼，給大家介紹下這人，順便介紹下那事。
  • 顯卡驅動到底有多重要?看完這篇文章你就懂了!
    顯卡驅動到底是幹啥？此外，如今很多PC用戶只知道有獨立顯卡，卻會忽略處理器內集成的核芯顯卡。實際上，核顯通過驅動升級，同樣可以獲得新功能和更好的性能表現。那麼，這兩種說法到底是緣何而來呢？AMD的雞血驅動從2014年開始，AMD每年年底都會為玩家帶來一款年度驅動，而該驅動的典型特徵就是可以讓多個時代的AMD老顯卡像「打雞血」一般顯著提升性能，所以常被AMD顯卡用戶戲稱為「雞血驅動」。
  • 【Tech】啥是 DeepFusion?看完這篇你就懂了!
    更新介紹講的超級簡單，但是小口袋知道這一切並不是那麼簡單！這篇文章講講Deep Fusion到底是個啥？用來幹嘛的。DeepFusion（深度融合）簡介 DeepFusion中文翻譯應該叫深度融合，那麼是怎麼個融合法呢？看圖： 簡而言之，9圖合成1圖。
  • 看完這篇文章,你打開了瀏覽器……
    只需要輸入文件名以及你想要的文件大小，再選擇文件格式，就可以生成一個損壞的文件，然後將這個文件發給你的老師/老闆，過上那麼一小會，當你的老師/老闆說文件損壞了讓你再發一份的時候，你就可以表示自己跟前的源文件也損壞了，「這可是我熬了好幾個大夜才做完的，怎麼辦啊」，DDL再拖上那麼一兩天絕對沒問題。親測有效，不然我這篇推送怎麼能跟老闆拖了這麼久呢？
  • 深度學習(二十二)Dropout淺層理解與實現
    在我剛入門深度學習，搞視覺的時候，就有所耳聞，當時只知道它是為了防止過擬合。記得以前啥也不懂，看到《ImageNet Classification with Deep Convolutional》的思路，然後看到很多文獻都是採用了同樣的思路，於是就跟著模仿，也不知道為什麼要這麼設計，然後去kaggle競賽，感覺自己模仿設計出來的網絡，感覺精度都好爛，然後也不會分析網絡設計哪些合理，哪些不合理。
  • 看完這篇,你就去養蜜袋鼯吧
    ★請記住，你有你的工作、玩樂和朋友，但我就只有你。★請想想，我的生命有短短的不到10年，遺棄我會將是對我最大的傷害。★請在我最終離去前陪著我，這是我最後的心願。像是摔斷腿.袋子發炎.袋子生瘤....這些是在我認為都是很緊急的病徵, 直接衝去醫院找專業醫生判定比較好,畢竟你網上發問還必須在那邊等阿等,等到有人好心回答你,就又耗費多少時間了？可是有些病狀是不能等的！小蜜是等不及的！看過有人說他下班回來看到她的蜜不太對勁,好像厭厭一息沒食慾沒活動力,那到底還在等啥問啥呢？直接送醫院不是比較快嗎？都快掛了還在問啥？我只好回他請儘快就醫！
  • 看完這篇文章,可別再說你的谷歌瀏覽器用不了咯
    搜尋引擎的詳細分類可見這篇文章——搜尋引擎的分類有哪些？該文章末尾介紹了通用搜尋引擎和垂直搜尋引擎的區別，諸君不妨留意下，待會兒咱還會提到這兩個概念。如果你看明白了前面的介紹，你就會知道：雖然在谷歌瀏覽器上不能直接使用谷歌搜尋引擎，但你還可以用必應、百度、360等搜尋引擎。不過，貓君料想多數人使用谷歌瀏覽器，其實是直奔谷歌搜尋引擎去的。
  • 電吉他拾音器到底能幹啥?
    其實，這麼多年我一直在做一件事，就是在努力來讓大家真正的了解電吉他拾音器到底是個什麼東西？他到底能幹啥？這篇文章，我希望你們能多多轉發，希望對大家能有所幫助!    這麼多年設計，研發，測試拾音器的過程裡，我可能比很多人更了解電吉他和拾音器之間的關係，我也太知道拾音器到底是個什麼東西了，他能幹什麼，他不能幹什麼，現在很多人過分神話或者貶低拾音器的作用，這其實都是很不負責任的，尤其是一些鍵盤俠，整天鍵盤啪啪的不知道誤導了多少無辜的人。
  • 人臉識別的原理到底是什麼?看完這篇文章你就知道!
    我們知道人臉識別在這幾年應用相當廣泛，人臉考勤，人臉社交，人臉支付，哪裡都有這黑科技的影響，特別這幾年機器學習流行，使得人臉識別在應用和準確率更是達到了一個較高的水準。下面將帶著大家揭秘下這項黑科技的原理。另外如果你想要系統地學習人工智慧，那麼推薦你去看床長人工智慧教程。非常棒的大神之作。教程不僅通俗易懂，而且很風趣幽默。點擊這裡可以查看教程。
  • 你知道嗎?光看這篇文章就賺了一百萬!!!
    這僅僅是一個不到一年的品牌！我要回憶一下，到底是怎麼做起來的？關於產品我不想說太多。我說我們的配方是唯一，有人質疑；我說，我們的產品、效果是最安全有效的，也有人質疑。但這些都是真的！只有在產品品質上站到行業尖端，才有可能在銷量上做到行業前茅！
  • Qlink到底在做什麼?看完這篇你就明白了
    大家有沒有很困惑，Qlink到底在做些什麼？
  • 看完這篇文章給你降降溫……
    獲取方法請看下圖：如何解決這個問題呢？這也是小編今天發布這篇文章的目的，希望藉此篇文章的解決思路，能讓今後在安裝其他軟體或者解決其他問題上，給予同樣遇到問題的小夥伴們一些幫助，希望大家看完這篇文章點讚後並分享出去，也算是對小編在北京悶熱夏天的這個周六早上，忘記吃早飯而爬在電腦前辛勤的一點回報吧！
  • 看完這篇文章,你要是還不會選顯卡算我輸
    顯卡參數該怎麼看），很多玩家表示看過後雖然明白了許多以前不知道的細節，但還是有一種「雲裡霧裡」的感覺，真正到了自己挑選顯卡時，還是有一些頭疼。有一種「看了這麼多文章 為什麼我還是不會選顯卡？」的感覺，所以今天的這篇選購指南就是為了讓大家全面了解到底該如何選擇顯卡。
  • 看完這篇文章,你肯定理解什麼是浮點數了!
    浮點數是我們在編程中常用的一個數據類型，不知道大家想過沒有，它為什麼叫做float呢？還有，計算機對浮點數的內部表示方法IEEE 874到底是怎麼回事？要徹底理解浮點數，需要從計算機的底層存儲開始。假設有一個32 bit的計算機，需要你來設計一個支持存儲「小數」的方案，你會怎麼辦呢？
  • 看了這篇文章,搞定視頻下載
    以後公眾號的發文間隔為：每兩天推一次文章，時間為晚上9點30分（太頻繁的推文可能大家也會反感，固定的時間可能不會讓大家錯過文章）。其實我們最看重的就是文章左下角的閱讀量和右下角的『在看』量，有人看文章可能就是對創作者最大的鼓勵吧，感恩理解！
  • 深度學習中Dropout原理解析
    並且，這篇論文提到的AlexNet網絡模型引爆了神經網絡應用熱潮，並贏得了2012年圖像識別大賽冠軍，使得CNN成為圖像分類上的核心算法模型。一小批訓練樣本執行完這個過程後，在沒有被刪除的神經元上按照隨機梯度下降法更新對應的參數（w，b）。(3) 然後繼續重複這一過程：恢復被刪掉的神經元（此時被刪除的神經元保持原樣，而沒有被刪除的神經元已經有所更新）。從隱藏層神經元中隨機選擇一個一半大小的子集臨時刪除掉（備份被刪除神經元的參數）。
  • 看完這篇文章你就知道了
    今天給大家分享一下新手在抖音裡面開直播，需要用到的一些設備，如果不知道的趕緊收藏起來，如果覺得有幫助的話可以點點讚同哦，感謝大家的支持。新手在抖音裡面開直播，除了要調整好心態、準備好直播的話術、售賣的產品等，還需要在之前把相應的設備準備好。
  • 如果你還在猶豫PSVR值不值得購買,看完這篇文章你就知道了
    說起VR頭顯，大家都會把Oculus Rift、HTC Vive和PSVR拿來作對比，當然不能絕對的說哪個好哪個壞，各有優劣，可以根據自己的需要和喜好進行考量，前兩者都已發貨好壞大家心裡都已有數，那麼今天我們從幾方面聊聊PSVR到底值不值得買。
  • 川建國到底想幹啥?
    川建國很明白，要想讓這群人一直支持自己，最好的辦法就是讓他們時刻保持亢奮狀態，而要讓他們時刻保持亢奮狀態，最簡單的辦法是塑造一個本來並不存在的敵人，給這些人提供一個宣洩情緒和表白忠誠的途徑。這樣還能順便把那些本該他自己背的鍋甩出去——比如疫情總是控不住啊，股市老是譁譁地跌啊，就業率一直提不上去啊，這些本來都是他的事，可是他一挑事，好像這都不是他的事了。
  • IGBT是啥?看完這篇文章我不信你還不明白
    奇怪吧，它到底是MOSFET還是BJT?其實都不是又都是。不繞圈子了，他就是MOSFET和BJT的組合體。　　我在前面講MOSFET和BJT的時候提到過他們的優缺點，MOSFET主要是單一載流子(多子)導電，而BJT是兩種載流子導電，所以BJT的驅 動電流會比MOSFET大，但是MOSFET的控制級柵極是靠場效應反型來控制的，沒有額外的控制端功率損耗。