機器之心報導
機器之心編輯部
機器學習模型訓練中，過擬合現象實在令人頭禿。而 2012 年 Geoffrey Hinton 提出的 Dropout 對防止過擬合有很好的效果。之後大量 Dropout 變體湧現，這項技術也成為機器學習研究者常用的訓練 trick。
萬萬沒想到的是，谷歌為該項技術申請了專利，而且這項專利昨日正式生效！
我們可以在 Google Patents 上看到這項技術的專利詳情頁面：https://patents.google.com/patent/US9406017B2/en
非常恰如其分，該專利詳情頁中對 Dropout 的總體定義是「解決神經網絡過擬合的系統和方法」。該頁面介紹了 Dropout 技術及其創造者——Geoffrey Hinton、Alexander Krizhevsky、Ilya Sutskever、Nitish Srivastva，專利申請情況，專利文本等。
從上圖中我們可以看到該技術目前的專利權受讓人（Current Assignee，即專利所有權人）是谷歌。
下圖展示了 Dropout 專利申請的主要時間節點，我們可以看到最下方的兩個日期——2019-06-26 專利生效，2034-09-03 專利到期。
在專利申請的文檔主體中，谷歌提供了神經網絡的結構圖和訓練流程圖，並介紹了專利申請的背景，簡要概括了專利，提供了專利分類，並描述了專利的實施原理。
什麼是 Dropout？
在標準 Dropout 的每輪迭代中，網絡中的每個神經元以 p 的概率被丟棄。當訓練完成後，模型需要用全部神經元進行預測。每一層的 dropout 概率可能不盡相同，在論文《ImageNet Classification with Deep Convolutional Neural Networks》中，AlexNet 第一次使用了 Dropout，它建議輸入層的 p=0.2，而隱藏層的 p=0.5。
其實 Dropout 可以天然理解為不同模型架構的集成方法，它提供了一種非常廉價的 Bagging 集成近似方法。如下圖所示基本的兩層全連接網絡在每一次更新時都可能隨機去除不同的單元，從而組成不同的架構。因為每次更新時關注的神經元都不相同，重點更新的權重也不相同，因此最後集成在一起就能達到正則化的效果。
選自：《Deep Learning》
Dropout 自 2012 年以來就產生了非常重要的影響，現在的神經網絡訓練基本上都會用一些 Dropout 作為正則化器。這主要是因為神經網絡的擬合能力太強大了，稍不留神就會產生過擬合的情況，因此不論是循環還是卷積，根據過擬合調整丟棄概率還是非常好用的。
此前 Hinton 等研究者也嘗試構建更強大的 Dropout，例如神似剪枝的 Targeted Dropout、大幅減少迭代數的Multi-Sample Dropout等。但最近谷歌為 Dropout 這一通用技術申請了專利，且專利現在已經生效了。就這麼簡單精煉的一個技術，用 NumPy 寫前向和反向傳播代碼也就幾行的功夫，專利真的會對我們有大影響嗎？
谷歌為 Dropout 申請專利了，對你有影響嗎？
谷歌專利一經生效，便引來大批吃瓜群眾圍觀吐槽。
有相當樂觀覺得沒啥大不了的：
「不會有問題的...... 我相信谷歌絕對不會強制執行專利許可。他們的『使用深度神經網絡處理圖像』專利已經生效一段時間了，（但是沒有強制執行專利許可）。」
有說 Dropout 不是 Hinton 等提出的：
「我打賭，這個專利不會被強制執行。Dropout 是 Stenphen Jose Hanson 在 1990 年發表的論文中提到的一種特殊情況。Hinton 他們沒有引用這篇論文。連結：https://arxiv.org/abs/1808.03578」
還有「小嘴抹了蜜」的：
「Fxxx 這個專利。對數學方法申請專利違背了思想自由。傳播有趣的點子是不需要收費的。」
還有挖出來谷歌旗下的 Deepmind 申請了其他類似專利的：
「年輕人還是圖樣。谷歌申請了包括 word2vec 在內的一大批專利！」
Word2vec 是由 Tomas Mikolov 領導的一支谷歌研究團隊提出的一種對詞的向量表示進行運算的方法。谷歌提供開源的 Word2vec 版本，以 Apache 2.0 許可證發布。Mikolov 於 2014 年離開谷歌，加入 Facebook，而谷歌在 2015 年 5 月獲得了 Word2vec 方法的專利，該專利也於 2019 年 6 月 26 日生效。
圖源：https://patents.google.com/patent/US9037464B1/en?inventor=Tomas+Mikolov&assignee=Google+LLC
此外，我們還發現了昨天生效的另一項專利——Training convolutional neural networks on graphics processing units，這項專利的受讓人為微軟。
圖源：https://patents.google.com/patent/US7747070B2/en?q=G06N3%2f084
也有提出合理化建議的：
「基於你的情況，請對號入座：
如果你是初創公司，現在需要融資，在你的算法中使用谷歌的專利會是一個很大的負擔，甚至可能影響融資。如果你是個和谷歌有專利糾紛的組織，起訴前請三思，因為谷歌也有專利武器反訴你。如果你是谷歌的專利律師，你是人生贏家。」這個專利是否會產生實質性的影響，目前還不清楚，谷歌方面也未有回應。機器之心的讀者們怎麼看呢？
參考內容：https://www.reddit.com/r/MachineLearning/comments/c5mdm5/d_googles_patent_on_dropout_just_went_active_today/