繞坑走!細數那些神經網絡的弊端和缺點

2021-01-17 IT168

【IT168 資訊】目前,深度學習受到大規模的炒作,人們恨不得在各個地方都使用神經網絡,但確實在每一個地方都適用麼?我們將在下面的章節中進行討論,閱讀完它後,您將知道神經網絡的主要缺點,並且當您為當前的機器學習問題選擇正確類型的算法時,您將有一個粗略的指導原則。您還將了解我們現在面臨的機器學習中的主要問題。

 目錄:

·為什麼深度學習受到炒作?(數據,計算能力,算法,市場營銷)

·神經網絡與傳統算法(黑盒子,開發持續時間,數據量,計算成本昂貴)

·概要

·結論

為什麼深度學習受到炒作?

深度學習有目前正在進行炒作的四個主要原因,包括數據、計算能力、算法本身和市場營銷。我們將在下面的章節中討論它們中的每一個。

1.數據

增加深度學習的受歡迎程度的一個因素是2018年可用的大量數據,這些數據是在過去幾年和幾十年中收集的。這使得神經網絡能夠真正發揮他們的潛力,因為他們獲得的數據越多越好。

相比之下,傳統的機器學習算法肯定會達到一個水平,更多的數據不會提高其性能。下面的圖表說明了這一點:

2.計算能力

另一個非常重要的原因是現在可用的計算能力,這使我們能夠處理更多的數據。根據人工智慧的領先人物Ray Kurzweil的說法,計算能力在每個時間單位會乘以一個常數因子(例如,每年增加一倍),而不是逐漸增加。這意味著計算能力呈指數增長。

3.算法

提高Deep Learning流行度的第三個因素是算法本身的進步。算法開發中的出現最近的突破主要是由於使它們比以前運行得更快,這使得使用越來越多的數據成為可能。

4.營銷

營銷可能也是一個很重要的因素。神經網絡幾十年來(第一次在1944年提出),已經經歷了一些炒作,但過去處於沒有人想相信和投資的時代。 「深度學習」這個詞組給了它一個新的花哨的名字,這使得新的炒作成為可能,這也是許多人錯誤地認為深度學習是一個新創造的領域的原因。

此外,其他因素也促成了深度學習的營銷,例如漢森機器人技術的「人形」機器人Sophia,在大眾中引起了廣泛的爭議,以及機器學習主要領域的幾項突破,使其成為大眾媒體等等。

神經網絡與傳統算法

當你應該使用神經網絡或傳統的機器學習算法,這是一個難以回答的問題,因為它很大程度上取決於你試圖解決的問題。這也是由於「沒有免費的午餐定理」,它大致表明沒有「完美」的機器學習算法,在任何問題上都能表現出色。對於每一個問題,一個特定的方法是適合的,能取得良好的效果,而另一種方法或許會失敗,但這可能是機器學習最有趣的部分之一。

這也是您需要精通幾種算法的原因,以及為什麼通過練習獲得優秀機器學習工程師或數據科學家的較好的方法。在這篇文章中會為您提供一些指導方針,幫助您更好地理解何時應使用哪種類型的算法。

神經網絡的主要優勢在於其幾乎超越了其他所有機器學習算法的能力,但是這有一些缺點,我們將在本文中討論並重點關注。就像我之前提到的那樣,決定是否應該使用深度學習主要取決於您正在嘗試解決的問題。例如,在癌症檢測中,高性能至關重要,因為性能越好,可以治療的人越多。但也有機器學習問題,傳統的算法提供的不僅僅是滿意的結果。

1.黑盒子

神經網絡最為人所知的缺點可能就是它們的「黑盒子」性質,這意味著你不知道神經網絡如何以及為什麼會產生一定的輸出。例如,當你將一張貓的圖像放入神經網絡,並預測它是一輛汽車時,很難理解是什麼導致它產生這個預測。當你具有人類可解釋的特徵時,理解其錯誤的原因要容易得多。在比較中,像決策樹這樣的算法是非常容易理解的。這很重要,因為在某些領域,可解釋性非常重要。

這就是為什麼很多銀行不使用神經網絡來預測一個人是否有信譽,因為他們需要向客戶解釋為什麼他們沒有獲得貸款。否則,這個人可能會覺得受到銀行的錯誤威脅,因為他不明白他為什麼沒有獲得貸款,這可能導致他改變對該銀行的看法,像Quora這樣的網站也是如此。如果他們因為機器學習算法而決定刪除用戶帳戶,他們需要向用戶解釋為什麼他們已經完成了它。我懷疑他們是否會滿意電腦所給的答案。

在機器學習的推動下,其他情景將是重要的商業決策。你能想像一個大公司的執行長會在不明白為什麼應該完成的情況下做出價值數百萬美元的決定嗎?僅僅因為「計算機」說他需要這樣做。

2.開發持續時間

儘管像Keras這樣的庫使得神經網絡的開發非常簡單,但是有時您需要更多地控制算法的細節,例如,當您試圖解決機器學習中的難題時。

然後你可能會使用Tensorflow,它為你提供了更多的機會,但因為它也更複雜,開發需要更長的時間(取決於你想要構建的)。那麼對於公司管理層來說,如果真的值得他們昂貴的工程師花費數周時間來開發一些東西,那麼問題就會出現,用更簡單的算法可以更快地解決問題。

3.數據量

與傳統的機器學習算法相比,神經網絡通常需要更多的數據,至少有數千甚至數百萬個標記樣本。這不是一個容易解決的問題,如果使用其他算法,許多機器學習問題可以用較少的數據很好地解決。

儘管有些情況下神經網絡很少處理數據,但大多數情況下他們不處理。在這種情況下,像樸素貝葉斯這樣的簡單算法可以很好地處理少數數據。

4.計算昂貴

通常,神經網絡比傳統算法在計算上更昂貴。最先進的深度學習算法,實現真正深度的神經網絡的成功訓練,可能需要幾周時間才能完全從頭開始進行訓練。大多數傳統的機器學習算法花費的時間少於幾分鐘到幾個小時或幾天。

神經網絡所需的計算能力很大程度上取決於數據的大小,但也取決於網絡的深度和複雜程度。例如,具有一層和50個神經元的神經網絡將比具有1000棵樹的隨機森林快得多。相比之下,具有50層的神經網絡將比僅有10棵樹的隨機森林慢得多。

概要

現在你可能會知道神經網絡對於某些任務比較適用,但對其他人來說並不一定適用。您了解到,大量的數據、更多的計算能力、更好的算法和智能營銷增加了深度學習的受歡迎程度,並使其成為目前最熱門的領域之一。最重要的是,您已經了解到,神經網絡幾乎可以擊敗所有其他機器學習算法以及與之相伴隨的缺點。最大的缺點是它們的「黑盒子」性質,增加開發時間(取決於您的問題)、所需的數據量以及它們大部分計算成本高昂。

結論

深度學習目前可能仍舊有點過度炒作的情況,並且超過期望完成的事情。但這並不意味著它沒有用處。我認為我們生活在機器學習復興中,因為它越來越民主化,越來越多的人可以用它來構建有用的產品。機器學習可以解決很多問題,我相信這將在未來幾年內發生。

其中一個主要問題是只有少數人了解可以用它做些什麼,並知道如何建立成功的數據科學團隊,為公司帶來真正的價值。一方面,我們擁有博士級工程師,他們是機器學習背後的理論天才,但可能缺乏對商業方面的理解。另一方面,我們有執行長和管理職位的人員,他們不知道深度學習可以做些什麼,並認為它將在未來幾年解決所有問題。我們需要更多的人來填補這個空白,這將產生更多對我們社會有用的產品。

相關焦點

  • BP神經網絡
    隨著應用範圍的逐步擴大,BP神經網絡也暴露出了越來越多的缺點和不足,比如局部極小化問題,從數學角度看,傳統的 BP神經網絡為一種局部搜索的優化方法,它要解決的是一個複雜非線性化問題,網絡的權值是通過沿局部改善的方向逐漸進行調整的,這樣會使算法陷入局部極值,權值收斂到局部極小點,從而導致網絡訓練失敗。
  • 神經網絡算法原理_神經網絡算法的應用_神經網絡算法實例說明
    神經網絡是一種模擬人腦結構的算法模型。其原理就在於將信息分布式存儲和並行協同處理。雖然每個單元的功能非常簡單,但大量單元構成的網絡系統就能實現非常複雜的數據計算,並且還是一個高度複雜的非線性動力學習系統。   神經網絡的結構更接近於人腦,具有大規模並行、分布式存儲和處理、自組織、自適應和自學能力。
  • 神經網絡中容易被忽視的基礎知識
    因此說,那些線性的分類器本身就是一個單層神經網絡。但注意,對於非線性的模型:SVM 和神經網絡走了兩條不同的道路:神經網絡通過多個隱層的方法來實現非線性的函數,有一些理論支持(比如說帶隱層的神經網絡可以模擬任何函數),但是目前而言還不是非常完備;SVM 則採用了 kernel trick 的方法,這個在理論上面比較完備(RKHS,簡單地說就是一個泛函的線性空間
  • 用Hinton的膠囊神經網絡來識別空間關係 Part1: CNNs及其缺點
    Geoffery Hinton 是包括神經網絡在內的很多廣泛使用的深度學習算法的創始人之一,考慮到他有著神經科學和人工智慧的雙重背景,取得這些成就也就不會太讓人意外。如果你不了解這個過程,可以看看我的關於CNNs結構的總結: 理解卷積神經網絡萬一你沒讀過,而且不了解這些,下面是從我那些總結裡提煉出來更簡短的總結。
  • 吃豆腐的益處和弊端
    水豆腐是日常生活最普遍的豆類食品,它有濃厚的豆香氣,能夠炒著吃,還可以煎著吃,還能夠炸著吃,可用它作出多種多樣特點不一樣的特色美食,並且平常大家吃豆腐能為人體填補豐富多彩營養成分,但大伙兒在吃豆腐的情況下一定要了解吃豆腐不僅有益處也是有弊端,想實際掌握吃豆腐的益處與弊端有什麼可參照下邊對水豆腐做的詳解。
  • DeepMind的最新研究結合了神經網絡和隨機過程的優點提出神經過程...
    DeepMind的最新研究結合了神經網絡和隨機過程的優點提出神經過程模型 李倩 發表於 2018-07-09 09:04:12 函數逼近是機器學習中許多問題的核心,DeepMind的最新研究結合了神經網絡和隨機過程的優點
  • 細數那些雷人「神翻譯」:四大發明變Star Farming
    細數那些雷人「神翻譯」:四大發明變Star Farming 2014年01月07日 09:19 來源:人民日報海外版 參與互動(
  • 訓練神經網絡的五大算法
    一般來說,損失函數包括誤差項和正則項兩部分。誤差項衡量神經網絡模型在訓練數據集上的擬合程度,而正則項則是控制模型的複雜程度,防止出現過擬合現象。 損失函數的函數值由模型的參數(權重值和偏置值)所決定。我們可以把兩部分參數合併為一個n維的權重向量,記為w。下圖是損失函數f(w)的圖示。
  • 人工智慧神經網絡和生物大腦有什麼區別 神經網絡將如何發展
    ,例如人工神經網絡設法從圖像中提取低級和高級特徵。例如,大多數新生動物在如此短的時間內(數周,數天,數小時)學習關鍵技能(步行,奔跑,跳躍),而在空白板巖神經網絡上進行純粹的無監督學習則是不可能的。扎多爾寫道:「動物行為表述的很大一部分不是聰明的學習算法(有監督或無監督)的結果,而是出生時已經存在的行為程序的結果。」同時,先天的能力無法使動物適應不斷變化的環境。因此,他們都有學習和適應環境的能力。
  • 細數中國網絡小說史上神作
    細數中國網絡小說史上神作網絡小說從2002年開始興起,如今已蓬勃發展了14年,在這期間湧現出了一大批精彩作品,它們影響了一代人的成長。今天我們就來一起盤點中國網絡小說史上的一些神作,一起來看看有沒有你讀過的吧。
  • 細數那些堪稱「神作」的紀錄片
    細數那些堪稱「神作」的紀錄片紀錄片是以真實生活為創作素材的影視作品,有一些紀錄片比電影還好看。這些紀錄片觀察現實、記錄人生,遠比我們想像的更精彩。泥火山、彩色峽谷、瀑布、世界最大的碳酸鹽沉積溫泉、鑽石雪;深入險境在鏡頭之下和野生動物一同挑戰零下40度的生存極限。《宇宙的奇蹟》普通觀眾由對宇宙有了直觀的概念《宇宙的奇蹟》是英國BBC製作的一部英國紀錄片,由布萊恩·考克斯 Brian Cox主演。《宇宙的奇蹟》由Brian Cox教授帶我們用物理學揭開種種宇宙奇蹟的奧秘,闡釋人類和宇宙的深邃聯繫。
  • 多變量多因子的非線性模型|BP神經網絡模型
    神經網絡模型的靈感來源於生物體內的神經網絡,大量的神經元(可以理解為變量)之間相互聯繫,共同協作處理問題。神經網絡的訓練目的是為了獲得一組權重,使得輸入量帶入模型得出的輸出量與目標變量誤差最小,若誤差值不符合條件,則返回將權重增加或減小,再次帶入模型驗證,這樣的一個反向修改帶入模型的過程就是BP神經網絡的訓練過程如果輸入神經元與輸出神經元是線性關係,可以直接進行線性回歸,若非線性關係,就可以利用BP神經網絡。
  • 人工智慧之卷積神經網絡(CNN)
    ^_^本文引用地址:http://www.eepw.com.cn/article/201806/381807.htm  20世紀60年代,Hubel和Wiesel在研究貓腦皮層中用於局部敏感和方向選擇的神經元時發現其獨特的網絡結構可以有效地降低反饋神經網絡的複雜性,繼而提出了卷積神經網絡CNN(Convolutional Neural Networks)。
  • 細數《極黑的布倫希爾德》中那些經典角色
    細數《極黑的布倫希爾德》中那些經典角色《極黑的布倫希爾德》是由日本漫畫家岡本倫創作的青年漫畫,連載於《周刊Young Jump》2012年第9號-2016年第18號。下面我們就來欣賞一下漫畫中的角色吧。村上良太天文社社員村上良太是漫畫及動畫作品《極黑的布倫希爾德》中的男主角。
  • 細數那些你曾經對愛滋病的誤區,科學認識才是關鍵!
    細數那些你曾經對愛滋病的誤區,科學認識才是關鍵!下面的這些誤區你肯定有過,和小艾志願者一起來看下吧!A誤區一愛滋病隱匿在陽光背後,神秘而遙遠神馬?!越來越多的陽光少年成為愛滋病新發感染者?沒錯!
  • 吳恩達深度學習(20)-激活函數的導數和神經網絡的梯度下降
    激活函數的導數(Derivatives of activation functions)在神經網絡中使用反向傳播的時候,你真的需要計算激活函數的斜率或者導數。你的單隱層神經網絡會有W^([1]),b^([1]),W^([2]),b^([2])這些參數,還有個n_x表示輸入特徵的個數,n^([1])表示隱藏單元個數,n^([2])表示輸出單元個數。
  • 鐵筷子、毛地黃……細數那些被名字耽誤的唯美植物
    鐵筷子、毛地黃……細數那些被名字耽誤的唯美植物 2020-04-24 15:08 來源:澎湃新聞·澎湃號·政務
  • 一種兼具神經網絡高效性和高斯過程靈活性的方法——神經過程
    在今年的ICML上,研究人員提出了不少有趣的工作,其中神經過程(NPs)引起了許多人的注意,它基於神經網絡概率模型,但又可以表示隨機過程的分布。這意味著NPs結合了兩個領域的元素: 深度學習:神經網絡是靈活的非線性函數,可以直接訓練 高斯過程:GP提供了一個概率框架,可用於學習非線性函數的分布 兩者都有各自的優點和缺點。
  • 神經網絡和深度學習簡史(全)
    在聽了數節機器學習課堂,甚至在本科研究中使用它以後,我不禁好奇:這個新的「深度學習」會不會是一個幻想,抑或上世紀80年代已經研發出來的「人工智慧神經網絡」擴大版?而且,如果修改了神經網絡(包括那些隱藏層)任一權重值,我們還可以找出誤差會有多大變化,通過優化技巧(時間長,典型的隨機梯度下降)找出最小化誤差的最佳權值。
  • Pytorch_第九篇_神經網絡中常用的激活函數
    神經網絡中常用的激活函數Introduce理論上神經網絡能夠擬合任意線性函數,其中主要的一個因素是使用了非線性激活函數(因為如果每一層都是線性變換,那有啥用啊,始終能夠擬合的都是線性函數啊)。本文主要介紹神經網絡中各種常用的激活函數。以下均為個人學習筆記,若有錯誤望指出。