三種卷積神經網絡模型:Light-CNN,雙分支CNN和預先訓練的CNN

2020-12-22 電子發燒友

三種卷積神經網絡模型：Light-CNN，雙分支CNN和預先訓練的CNN

發表於 2020-04-17 10:55:01

上海電力大學的兩位研究人員最近開發並評估了野生人臉表情識別（FER）的新神經網絡模型。他們的研究發表在Elsevier的Neurocomputing期刊上，提出了三種卷積神經網絡（CNN）模型：Light-CNN，雙分支CNN和預先訓練的CNN。

「由於缺乏關於非正面的信息，野外的FER是計算機視覺中的一個難點，」進行這項研究的研究人員之一錢永生告訴TechXplore。「基於深度卷積神經網絡（CNN）的現有自然面部表情識別方法存在一些問題，包括過擬合，高計算複雜度，單一特徵和有限樣本。」

儘管許多研究人員已經開發了用於FER的CNN方法，但到目前為止，他們中很少有人試圖確定哪種類型的網絡最適合這一特定任務。意識到文獻中的這種差距，永勝和他的同事邵傑為FER開發了三種不同的CNN，並進行了一系列的評估，以確定他們的優勢和劣勢。

「我們的第一個模型是淺光CNN，它引入了一個深度可分離的模塊和剩餘的網絡模塊，通過改變卷積方法來減少網絡參數，」永勝說。「第二個是雙分支CNN，它結合了全局特徵和局部紋理特徵，試圖獲得更豐富的特徵並補償卷積旋轉不變性的缺乏。第三個預訓練的CNN使用在同一個分布式大型資料庫中訓練的權重重新培訓自己的小型資料庫，縮短培訓時間，提高識別率。「

研究人員對三種常用於FER的數據集進行了CNN模型的廣泛評估：公共CK +，多視圖BU-3DEF和FER2013數據集。儘管三種CNN模型在性能上存在差異，但它們都取得了可喜的成果，優於幾種最先進的FER方法。

「目前，這三種CNN型號是分開使用的，」永勝解釋說。「淺網絡更適合嵌入式硬體。預訓練的CNN可以獲得更好的效果，但需要預先訓練的權重。雙分支網絡不是很有效。當然，也可以嘗試使用這三種模式一起。」

在他們的評估中，研究人員觀察到，通過組合剩餘網絡模塊和深度可分離模塊，就像他們為第一個CNN模型所做的那樣，可以減少網絡參數。這最終可以解決計算硬體的一些缺點。此外，他們發現預先訓練的CNN 模型將大型資料庫轉移到自己的資料庫，因此可以用有限的樣本進行訓練。

永勝和傑提出的三個針對FER的CNN可以有許多應用，例如，幫助開發能夠識別他們正在與之交互的人的面部表情的機器人。研究人員現在計劃對他們的模型進行額外調整，以進一步提高他們的表現。

「在我們未來的工作中，我們將嘗試添加不同的傳統手動功能，加入雙分支CNN並改變融合模式，」永勝說。「我們還將使用跨資料庫培訓網絡參數來獲得更好的泛化能力，並採用更有效的深度傳輸學習方法。」

打開APP閱讀更多精彩內容

聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用，如有內容圖片侵權或者其他問題，請聯繫本站作侵刪。 侵權投訴

相關焦點

  • cnn.com網站被封
    cnn.com網站被封 美亞 00年10月19日 【原創】 作者： 中關村在線     CNN（美國有線電視新聞網）是全球最大也是最盈利的新聞機構之一，在全球有非常高的知名度
  • 深度學習概述:NLP vs CNN
    最初的人工智慧和深度學習算法比較簡單，就像我們所知的簡單感知器模型和單層神經網絡一樣。隨著時間的推移和更加專注的研究，我們已經擁有了具有多層結構的複雜神經網絡。一些公司在他們的軟體和服務中使用了LSTMs、GANs、變分自編碼器等算法。本文在以下部分列出了人工智慧領域當前最熱門的技術以及正在研究這些熱門技術的公司。看了這些創新之後，準備好大吃一驚吧。
  • 如何用CNN玩轉AlphaGo版的五子棋?
    從這點也可以修剪python多平臺和多擴展性，易於遷移的優點。所使用的的python庫有tkinter，其目的是用於規劃棋盤布局，實現下棋功能；SGF文件用於讀取棋譜並加載訓練模型；os庫用於讀取和存儲本地文件；TensorFlow庫用於建立CNN網絡模型以及訓練等事項。
  • 如何用 CNN 玩轉 AlphaGo 版的五子棋?
    從這點也可以看出python多平臺和多拓展性、易於遷移的優點。所使用的的python庫有tkinter，其目的是用來規劃棋盤布局，實現下棋功能；SGFfile用來讀取棋譜和加載訓練模型；os庫用來讀取和存儲本地文件；TensorFlow庫用來建立CNN網絡模型以及訓練等事項。
  • 9大主題卷積神經網絡(CNN)的PyTorch實現
    上文聚焦於源碼和論文，對於各種卷積神經網絡模型的實現，本文將介紹它們的 PyTorch 實現，非常有用！語義分割網絡5. 實例分割網絡6. 人臉檢測和識別網絡7. 人體姿態識別網絡8. 注意力機制網絡9. 人像分割網絡下面具體來看一下：1.
  • 圖像識別技術——卷積神經網絡CNN詳解
    前言卷積神經網絡不同於神經網絡，在圖片處理這方面有更好的表現。本文主要對神經網絡和卷積神經網絡做了簡要的對比，著重介紹了卷積神經網絡的層次基礎，同時也簡要介紹了卷積神經網絡參數更新方式和其優缺點，並結合具體實例對卷積神經網絡的工作方式做了介紹。
  • CNN|亞馬遜禁止外國種子在美國銷售
    這家零售巨頭的植物和種子產品政策於9月2日更新，禁止銷售從美國境外進口或由非美國居民銷售的種子。新政策既包括工廠，也包括工廠產品。亞馬遜在一份聲明中說：「今後，我們只允許在美國的賣家出售種子。」此後，幾個機構一直在調查這一情況，包括國土安全部海關和邊境保護局、聯邦調查局、美國郵政署和州農業部門。農業官員警告那些收到包裹的人不要種植它們，因為未知的種子可能是入侵物種，對環境造成破壞。
  • 人工智慧之卷積神經網絡(CNN)
    今天我們重點探討一下卷積神經網絡(CNN)算法。　　而在卷積神經網絡CNN中(下面右圖)，卷積層的神經元只與前一層的部分神經元節點相連，即它的神經元間的連接是非全連接的，且同一層中某些神經元之間的連接的權重w和偏移b是共享的，這樣大量地減少了需要訓練參數的數量。
  • 人工智慧TensorFlow(十三)讀懂CNN卷積神經網絡
    TensorFlow神經網絡　　那什麼是卷積神經網絡呢，這就要我們追溯一下人類識別圖像的原理　　人類的視覺原理如下：從原始信號攝入開始（瞳孔攝入像素 Pixels），接著做初步處理（大腦皮層某些細胞發現邊緣和方向
  • 大話卷積神經網絡CNN,小白也能看懂的深度學習算法教程,全程乾貨...
    如下圖所示：重點來了，什麼是卷積神經網絡？卷積網絡通過一系列方法，成功將數據量龐大的圖像識別問題不斷降維，最終使其能夠被訓練。4.2、卷積(Convolution)卷積神經網絡中的核心即為卷積運算，其相當於圖像處理中的濾波器運算。
  • 基於GWO-BP-CNN-ec的風電功率短期預測模型*
    本文提出了一種風電短期功率預測的深層神經網絡組合模型的算法。通過對採集西北某風電場的歷史觀測數據、數值天氣預報（Numerical Weather Prediction，NWP）數據進行建模、分析。再將數據進行離散，將採集的風電數據轉型成為卷積神經網絡的海量輸入。然後結合灰狼優化算法對搭建的卷積神經網絡模型的參數進行初始化優化。
  • 論文 | 基於CNN的目標檢測算法
    隨著CNN（卷積神經網絡）在ImageNet（圖像識別比賽）上大獲成功，本文作者考慮是否能將CNN在圖像識別比賽中的結果應用到目標檢測比賽 PASCAL VOC Challenge中呢？ 本文提出了基於CNN的目標檢測算法，這種算法對比之前提及的SIFT和HOG，在性能上有巨大的提高。
  • 我深度學習0基礎,還訓練出一個識別驗證碼模型!
    各種方法用盡，最後我還是決定去訓練自己的模型，但是，有一個問題---我深度學習可以說是0基礎，這可咋弄？想來想去，我只能靠著百度&谷歌兩位大佬來寫了。      首先給大家基本的思路，最開始我們需要的是你的破解目標---驗證碼，因為每一個網站的驗證碼是不同的，所以我們需要獲取你想要破解的驗證碼類型。
  • Siamese network 孿生神經網絡:一個簡單神奇的結構
    左右兩個神經網絡的權重一模一樣？答：是的，在代碼實現的時候，甚至可以是同一個網絡，不用實現另外一個，因為權值都一樣。對於siamese network，兩邊可以是lstm或者cnn，都可以。大家可能還有疑問：如果左右兩邊不共享權值，而是兩個不同的神經網絡，叫什麼呢？答：pseudo-siamese network，偽孿生神經網絡，如下圖所示。
  • 這事媒體炸了網友嗨了,CNN被川普一陽指懟了...
    而除了這份報告之外，又沒有任何能找到的實錘，證人，和其他證據.... 拿到這份報告的媒體....全各種默契的都像捂了個大炸彈一樣，而全都又不敢報.... 畢竟這事兒吧，萬一真的爆出來，萬一證明全是假的，會讓自己名聲掃地的 然而憋了這麼久之後...
  • CNN:五張圖表讀懂美國疫情現狀
    除了等待有效的疫苗和抗病毒療法，還需要採取更多的行動對疫情進行遏制。圖1：每日新增病例數如圖所示，今年9月美國從夏季疫情中逐漸復甦，每日病例持續下降，但十月新一輪疫情再次來襲。約翰霍普金斯大學數據顯示，上周四美國單日感染人數已超過15.3萬，七天平均新增感染數超過13.1萬，均超過歷史記錄。
  • 卷積神經網絡預測模型:提前24個月預測ENSO
    通過不斷探索，研究團隊選取相對成熟的卷積神經網絡進行ENSO 預測。近年來，卷積神經網絡在多個方向得到應用，在語音識別、人臉識別、通用物體識別等方面均有突破。在人工智慧領域，它是比較成熟的方法，並且有很多的開源程序和網站，可以直接使用。「卷積神經網絡的優點是可以處理大量數據。其實，這既是優點，也是缺點。
  • 使用Fastai中的學習率查找器和漸進式調整大小提高訓練效率
    當我第一次開始使用fastai時，我非常興奮地建立並訓練了一個深度學習模型，它可以在很短的時間內產生驚人的結果。 我將在本文的最後連結我以前的文章，在這些文章中我用fastai記錄了我的學習過程。
  • 用於視頻回歸任務的長期循環卷積網絡
    2、3d CNN這種方法背後的邏輯非常直觀，因為卷積中的第三維可以對應於時間域，從而可以直接從一個網絡學習時空特徵。3、長期循環卷積網絡(LRCN)2016年，一組作者提出了用於視覺識別和描述的端到端可訓練類架構。