三種卷積神經網絡模型:Light-CNN,雙分支CNN和預先訓練的CNN

2020-11-29 電子發燒友

三種卷積神經網絡模型：Light-CNN，雙分支CNN和預先訓練的CNN

發表於 2020-04-17 10:55:01

上海電力大學的兩位研究人員最近開發並評估了野生人臉表情識別（FER）的新神經網絡模型。他們的研究發表在Elsevier的Neurocomputing期刊上，提出了三種卷積神經網絡（CNN）模型：Light-CNN，雙分支CNN和預先訓練的CNN。

「由於缺乏關於非正面的信息，野外的FER是計算機視覺中的一個難點，」進行這項研究的研究人員之一錢永生告訴TechXplore。「基於深度卷積神經網絡（CNN）的現有自然面部表情識別方法存在一些問題，包括過擬合，高計算複雜度，單一特徵和有限樣本。」

儘管許多研究人員已經開發了用於FER的CNN方法，但到目前為止，他們中很少有人試圖確定哪種類型的網絡最適合這一特定任務。意識到文獻中的這種差距，永勝和他的同事邵傑為FER開發了三種不同的CNN，並進行了一系列的評估，以確定他們的優勢和劣勢。

「我們的第一個模型是淺光CNN，它引入了一個深度可分離的模塊和剩餘的網絡模塊，通過改變卷積方法來減少網絡參數，」永勝說。「第二個是雙分支CNN，它結合了全局特徵和局部紋理特徵，試圖獲得更豐富的特徵並補償卷積旋轉不變性的缺乏。第三個預訓練的CNN使用在同一個分布式大型資料庫中訓練的權重重新培訓自己的小型資料庫，縮短培訓時間，提高識別率。「

研究人員對三種常用於FER的數據集進行了CNN模型的廣泛評估：公共CK +，多視圖BU-3DEF和FER2013數據集。儘管三種CNN模型在性能上存在差異，但它們都取得了可喜的成果，優於幾種最先進的FER方法。

「目前，這三種CNN型號是分開使用的，」永勝解釋說。「淺網絡更適合嵌入式硬體。預訓練的CNN可以獲得更好的效果，但需要預先訓練的權重。雙分支網絡不是很有效。當然，也可以嘗試使用這三種模式一起。」

在他們的評估中，研究人員觀察到，通過組合剩餘網絡模塊和深度可分離模塊，就像他們為第一個CNN模型所做的那樣，可以減少網絡參數。這最終可以解決計算硬體的一些缺點。此外，他們發現預先訓練的CNN 模型將大型資料庫轉移到自己的資料庫，因此可以用有限的樣本進行訓練。

永勝和傑提出的三個針對FER的CNN可以有許多應用，例如，幫助開發能夠識別他們正在與之交互的人的面部表情的機器人。研究人員現在計劃對他們的模型進行額外調整，以進一步提高他們的表現。

「在我們未來的工作中，我們將嘗試添加不同的傳統手動功能，加入雙分支CNN並改變融合模式，」永勝說。「我們還將使用跨資料庫培訓網絡參數來獲得更好的泛化能力，並採用更有效的深度傳輸學習方法。」

打開APP閱讀更多精彩內容

聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用，如有內容圖片侵權或者其他問題，請聯繫本站作侵刪。 侵權投訴

相關焦點

  • 在多目標識別方面,maskr-cnn已經取得了一些進展
    一些需要和矽材料打交道的領域，如計算機視覺、硬體加工及產品開發等，越來越多人去學習微電子技術。根據美國貝爾實驗室(belllaboratory)2018年5月19日最新出版的《新創新指南》(newentrepreneursguide)，人工智慧能力的發展與突破，有望提高生產性能和生產效率。
  • 經典目標檢測方法Faster R-CNN和Mask R-CNN|基於PaddlePaddle深度...
    R-CNN　　區域卷積神經網絡 (Regions with CNN features) 使用深度模型來解決目標檢測。277*277);　　特徵抽取：選取一個預先訓練好的卷積神經網絡，去掉最後的輸出層來作為特徵抽取模塊;　　SVM(類別預測)：將每一個提議區域提出的 CNN 特徵輸入到支持向量機 (SVM) 來進行物體類別分類。
  • 入門| CNN也能用於NLP任務,一文簡述文本分類任務的7個模型
    參與：李詩萌、路 本文介紹了用於文本分類任務的 7 個模型，包括傳統的詞袋模型、循環神經網絡，也有常用於計算機視覺任務的卷積神經網絡，以及 RNN + CNN那時我建立了一個簡單的模型：基於 keras 訓練的兩層前饋神經網絡。用組成推文的詞嵌入的加權平均值作為文檔向量來表示輸入推文。 我用的嵌入是用 gensim 基於語料庫從頭訓練出來的 word2vec 模型。該是一個二分類任務，準確率能達到 79%。
  • PyTorch實現TPU版本CNN模型
    PyTorch對雲TPU的支持是通過與XLA（加速線性代數）的集成實現的，XLA是一種用於線性代數的編譯器，可以針對多種類型的硬體，包括CPU、GPU和TPU。本文演示了如何使用PyTorch和TPU實現深度學習模型，以加快訓練過程。在這裡，我們使用PyTorch定義了一個卷積神經網絡（CNN）模型，並在PyTorch/XLA環境中對該模型進行了訓練。
  • Mask R-CNN官方實現「又」來了!基於PyTorch,訓練速度是原來2倍
    另外，商湯和香港中文大學的多媒體實驗室也開源了一個類似項目：mmdetection。它支持Faster R-CNN、Mask R-CNN、RetinaNet等等，相比Facebook的Detecron有5%到20%的性能提升。這個模型還在2018年的COCO Detection競賽中拿下了冠軍。
  • 從R-CNN到YOLO,一文帶你了解目標檢測模型(附論文下載)
    它是將CNN用於對象檢測的起源，能夠基於豐富的特徵層次結構進行目標精確檢測和語義分割來源。如何確定這些邊界框的大小和位置呢？R-CNN網絡是這樣做的：在圖像中提出了多個邊框，並判斷其中的任何一個是否對應著一個具體對象。
  • cnn.com網站被封
    cnn.com網站被封 美亞 00年10月19日 【原創】 作者： 中關村在線     CNN（美國有線電視新聞網）是全球最大也是最盈利的新聞機構之一，在全球有非常高的知名度
  • 卷積神經網絡 物體檢測 Faster-RCNN
    proposal外，其他的部分都可以end to end了，fast rcnn不算region proposal是0.3s每張圖片，而region proposal最快也要0.2s，這就是本篇要解決的問題了，如何提升region proposal的效率，按照之前的套路肯定是加入到一個網絡中，是的，就是RPN region proposal network；RPN
  • .| 深度學習理論與實戰:提高篇(14)——​Mask R-CNN代碼簡介
    > model = modellib.MaskRCNN(mode="training", config=config, model_dir=MODEL_DIR) 因為我們的訓練數據不多，因此使用預訓練的模型進行Transfer Learning會效果更好。
  • 小白學CNN以及Keras的速成
    model.fit(x_train,y_train,epochs=5,batch_size=32)這個就像scikit-learn一樣訓練模型。二、開始學習CNN在理解CNN之前，我們有必要先理解一下什麼是神經網絡，這樣才能開始了解更高級的卷積神經網絡。要學習神經網絡當然有很多途徑，網上不少的大牛寫了很多攻略，有的推崇從理論到工程完成深度學習，有的希望從工程出發發現問題，解決問題。
  • 一位中國博士把整個CNN都給可視化了,可交互有細節,每次卷積ReLU...
    每一個對AI抱有憧憬的小白，在開始的時候都會遇到CNN（卷積神經網絡）這個詞。但每次，當小白們想了解CNN到底是怎麼回事，為什麼就能聰明的識別人臉、聽辨聲音的時候，就懵了，只好理解為玄學：好吧，維基百科解決不了的問題，有人給解決了。
  • 深度學習概述:NLP vs CNN
    最初的人工智慧和深度學習算法比較簡單，就像我們所知的簡單感知器模型和單層神經網絡一樣。隨著時間的推移和更加專注的研究，我們已經擁有了具有多層結構的複雜神經網絡。一些公司在他們的軟體和服務中使用了LSTMs、GANs、變分自編碼器等算法。本文在以下部分列出了人工智慧領域當前最熱門的技術以及正在研究這些熱門技術的公司。
  • CNN vs RNN vs ANN——3種神經網絡分析模型,你pick誰?
    深度學習中不同類型的神經網絡本文將重點討論3種重要類型的神經網絡，它們構成了深度學習中大多數預訓練模型的基礎：多層感知器Multi-Layer Perceptron (MLP) / 人工神經網絡Artificial Neural Networks (ANN)卷積神經網絡Convolution Neural Networks (CNN)循環神經網絡Recurrent
  • 卷積神經網絡(CNN)新手指南
    以類似的方式計算機能夠進行圖像分類任務，通過尋找低層次的特徵如邊緣和曲線，然後運用一系列的卷積層建立一個更抽象的概念。這是卷積神經網絡應用的一個總體概述，接下來我們來探討下細節。生物聯繫首先要稍微普及下一點背景知識，當你第一次聽到卷積神經網絡這個詞時，你也許會想這是是不與神經科學或者生物學有關？恭喜你，猜對了一部分。卷
  • 卷積神經網絡(CNN)介紹與實踐
    - 來源：http：//cs231n.github.io/classification/為了「教會」一種算法如何識別圖像中的對象，我們使用特定類型的人工神經網絡：卷積神經網絡（CNN）。他們的名字源於網絡中最重要的一個操作：卷積。卷積神經網絡受到大腦的啟發。
  • 經典解讀 | Cascade R-CNN詳細解讀
    文章提出的cascade結構的效果是驚豔的，幾乎對於任意的R-CNN（Faster rcnn，FPN，R-FCN等）都可以帶來2到4個點的AP提升！！！而且實現十分簡單，已使用Pytorch在Pascal VOC上復現論文。此外，本篇文章的實驗講解部分對於理解R-CNN網絡有很大的幫助，建議詳細閱讀。   0. 本篇解析的內容結構   1. 簡單回顧R-CNN結構
  • 自注意力可以替代CNN,能表達任何卷積濾波層
    卷積層卷積神經網絡由多個卷積層和子採樣層組成。每個卷積層可以學習大小為K x K的卷積濾波器，輸入和輸出的維度分別是Din和Dout。用一個4D核張量(維度為K x K x Din x Dout)和一個偏置向量b(維度為Dout)來對層進行參數化。下面這張動圖便展示了如何計算q的輸出值。
  • CNN 10
    Without the air bubbles to make it look white, the ice reflects the blue part of light more easily.So, it`s like the blue light is locked up in prism.
  • 使用TensorFlow構建卷積神經網絡CNN
    卷積神經網絡（CNN）是計算機視覺應用背後的架構。本文將闡述CNN和計算機視覺的基礎，例如卷積運算，填充，跨步卷積和池化層。然後，我們將使用TensorFlow構建用於圖像識別的CNN。理解卷積該卷積運算是卷積神經網絡的積木。現在，在計算機視覺領域，圖像可以表示為RGB值的矩陣。這個概念實際上是在之前的文章中介紹。要完成卷積操作，我們需要一個圖像和一個過濾器。
  • CNN卷積神經網絡(超詳解析)
    1、神經網絡首先了解神經網絡，大家移步這倆篇博客，一篇為純理論，一篇為實戰加理論。機器學習之神經網絡學習及其模型入門講解：使用numpy實現簡單的神經網絡（BP算法）2、卷積神經網絡之層級結構cs231n課程裡給出了卷積神經網絡各個層級結構，如下圖上圖中CNN要做的事情是：給定一張圖片，是車還是馬未知，是什麼車也未知，現在需要模型判斷這張圖片裡具體是一個什麼東西，總之輸出一個結果：如果是車那是什麼車所以最左邊是數據輸入層