基於深度學習的去噪方法簡介

2020-12-23 我是天邊飄過一朵雲

近十年以來,深度學習的快速發展對解決各類圖像問題提供了一種新的思路。對於普通的自然圖像而言,基於深度學習的方法在降噪方面的效果要比基於數學模型的去噪方法更好,同時也為高光譜遙感影像的去噪問題帶來了啟發。相比於傳統的人工神經網絡(Artificial Neural Network,ANN),深度神經網絡(Deep Neural Networks,DNN)隱藏層至少在2層以上,使其有了更強的抽象特徵提取能力。依據神經元的不同特點,可以把DNN分為多種不同的網絡,其中卷積神經網絡(Convolutional Neural Network,CNN)具有較強的圖像重建和圖像恢復能力。

用CNN對自然圖像進行去噪的方法,得到了與常規方法相差較小甚至更好的結果。利用DNN對圖像去噪將多層感知機(Multi Layer Perceptron,MLP)應用到圖像塊中。有人發展了一種對稱式解碼-編碼(encoding-decoding)全卷積殘差神經網絡模型,可針對圖像去噪與壓縮偽痕去除等多種低層視覺任務進行信息復原。可以引入殘差學習與批量歸一化優化處理,發展前饋降噪卷積神經網絡模型(DnCNN)重建殘差噪聲,進而去除圖像噪聲,得到了良好的結果。

隨著將深度學習方法引入到圖像去噪的研究不斷地發展,有學者開始提出應用於高光譜影像去噪的深度學習方法。如空間光譜深度卷積神經網絡(HSID-CNN),較早地使用了深度學習方法去除高光譜圖像的高斯噪聲。該方法通過HSID-CNN的不同網絡層,有效提取了高光譜影像中的各類特徵,對於去除不同水平的高斯噪聲都取得了當時最好的效果。之後,深高光譜先驗卷積神經網絡(Deep-HS-Prior),高光譜單模型去噪卷積神經網絡(HSI-SDeCNN),高光譜圖像恢復網絡(HSI-DeNet),這幾種方法效果不一,各有優缺點,但普遍對去除混合噪聲的能力欠佳。

為了去除混合噪聲,空間光譜梯度網絡(Spatial-Spectral Gradient Network,SSGN),該方法採用了空間光譜梯度學習策略,並且基於完全級聯的多尺度卷積網絡,SSGN可以使用同一模型同時處理不同的高光譜影像或光譜波段中不同類型的噪聲。

由於大多數方法是針對模擬數據進行學習處理,在真實情況的噪聲去除效果方面說服力不強因而有人提出了深空譜貝葉斯後驗方法(Deep Spatio-Spectral Bayesian Posterior,DSSBP)。這項工作與多數現有的高光譜影像去噪方法不同,以往的方法理想地假設不同波段中的噪聲表示是獨立同分布(independent & identically distributed,i.i.d.)的,而該文提出了一種針對非獨立同分布的新穎去噪方法。該文提出的框架共同為非獨立同分布噪聲嵌入到高光譜影像中,並在深時空光譜貝葉斯後驗(DSSBP)結構下將其去除。具體來說,對非獨立同分布噪聲採用模型驅動策略和數據驅動策略對噪聲進行估計、分配和去除。該方法混合了貝葉斯變分後驗和深度卷積神經網絡(Deep Convolutional Neural Network,DCNN),既繼承了傳統基於模型驅動的噪聲建模方法的可靠性,又繼承了基於數據驅動的參數學習方法的高效率,在真實噪聲的去除上證明了該工作的效果和可靠性。

總而言之,從組合空間光譜約束的角度來看,當前許多學者聯合利用空間和光譜信息來降低高光譜影像噪聲。加之混合噪聲也需要考慮在內進行去除,因而,目前採用深度學習模型的去噪研究還比較少。

對於模型方法的研究已經有較長的時間,從反問題視角出發,通過數學模型方法發展出了全變分、稀疏表示、低秩表達等正則化先驗方法及其結合方法。此外,將基於低秩和全變分理論進行結合,提出的一些高光譜遙感影像混合噪聲去除的方法,也取得了一定的成效。如全變分對於圖像邊緣提取有較好的效果,能較好地保持空間細節;低秩模型擅長處理高斯噪聲。但是,目前的方法仍有一定的問題,尤其是對影像中混合噪聲的去除能力有限,因而未來可以通過低秩和變分的結合來探求對混合噪聲的去除,實現更優的效果。

之後,隨著深度學習的崛起,許多較難的數學問題逐漸可以用深度學習方法解決,許多模型方法開始被深度學習方法超越甚至是替代,尤其是在圖像去噪方面。深度學習在圖像去噪上取得的成就也為高光譜遙感圖像的去噪帶來了啟發,針對高光譜遙感影像混合噪聲的去除問題,近年來研究者提出了數種深度學習方法,逐步提高了針對混合噪聲的去除效果。可以看出,雖然將深度學習方法應用在高光譜圖像去噪上並沒有幾年的歷史,但現有方法已有超越模型方法的發展勢頭。未來,對於解決混合噪聲的問題,模型驅動與數據驅動方法的結合將會是一個發展方向。

相關焦點

  • 科學家開發出一種基於深度學習的生物醫學圖像分割方法
    科學家開發出一種基於深度學習的生物醫學圖像分割方法 作者:小柯機器人 發布時間:2020/12/9 13:32:53 德國海德堡大學Klaus H.
  • 螞蟻金服提自監督表徵學習識別方法
    而一些基於深度學習的驗證碼識別算法在準確性上取得了顯著的提高,但這些方法的主要問題是需要大規模的帶有標籤的訓練樣本參與訓練,而這通常需要耗費大量的人工成本。因此,基於深度學習類方法主要需要解決的是訓練樣本量不足的問題。
  • 楊澤霖:發力人工智慧,做基於深度學習的視覺解決方案
    初次接觸深度學習算法 大三創立公司    2015年,當楊澤霖第一次接觸到深度學習算法時,就敏銳地認識到這將成為一種革命性技術,而圖像識別將成為深度學習算法的第一個發力點。經過多方調研,21歲的楊澤霖同幾個志同道合的夥伴,開始了他們的創業之路——將深度學習技術帶入工業圖像識別領域,服務傳統行業。
  • 深度學習如何「助攻」醫學影像?我們來聽聽學界大拿的解釋 | CNCC...
    圖像分割,校準和分類方法是視網膜圖像處理與分析的常用方法。基於「圖論方法的光學相干斷層掃描圖像分割」等研究方向和研究方法,陳新建的實驗室開發了基於 wxWidgets 構架的醫學影像處理與分析科研平臺— MIPA , 而 MIPA 的定位則是為醫學圖像處理中的配準,檢測,分割及可視化等提供完整的解決方案。
  • 資料|《 21 個項目玩轉深度學習——基於TensorFlow 的實踐詳解 》
    資料 |《 21 個項目玩轉深度學習——基於TensorFlow 的實踐詳解 》
  • 深度學習用於多模態語義學習簡述
    傳統的媒體計算研究方法主要從手工構建的底層特徵出發,利用機器學習方法填補異構鴻溝和語義鴻溝。與傳統方法不同深度學習是通過將無監督逐層預訓練與有監督微調(fine-tuning)有機結合,實現端到端方式的特徵學習。其基本動機是構建多層網絡來學習隱含在數據內部的關係,從而使學習得到的特徵具有更強的表達力和泛化能力。
  • 「深度學習」基於RNN實現特定庫的分子生成的遷移學習指南
    在本工作中,作者利用基於SMILES的GRU-RNN模型對18個小數據的藥化分子庫進行分子生成。通過對不同的遷移學習的配置實驗,作者提出了在基於RNN的分子生成任務中使用遷移學習的經驗性原則和建議。——背景——得益於大型資料庫(如ZINC,ChEMBL等)的出現和機器學習技術的蓬勃發展,深度學習技術已經被廣泛的應用到了藥物設計中,而分子生成正是其中主要的一類任務。
  • Java工程師入門深度學習(三):輕鬆上手Deep Java Library_科技...
    DJL(Deep Java Library )是亞馬遜在2019年宣布推出的開源Java深度學習開發包,它是在現有深度學習框架基礎上使用原生Java概念構建的開發庫。它為開發者提供了深度學習的最新創新和使用前沿硬體的能力,例如GPU、MKL等。簡單的API抽象並簡化了開發深度學習模型所涉及的複雜性,使得DJL更易於學習和應用。
  • 深度| 如何理解深度學習的優化?通過分析梯度下降的軌跡
    神經網絡優化本質上是非凸的,但簡單的基於梯度的方法似乎總是能解決這樣的問題。這一現象是深度學習的核心支柱之一,並且也是我們很多理論學家試圖揭示的謎題。這篇文章將總結一些試圖攻克這一問題的近期研究,最後還將討論我與 Sanjeev Arora、Noah Golowich 和 Wei Hu 合作的一篇新論文(arXiv:1810.02281)。
  • 計算機視覺方向簡介 | 多視角立體視覺MVS
    重建算法的劃分有四類:• 第一類方法首先在3D體積計算成本函數,然後從該體積提取表面進行操作,如體素著色算法及其變型,單次掃描體積計算成本並在掃描中重建所有低於成本閾值的體素;• 第二類技術通過減少或最小化成本函數來迭代演化一個表面,此類方法包括基於體素、水平度集和曲面網格等;• 第三類方法在圖像空間計算一組深度圖
  • uSens推出手部骨骼追蹤AR SDK,基於計算機視覺和深度學習
    文章相關引用及參考:reality.news通過計算機視覺和深度學習來追蹤整隻手的骨骼動態(映維網 2018年06月01日)去年這個時候,計算機視覺公司uSens推出了一款支持手部追蹤的立體攝像頭模型。現在,uSens只需通過智慧型手機攝像頭即可實現相同的功能。
  • 深度乾貨:詳解基於視覺+慣性傳感器的空間定位方法 | 雷鋒網公開課
    大家好,本次講座的主題是基於視覺+慣性傳感器的空間定位方法,前半部分是基於視覺的定位方法,以前和學校及研究機構做得比較多。後半部分介紹慣性傳感器在定位中的應用。這裡列舉了一些空間技術應用場景。雖然現在有些工具包是解SLAM問題的,但基本上都沒有融合IMU,或者說融合方法千差萬別。在VR需求下要求低延遲、相對位置準,對絕對值要求不高,方程都是需要改變的,對於改變的方程要求解的話就需要了解各種非線性議程組的求解方法,下面列了這些,常用的是最後這種。
  • 2019 到目前為止的深度學習研究進展匯總
    在剛剛結束的2019年的第一季度裡,深度學習技術在快速的向前發展。我經常會去查看相關研究人員的工作,以便了解這項技術的進展。這項工作讓我能夠了解到很多我不知道的事情,然後以此優化自己的工作時間安排。1.使用PyTorch Geometric快速開始圖形表徵學習本研究介紹了一個名為PyTorch Geometric的學習庫,它基於PyTorch構建,可以幫助我們直接使用圖形,點雲以及流形數據等不規則的數據結構。除了一般的圖形數據結構和處理方法外,它還包含了許多最近發表的關係學習和三維數據處理的方法。
  • 【泡泡圖靈智庫】通過觀察靜止的人去學習移動的深度(CVPR)
    本文提出了一種在單目攝像機和人在場景中自由移動的情況下,預測稠密深度的方法。現有的從單目視頻中恢復動態非剛體深度的方法對目標運動有很強的假設,只能恢復稀疏深度。本文採用數據驅動的方法,從一個新的數據集學習人類的深度:成千上萬的人們模仿人體模型的網際網路視頻,即以各種各樣的自然姿勢定格,手持攝像機在鏡頭前移動。由於人是靜止的,因此可以使用多視圖立體重建生成訓練數據。
  • 基於問題式學習的英語翻譯教學改革與實踐
    從實驗的統計數據來看,相較於傳統教學模式,基於問題式學習的教學模式在培養學生綜合翻譯能力方面有明顯優勢,能夠更好地激發學生的學習動機;從問卷調查的結果看,學生對問題式學習的教學模式滿意度較高。  關鍵詞:問題式學習;翻譯教學;教學改革  作者簡介:餘榮琦,男,安徽巢湖人,巢湖學院外國語學院副教授,碩士。
  • 「看不見」的圖深度學習=流形學習 2.0?
    編譯 | Mr Bear校對 | 青暮如今引領風潮的圖深度學習與曾經風靡一時的流形學習有何關係?請看本文娓娓道來。圖神經網絡利用關係的歸納偏置獲取以圖的形式存在的數據。然而,在很多情況下,我們並沒有現成的可用的圖。那麼,在這種情況下,是否還仍然還可以應用圖深度學習呢?
  • 一文探討可解釋深度學習技術在醫療圖像診斷中的應用
    但是,這些方法都沒有在醫學領域中得以廣泛推廣,除了計算成本高、訓練樣本數據缺乏等因素外,深度學習方法本身的黑盒特性是阻礙其應用的主要原因。儘管深度學習方法有著比較完備的數學統計原理,但對於給定任務的知識表徵學習尚缺乏明確解釋。深度學習的黑盒特性以及檢查黑盒模型行為工具的缺乏影響了其在眾多領域中的應用,比如醫學領域以及金融領域、自動駕駛領域等。
  • CNN 在基於弱監督學習的圖像分割中的應用
    最近基於深度學習的圖像分割技術一般依賴於卷積神經網絡 CNN 的訓練,訓練過程中需要非常大量的標記圖像,即一般要求訓練圖像中都要有精確的分割結果。香港中文大學的 Di Lin 提出了一個基於 Scribble 標記的弱監督學習方法。 Scribble 是一個很方便使用的標記方法,因此被用得比較廣泛。如下圖,只需要畫五條線就能完成對一副圖像的標記工作。
  • |深度學習探索可編程RNA開關
    本文研究表明深度學習方法可用於RNA合成生物學中的功能預測。1背景具有特定生物學功能的工程RNA分子在合成生物學中發揮著重要作用,特別是作為小分子、蛋白質和核酸的可編程反應元件;例如作為核糖開關、核糖調節因子和核酶,且在體內和體外都可應用。