深度學習之圖像超分辨重建技術

2021-02-18 圖像處理知識庫

圖9 RAISR在2x上採樣率時與SRCNN， A+等超分辨算法的技術指標對比

左圖為PSNR-runtime指標，右圖為SSIM-runtime指標【4】

 

結語


超分辨重建在醫學影像處理、壓縮圖像增強等方面具有廣闊的應用前景，近年來一直是深度學習研究的熱門領域。卷積和殘差構件的改進、不同種類perceptual loss的進一步分析、對抗生成網絡用於超分辨重建的探索等都是值得關注的方向。

參考文獻


[1] Dong, Chao, et al. "Image Super-Resolution Using Deep Convolutional Networks." IEEE Transactions on Pattern Analysis & Machine Intelligence 38.2(2016):295-307.

[2] Shi, Wenzhe, et al. "Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network." (2016):1874-1883.

[3] Johnson, Justin, A. Alahi, and F. F. Li. "Perceptual Losses for Real-Time Style Transfer and Super-Resolution." (2016):694-711. 

[4] Romano, Yaniv, J. Isidoro, and P. Milanfar. "RAISR: Rapid and Accurate Image Super Resolution." IEEE Transactions on Computational Imaging 3.1(2016):110-125.

[5] Conkey, Donald B., et al. "Super-resolution photoacoustic imaging through a scattering wall." Nature Communications 6(2015):7902.

相關焦點

  • 追光 | 深度學習助力超分辨顯微成像 (Nature Methods)
    近年來，基於卷積神經網絡（Convolutional Neural Network，CNN）的深度學習算法在單張自然圖像超分辨（Single Image Super Resolution，SISR）領域取得了巨大的進展，可將輸入的低解析度模糊圖像上採樣為細節清晰的高解析度圖像。
  • 我國科研團隊開發出深度學習超分辨顯微成像方法
    該研究綜合測評了現有超分辨卷積神經網絡模型在顯微圖像超分辨任務上的表現，提出傅立葉域注意力卷積神經網絡（DFCAN，Deep Fourier Channel Attention Network）和傅立葉域注意力生成對抗網絡（DFGAN，Deep Fourier Generative Adversarial Network）模型，在不同成像條件下實現最優的顯微圖像超分辨預測和結構光超分辨重建效果，並觀測到線粒體內脊
  • 深度重建:基於深度學習的圖像重建
    本文主要介紹了我們課題組的深度重建工作。從結果可以看出，基於深度學習的CT圖像重建方法在圖像質量上要優於傳統的重建算法。因此，在未來，深度學習和醫學圖像重建的聯繫將會越來越緊密。在今後的工作中，我們也會致力於推進深度學習和CT圖像領域的結合，引入深度學習發展的最新技術，將基於深度學習的方法引入臨床應用上，並且嘗試解決其他的醫學圖像問題，加快醫學圖像領域的發展進程。
  • Nat Methods | 李棟/戴瓊海團隊開發深度學習超分辨顯微成像方法
    近年來，基於卷積神經網絡（Convolutional Neural Network，CNN）的深度學習算法在單張自然圖像超分辨（Single Image Super Resolution，SISR）領域取得了巨大的進展，可將輸入的低解析度模糊圖像上採樣為細節清晰的高解析度圖像。
  • 背照式sCMOS:突破單分子定位超分辨成像技術壁壘
    在超分辨顯微成像技術中，單分子定位顯微技術（SMLM）自誕生之日起就受到廣泛關注，PALM還在2014 年獲得了諾貝爾化學獎。與其他超分辨技術相比， SMLM 具有最高的空間解析度(～20 nm)，但是由於圖像重建需要採集大量的原始圖像，導致 SMLM 的時間解析度較低，限制了其在活細胞成像中的應用。
  • 深度學習在圖像超解析度重建中的應用
    超解析度技術（Super-Resolution）是指從觀測到的低解析度圖像重建出相應的高解析度圖像，在監控設備、衛星圖像和醫學影像等領域都有重要的應用價值
  • 基於深度學習的圖像超解析度技術
    SR是指通過軟體或硬體的方法，從觀測到的低解析度圖像重建出相應的高解析度圖像（說白了就是提高解析度），在監控設備、衛星圖像遙感、數字高清、顯微成像、視頻編碼通信、視頻復原和醫學影像等領域都有重要的應用價值。近年來，目睹了使用深度學習技術的圖像超解析度的顯著進步。
  • 深度學習在圖像處理中的應用趨勢及常見技巧
    目前為止，圖像處理已成為深度學習中重要的研究領域，幾乎所有的深度學習框架都支持圖像處理工具。當前深度學習在圖像處理領域的應用可分為三方面:圖像處理(基本圖像變換)、圖像識別(以神經網絡為主流的圖像特徵提取)和圖像生成(以神經風格遷移為代表)。本文第一部分介紹深度學習中圖像處理的常用技巧，第二部分淺析深度學習中圖像處理的主流應用，最後對本文內容進行簡要總結。
  • 基於深度學習的AFM圖像解析度增強方法
    該方法利用深度卷積神經網絡，實現對單張AFM低解析度形貌圖的細節增強。深度卷積神經網絡是一種基於大量樣本的機器學習方法，訓練後的神經網絡可以僅利用單張圖片實現解析度的提高。文中測試了該方法對單種/多種材料的AFM形貌圖的適用性，結果表明，該方法很有希望作為一種普適方法應用於AFM圖像後處理之中。
  • 基於深度學習的超解析度圖像技術一覽
    關注 極市平臺 公眾號 ，回復 加群，立刻申請入群~作者：黃浴，奇點汽車美研中心首席科學家兼總裁https://zhuanlan.zhihu.com/p/76820438本文已獲作者授權，未經允許，不得二次轉載近年來，使用深度學習技術的圖像超解析度（
  • 多源空譜遙感圖像質量改善問題之討論
    然而，由於光學系統的缺陷、成像環境不理想、傳輸數據丟失以及存儲介質的瑕疵，實際所獲取的圖像往往是場景理想二維映射圖像的退化形式。圖像復原是從退化或降質圖像版本恢復（估計）清晰圖像的處理技術。一般而言，所有非理想或者欠定條件下的圖像獲取過程都會獲取不完全、含噪聲或模糊的觀測數據，由觀測數據恢復完全清晰的圖像都需要應用圖像復原技術，以去除圖像模糊和噪聲，改善圖像質量。2.
  • 讀書總結|深度學習圖像識別技術
    深度學習圖像識別技術——基於TenseorFlow Object Detection API和Open VINO工具套件
  • 在圖像處理中應用深度學習技術
    利用卷積神經網絡(Convolutional Neural Network, CNN) 等深層神經網絡的解決方案，可以逐漸取代基於算法說明的傳統圖像處理工作。儘管圖像預處理、後期處理和信號處理仍採用現有方法進行，但在圖像分類應用中（缺陷、對象以及特徵分類），深度學習變得愈加重要。利用深度學習處理某些任務更簡單，效果更好，甚至某些任務只能用深度學習方法來解決。
  • 專家解讀丨莊小威組在Science總結超分辨顯微成像技術
    而(s)SIM則是利用了包含樣本的結構信息的幹涉圖案「摩爾條紋」照明方式，加上後期的圖像重構，達到超分辨成像的目的，此外，通過引入非線性光學，NL-SIM可以達到更高的解析度。，傳統光學顯微鏡限於解析度，需要超分辨成像技術來揭示其中的精細結構。
  • 使用深度學習來實現圖像超解析度
    SR是指通過軟體或硬體的方法，從觀測到的低解析度圖像重建出相應的高解析度圖像（說白了就是提高解析度），在監控設備、衛星圖像遙感、數字高清、顯微成像、視頻編碼通信、視頻復原和醫學影像等領域都有重要的應用價值。近年來，目睹了使用深度學習技術的圖像超解析度的顯著進步。
  • 計算機視覺基於圖像的三維重建入門介紹
    計算機視覺從技術角度目前分為兩大類：一類是基於傳統幾何的計算機視覺，另一類是基於深度學習的計算機視覺。
  • 一文探討可解釋深度學習技術在醫療圖像診斷中的應用
    原創 Synced 機器之心機器之心分析師網絡作者：仵冀穎編輯：Joni本文依託於綜述性文章，首先回顧了可解釋性方法的主要分類以及可解釋深度學習在醫療圖像診斷領域中應用的主要方法。
  • 資料| 深度學習技術圖像處理入門
    資料 | 深度學習技術圖像處理入門
  • 深度| 2017 CV 技術報告之圖像分割、超解析度和動作識別
    該材料共包括四大部分，在本文中機器之心對第二部分做了編譯介紹，第一部分和第四部分詳見《計算機視覺這一年：這是最全的一份 CV 技術報告》和《計算機視覺這一年：2017 CV 技術報告 Plus 之卷積架構、數據集與新趨勢》。圖像分割計算機視覺任務的核心是分割（Segmentation）處理，它將整幅圖片分割成可被標記和分類的像素組。
  • CT原理之圖像重建算法的辨別
    CT原理4Image Reconstruction Algrithm圖像重建算法的辨別           在CT原理系列的第2期給大家介紹了CT原理之圖像重建算法，並通過最簡單2x2矩陣為大家演示了反投影重建法與迭代求最優解重建法的區別，為了讓大家充分理解二者的區別，在第3期又做個有獎競猜來幫助大家進一步掌握和辨別CT圖像重建算法