圖像的本徵分解模型簡介

2021-01-16 我是天邊飄過一朵雲

公元10世紀,光學領域著名學者埃及物理學家阿爾哈曾(Alhazen)曾指出:「人的眼睛能夠感知到的只是光的強度和顏色,其他信息都是通過洞察、推理、識別等方法來獲取的」(Nothing of what is visible,apart from light and color,can be perceived by pure sensation,but only by discernment,inference,and recognition,addition to sensation)。換言之,早在公元10世紀或更早以前,人類已意識到光的強度(由成像場景的亮度變化決定)和顏色(由物質的光譜反射特性決定)是人眼所能感知到的物體的本徵屬性。1978年,基於阿爾哈曾的觀察,「本徵分解」的概念被首次提出。

反射率圖反映了物體在無色均勻光照下的顏色和表面材質屬性,即物體的本徵反射屬性。而亮度圖則由場景中的各種光照和物體的幾何形狀構成,反映了場景中各個位置的光照信息。計算機視覺和圖像處理中的很多任務都會受到物體顏色、紋理和光照變化的影響,因此圖像本徵分解具有十分重要的研究意義。

本徵分解問題,即從原始圖像去估計反射率圖與亮度圖的問題,是非常具有挑戰性的。通常,現有本徵分解模型會假設亮度圖是單波段的灰度圖像,而反射率圖與原始圖像均是包含了紅、綠、藍三個波段的彩色圖像。換言之,不同的反射率圖搭配不同的亮度圖,均可能產生一幅完全一樣的原始圖像。因此,現有圖像本徵分解方法旨在設計合理的約束,如局部先驗、非局部空間連續性先驗、稀疏先驗、深度先驗等,儘可能真實地恢復出場景中與人眼視覺感知相符的反射率圖和亮度圖。

「純淨」光譜特徵提取:

1. 高光譜圖像本徵分解模型在傳統圖像本徵分解模型中,亮度圖被認為是幅固定的灰度圖像。換言之,圖像在不同波長上的亮度成分被認為是固定的。與可見光圖像的本徵分解不同,高光譜遙感圖像往往是通過被動的光學成像方式採集得到,獲取的信息主要來自地面目標對太陽光的反射信息。高光譜圖像的亮度圖會受到太陽光譜的影響,在不同波長上存在差異。

2. 基於本徵分解的高光譜圖像光譜特徵提取地物光譜反射率反映了地物的材質,然而受到傳感器成像機理、拍攝環境以及氣候條件等因素的影響,遙感高光譜圖像中的光譜反射值往往並不純淨,甚至可能包含嚴重的失真與畸變。傳統的光譜特徵提取方法(如波段選擇法、主成分分析法等)均未考慮到場景光照、噪聲等因素對地物光譜的影響。通過高光譜本徵分解,可以有效地將光照、噪聲等因素導致的地物光譜變化作為亮度圖從原始圖像中分離出來,剩下的光譜反射率圖實際上就度圖是地物純淨的光譜反射率特徵,有望實現地物純淨光譜的準確表徵。

針對這一問題,2015年就有學者首次提出了一種基於本徵圖像分解的高光譜圖像特徵提取算法。該算法將高光譜影像分解為亮度特徵與純淨的光譜反射特徵,並將純淨的光譜反射特徵用於地物分類。結果表明,高光譜圖像的本徵分能夠有效消除多種不利因素(如場景光照、陰影以及成像噪聲等)對影像光譜反射值的影響,提供了更高的地物分類精度。

原始高光譜圖像是採用可見光與紅外機載式光譜成像儀器(AVIRIS)獲取的美國印第安納州西北部農作物場景的高光譜圖像。圖像中包含了16種不同類型的農作物。通過高光譜圖像本徵分解,可以有效去除受場景光照和地物三維形狀影響的亮度成分,提取地物純淨的光譜反射率特徵。算法對原始高光譜圖像和光譜反射率特徵進行二維可視化,並將屬於不同類別地物標籤的特徵標註為不同顏色。可以看出,相比於原始高光譜圖像,高光譜圖像的本徵光譜反射率成分具備更高的可分性,能夠更好地區分不同地物。

為了更準確地估計高光譜圖像的純淨光譜反射成分,南京大學構建了針對高光譜圖像本徵分解的公用數據集,提供可參考的高光譜反射率圖與亮度圖,為驗證不同類型高光譜圖像本徵分解方法的性能提供了支撐。哈爾濱工業大學分別於2017年和2019年提出了基於超像素的高光譜圖像本徵光譜特徵提取方法和結合反射與亮度先驗的高光譜圖像本徵分解模型。研究人員發現,在高光譜圖像本徵分解模型中引入適用於高光譜圖像的先驗約束,能夠獲得更優的本徵分解性能。此外,高光譜圖像本徵分解模型能夠有效去除光照不均、噪聲等因素導致的地物光譜變化,獲取的本徵光譜反射率圖與原始高光譜圖像相比,辨識度更高。因此,與特徵提取前相比,地物的識別精度得到了顯著提升。

相關焦點

  • 遙感應用中的本徵光譜感知簡介
    儘管現有高光譜本徵分解方法能較好地抑制圖像噪聲、光照變化等因素對地物光譜的影響,但考慮到不同外界幹擾因素對高光譜圖像地物光譜的影響機理不同,現有的本徵光譜特徵提取方法無論是在模型還是在方法上仍存在諸多局限性。地物純淨光譜特徵的提取仍面臨如下挑戰性難題。1.
  • 寧波材料所非晶合金本徵韌脆性機理研究獲進展
    因此,深入理解非晶合金本徵韌脆性的根源,並以此為基礎開發兼具有高強高韌性能的塊體非晶合金就具有重要的意義。針對這一關鍵問題,目前人們主要還是通過材料的泊松比等物理量來對非晶合金的本徵韌脆性進行描述。即泊松比值大於0.31-0.32這一臨界值的CuZr基、Pd基、Pt基等非晶合金表現為相對韌性,而低於這一臨界值的Mg基、Fe基等非晶合金表現為明顯的脆性。
  • 基於單目圖像的深度估計算法,大幅度提升基於單目圖像深度估計的精度
    簡介 基於單目圖像的深度估計算法具有方便部署、計算成本低等優點,受到了學術界和工業界日益增長的關注。現有的單目深度估計方法通常利用單一視角的圖像數據作為輸入,直接預測圖像中每個像素對應的深度值,這種解決方案導致現有方法通常需要大量的深度標註數據,而這類數據通常需要較高的採集成本。
  • 溫曉東課題組:​「DFT表徵」鐵基FTS活性相的本徵催化作用
    該團隊以基於反應條件下熱力學上穩定的碳化鐵活性相顆粒模型,通過集成每個表面上探針反應的熱力學與動力學信息,分析得到能夠代表顆粒催化性質的信息。採用這種策略可以評估每一個暴露晶面對於顆粒本徵催化性質的貢獻,從而進一步縮小該領域的理論研究結果與當前實驗理解之間的差距。
  • 模擬電子技術(一):本徵半導體
    關於模擬電子技術,我們首先介紹一下半導體的一些基礎知識,本篇文章主要介紹本徵半導體。我們知道材料如果按照導電性,可以分成導體,半導體和絕緣體三種。導體很容易傳導電流;而絕緣體,因為裡面幾乎沒有自由電子參與電流傳導,所以導電能力是比較差的;半導體則是介於導體和絕緣體之間。
  • 谷歌開源語義圖像分割模型:該領域當前最優模型
    剛剛,谷歌開源了語義圖像分割模型 DeepLab-v3+,DeepLab-v3+結合了空間金字塔池化模塊和編碼器-解碼器結構的優勢,是自三年前的 DeepLab 以來的最新、性能最優的版本。GitHub 地址:https://github.com/tensorflow/models/tree/master/research/deeplab語義圖像分割任務是指將語義標籤(例如「道路」、「天空」、「人」、「狗」)分配給圖像中的每一個像素,這種技術有很多新應用,例如,Pixel 2 和 Pixel 2 XL 智慧型手機中肖像模式的合成淺景深效應,以及行動裝置的實時語義分割等
  • 今日Paper|可視問答模型;神經風格差異轉移;圖像壓縮系統;K-SVD...
    目錄準確性與複雜性:可視問答模型中的一種權衡神經風格差異轉移及其在字體生成中的應用基於GAN的可調整的圖像壓縮系統基於原始-對偶活動集算法的K-SVD圖像去噪神經閱讀理解與超越準確性與複雜性:可視問答模型中的一種權衡論文名稱:Accuracy vs.
  • 基本粒子和相互作用的標準模型簡介
    而作為理論的簡介,論文並不是想做一個高能物理發展歷史的綜述,所以主要內容是討論怎麼理解現在已經成為高能物理理論基礎的粒子物理標準模型。論文做以下安排,第1部分介紹物質的基本組分;第2部分介紹基本相互作用;第3部分講解理解物質基元和相互作用的理論;第4部分講解標準模型的具體內容;最後我們給出總結以及標準模型所存在的問題。
  • 使用TensorFlow創建能夠圖像重建的自編碼器模型
    所以,簡而言之,我們的大腦能夠通過知道圖像周圍的環境來預測圖像(它將適合放入槽中)。在本教程中,我們的模型將執行類似的任務。它將學習圖像的上下文,然後利用學習到的上下文預測圖像的一部分(缺失的部分)。在這篇文章之前,我們先看一下代碼實現我建議您在另一個選項卡中打開這個筆記本(TF實現),這樣您就可以直觀地了解發生了什麼。
  • 說什麼信號分解,不過是點動成線!
    01 信號處理簡介信號處理指對信號進行加工或變換,其目的是為了消除原始信號中的冗餘成分、濾除混雜的噪聲或幹擾以及將信號分解成易於分析和識別的形式便於信號的二次開發。分析可知,經微分運算後的信號會突出顯示其突變部分,即:如果原始信號代表一幅黑白圖像,那麼經微分運算後的圖像將使其本身的邊緣輪廓更加突出,這是由於圖像邊緣輪廓處的像素突變現象引起的。同理,對單位階躍信號進行微分運算,其運算過程如圖3所示,得到的單位衝激信號如圖4所示:注意,由圖3易知單位階躍信號的微分結果為t=0處的導數值等於正無窮大且其餘處導數值為0。
  • 使用卷積神經網絡,構建圖像分類模型檢測肺炎
    來源 | DeepHub IMBA作者 | Eunjoo Byeon在本篇文章中,我將概述如何使用卷積神經網絡構建可靠的圖像分類模型,以便從胸部x光圖像中檢測肺炎的存在。肺炎是一種常見的感染,它使肺部的氣囊發炎,引起呼吸困難和發燒等症狀。
  • Facebook技術分享:如何在PyTorch中訓練圖像分類模型
    下面我們將講解如何在PyTorch中訓練圖像分類模型。 這是一個數字識別任務,其中我們必須將手寫數字的圖像分類為0到9這10個類別之一。 在MNIST數據集中,我們具有從各種掃描的文檔中獲取的數字圖像,其尺寸規格化並居中。隨後,每個圖像都是28 x 28像素的正方形(總計784像素)。數據集的標準拆分用於評估和比較模型,其中60,000張圖像用於訓練模型,而單獨的10,000張圖像集用於測試模型。
  • OpenAI 發布兩個 GPT-3 模型,圖像匹配文本 CLIP 和 文本生成圖像...
    此前,GPT-3 的輸出可能會看上去與實際脫節,讓人感覺莫名其妙,這是因為它確實不知道自己在說什麼。因此,OpenAI 和其它地方的研究者試圖將圖像與文本結合起來,讓 AI 更好地理解人類日常事物的概念。CLIP 和 DALL·E 試圖從兩個不同的方向解決這一問題。
  • 為什麼要將半導體變成導電性很差的本徵半導體
    因為製造半導體器件和集成電路時,最重要的是要很好地控制摻入的雜質的種類和數量(濃度),只有純淨的本徵半導體,才可能按設計者的需要製造出需要的器件。 本徵半導體完全不含雜質且無晶格缺陷的純淨半導體稱為本徵半導體。
  • 計算機視覺方向簡介 | 多視角立體視覺MVS
    與雙目立體視覺法的分類思路相似,根據區分主要算法的六個基本屬性對現有方法進行分類:場景表示,照片一致性(photo consistency)度量,可見性模型(visibility model),形狀先驗知識,重構算法以及初始化要求。
  • 神經網絡模型在密集圖像中發現小物體
    該項目的目的是恢復期刊文章中丟失的數據,但是這種對象檢測還具有其他應用程式,例如圖像分析,自動駕駛汽車,監視和機器檢查。圖片來源:美國國家標準技術研究院為了自動從科學論文中捕獲重要數據,美國國家標準技術研究院(NIST)的計算機科學家開發了一種方法,可以在圖像數據中包含的密集,低質量繪圖中準確檢測小的幾何對象,例如三角形。
  • 如何在PyTorch和TensorFlow中訓練圖像分類模型
    在本文中,我們將了解如何在PyTorch和TensorFlow中建立基本的圖像分類模型。我們將從PyTorch和TensorFlow的簡要概述開始。然後,我們將使用MNIST手寫數字分類數據集,並在PyTorch和TensorFlow中使用CNN(卷積神經網絡)建立圖像分類模型。這將是你的起點,然後你可以選擇自己喜歡的任何框架,也可以開始構建其他計算機視覺模型。
  • 模擬電子技術 之 半導體基礎知識-本徵半導體
    關於模擬電子技術,我們首先介紹一下半導體的一些基礎知識,本篇文章主要介紹本徵半導體。我們知道材料如果按照導電性,可以分成導體,半導體和絕緣體三種。導體很容易傳導電流;而絕緣體,因為裡面幾乎沒有自由電子參與電流傳導,所以導電能力是比較差的;半導體則是介於導體和絕緣體之間。
  • 金屬-氮-碳單原子催化合成過氧化氫過程中金屬中心的本徵活性
    金屬-氮-碳單原子催化合成過氧化氫過程中金屬中心的本徵活性 作者:小柯機器人 發布時間:2020/12/19 16:06:29 雪梨大學Yuan Chen團隊揭示了金屬-氮-碳單原子催化合成過氧化氫過程中金屬中心的本徵活性。
  • OpenCV+深度學習預訓練模型,簡單搞定圖像識別 | 教程
    pyimagesearch網站今天發布了一份用OpenCV+深度學習預訓練模型做圖像識別的教程,量子位編譯整理如下:最近,OpenCV 3.3剛剛正式發布,對深度學習(dnn模塊)提供了更好的支持,dnn模塊目前支持Caffe、TensorFlow、Torch、PyTorch等深度學習框架。