細分萬物之像,記錄千譜之圖——高光譜成像感知與信息分析

2020-09-24 CCFvoice

高光譜遙感具有很強的學科交叉性,其信息處理涉及地學、計算機視覺、人工智慧和高性能計算等。本期專題「高光譜成像感知與信息分析」將分享該領域的專家視角和學術觀點,以高光譜成像獲取、空譜數據融合與質量增強、光譜視覺感知到高光譜圖像分類識別為主線,基本體現本領域的重要研究方向,並考慮從低層光譜視覺到高層光譜視覺信息處理等方面。


關鍵詞:光譜視覺 遙感


提起高光譜視覺分析,非遙感專業的人士可能會非常陌生。我們不妨打開記錄片《我在故宮修文物》,可以看到這樣的情景:技術人員用一臺稱之為「高光譜掃描儀」的設備掃描古代字畫,掃描信息經過專業處理後,文物修復專家就能發現字畫上肉眼看不見的信息,甚至還能分析出繪畫技法和當時所用的顏料。這個神奇技術的原理是什麼?事實上,不同物質都有它天然獨屬的「光譜指紋」。早在1665年,英國科學家牛頓就完成了著名的太陽光色散實驗。太陽光通常是白光,但當它通過三稜鏡折射後,會形成由紅、橙、黃、綠、藍、靛、紫順次連續分布的彩色光譜,覆蓋了大約在390~770納米的可見光區。當人們掌握更為先進的「分光」技術時,可以將物質的反射光進一步進行光譜細分成像,形成光譜圖像。光譜圖像通常可以看成是紅、綠、藍(R、G、B三個波段)彩色圖像的擴展,同時也可以表徵更多的波段。當光譜細分到納米級別,我們可以採集到幾百甚至上千個非常窄的波段圖像,而光譜感知範圍可以拓展到紫外、可見、近紅外、短波紅外甚至長波紅外,形成包括空間維-光譜維的「立方體」圖像數據——高光譜圖像。這種「圖譜合一」的數據蘊含豐富的電磁光譜與輻射特徵,其機理是物質內部不同的分子、原子和離子對應著不同特徵分布的能級,在特定頻率的波譜下產生躍遷,由此引起不同波長的光譜發射和吸收,從而產生不同的光譜指紋特徵。一個像素將記錄下對應空間解析度單元上的光譜特徵,表現為相對連續的光譜曲線,有特定的光譜特徵峰和谷,編碼了物質的本質信息,是自然物質的光學基因(DNA)。


在傳統的計算機視覺信息處理中,通常是以可見光信號作為基本信息源,很難分析和辨識出諸如字畫中的顏料、大氣和水環境的汙染元素、土壤中農作物的生長要素、巖石中的礦物成分等,這就好比《西遊記》中肉眼凡胎的唐僧不識幻化成人形的妖魔鬼怪;而高光譜儀器則如同孫悟空的「火眼金睛」,讓諸多變化無所遁形。一個典型的例子是在軍事偵察中,可見光視覺很難辨識戰場環境中的偽裝目標(如木質誘餌飛彈、迷彩裝甲等),此時光譜視覺能夠大有作為。但是,高光譜物質分析中也會遇到「真假美猴王」的問題。由於星載和機載高光譜圖像往往具有較高的光譜解析度,但是空間解析度較低,像元內部地物混雜、噪聲幹擾、目標探測虛警率高等,突出表現為「同物異譜,同譜異物」的問題。解決這樣的難題,我們需要更先進的光譜探測手段和光譜信息處理技術。


鑑於光譜信息在物質屬性鑑別中具有的優勢與面臨的挑戰,高光譜遙感探測成為了當今國際遙感技術發展的前沿,高分辨-高光譜遙感探測和數據智能分析是世界各國競相逐鹿的高尖端領域。歐美等西方發達國家在商用光譜科學儀器研製領域處於領先地位。例如20世紀80年代初期,美國在成像光譜技術領域就取得了重大突破,成功研製了AIS和AVIRIS高光譜成像系統,被認為是自遙感技術問世以來與成像雷達技術並列、最重大的兩項技術突破;澳大利亞集成光電公司研製生產的機載成像光譜儀HyMap,成為了國內外機載高光譜行業應用的主打儀器,在地質勘探特別是在礦物填圖方面得到了廣泛應用。


中國的高光譜遙感發展與國際基本同步,從20世紀80年代開始,中國科學院遙感與數字地球研究所童慶禧院士與中國科學院上海技術物理研究所薛永祺院士團隊合作開發了AMSS、FIMS、MAIS、PHI、OMIS等多個高光譜成像系統,後續又研製了可見近紅外地面成像光譜儀(FISS,2016年),小型航空成像光譜系統等(中國科學院上海技術物理研究所、中國地質調查局南京地質調查中心均有研製)。2016年發射的「天宮2號」衛星、2018年發射的「高分5號」衛星都搭載了先進的高光譜成像儀,表明我國在高光譜探測的硬體研發方面取得了重大突破,並已經形成以全色、多光譜、高光譜相機為基礎的空-天-地一體化遙感探測體系,在環境監測、國土資源利用、精準農業、城市規劃、軍事偵察等關鍵領域得到了重要應用。


目前探測與成像領域的發展趨勢是不斷朝高光譜解析度、高空間解析度和高時間解析度等多維多尺度發展。遙感數據獲取已經進入多平臺、多傳感器、多時相、多角度觀測發展階段,遙感數據獲取能力進一步提升。然而,由於高光譜成像探測和「圖譜合一」數據的特殊性,光學成像器件研製、數據獲取與質量提升、信息處理與智能分析等研究方向的機遇與挑戰並存。正如童慶禧院士、張兵和張立福研究員在《中國高光譜遙感的前沿進展》(《遙感學報》,2016) 中指出的,中國高光譜遙感尚存在「無源之水」的困境,意即在高光譜數據獲取能力上的瓶頸;還存在「曲高和寡」之憂,高光譜遙感過於依靠地面反射率數據,迫切需要降低高光譜遙感的數據獲取、處理、信息提取與應用等方面的門檻。


本期專題「高光譜成像感知與信息分析」將分享該領域的專家視角和學術觀點,以高光譜成像獲取、空譜數據融合與質量增強、光譜視覺感知到高光譜圖像分類識別為主線,基本體現本領域的重要研究方向,並考慮從低層光譜視覺到高層光譜視覺信息處理等方面。


南京大學教授曹汛和清華大學戴瓊海院士合作撰寫了《計算光譜成像的前沿進展》一文,從計算攝像的角度回顧並探索了高光譜成像的新體制和計算成像儀器研製的最新進展,並從計算機視覺、材料科學、微納光學等學科交叉的角度展望了高光譜成像技術未來發展的趨勢。計算攝像學(computational photography)是新興的交叉學科,在計算機視覺及圖形學領域的國際頂會(CVPR、ICCV、SIGGRAPH)中都有相關的專題,並且近十年中誕生了諸多新型的計算高光譜成像的方法和系統。目前,高光譜成像的基本原理和途徑包括直接光譜採集方法和計算成像方法。空-譜-時多維度的高解析度、高信噪比和圖譜一致性要求的高光譜成像不斷追求新的成像原理和機制創新。該文分析了目前需要解決光譜數據獲取技術瓶頸的迫切性,並論述了計算光譜成像的代表性方法,從斷層掃描原理(computed tomography)到壓縮感知原理(compressive sensing),以及編碼光圈和稜鏡-掩模調製的原理方法,其中很多觀點和方法都是曹汛教授與清華大學戴瓊海院士團隊合作與深耕多年的學術結晶。


在空譜數據融合與質量增強方向,本期邀請了兩個進展報告。武漢大學教授袁強強撰寫了《高光譜信息復原進展》一文,不僅從數學反問題的角度概述了該領域的建模方法和新進展,而且介紹了張良培教授所在團隊在高光譜圖像質量改善方面的大量工作和研究心得。南京理工大學教授肖亮撰寫的《稀疏-低秩-張量表示及空譜融合應用進展》一文旨在討論目前國際上的前瞻性熱點問題——「空-譜遙感圖像融合」,從反問題的角度,簡要介紹了三類常見的像素級融合問題(全色+多光譜、全色+高光譜、多光譜+高光譜),從空-譜信號稀疏-低秩-張量表示建模的角度概述了可能的建模思想與研究途徑。


高光譜圖像能獲取地物的精細光譜特徵,然而受到光照、陰影、氣候條件、拍攝環境等因素的影響,地物的光譜會發生變化,導致「同物異譜,同譜異物」。因此,如何準確地感知不受光照、陰影等因素影響的地物「純淨」光譜特徵一直是高光譜遙感領域的挑戰難題。針對該問題,我們邀請湖南大學教授康旭東撰寫了《遙感應用中的本徵光譜感知》一文,從計算機視覺圖像本徵分解的角度來闡述如何實現遙感應用中地物光譜的準確感知,並列舉了「純淨」光譜特徵提取所面臨的三大挑戰性難題。


高光譜數據分析技術是遙感領域非常活躍的研究方向,也是高光譜走向應用的關鍵。北京理工大學教授李偉撰寫的《高光譜圖像分類識別技術介紹》一文,從高光譜圖像的數據特性、應用場景等角度揭示了高光譜圖像的優勢以及在分類識別中的多樣化應用,這些應用涵蓋軍事偵察、智慧農業、地質勘測及調查、生物醫學等多個領域。面向多類型典型應用場景,分析了高光譜圖像目標識別的應用優勢與劣勢,論述了光譜特徵抽取與分析需要綜合行業應用的特殊性,並給出了高光譜數據潛力與多類典型應用的導向分析。最後綜述了高光譜圖像分類等高光譜信息智能處理的發展新動向。


高光譜遙感具有很強的學科交叉性,其信息處理涉及地學、計算機視覺、人工智慧和高性能計算等。高光譜遙感數據越來越明顯地呈現大體量、多樣性、可信(精度)度高、價值大、快速等大數據特徵。以深度學習為代表的新型人工智慧技術將為高光譜遙感插上智慧的翅膀,智能高光譜遙感將受到研究者的廣泛關注,逐步進入快速發展階段。但是高光譜遙感由於儀器昂貴、所處理問題的專業性和應用的行業性,不如計算機視覺那樣被普通大眾所了解。我們面對的不僅是新型探測方式的變革,也面臨光譜大數據的挑戰。如何讓高光譜遙感「飛入尋常百姓家」,不但迫切需要輕量化、小巧型的儀器,還需要降低信息處理的技術門檻,提高信息處理的自動化與智能水平。我們設立此專題,希望能夠引起更多計算機同仁與遙感同仁的關注和討論,讓儀器研製與軟體信息處理聯合攻關、協同創新,使我國在高光譜遙感探測與分析的科技水平走在世界的前沿,由「跟跑」向「領跑」邁進。 


特別聲明:中國計算機學會(CCF)擁有《中國計算機學會通訊》(CCCF)所刊登內容的所有版權,未經CCF允許,不得轉載本刊文字及照片,否則被視為侵權。對於侵權行為,CCF將追究其法律責任


作者簡介



肖亮

CCF高級會員。南京理工大學教授。主要研究方向為計算機視覺與圖像理解、光譜與光譜成像數據智能處理與系統應用、虛擬實境與科學計算可視化等。xiaoliang@mail.njust.edu.cn


曹汛

南京大學電子科學與工程學院教授。主要研究方向為圖像和視頻處理、計算攝像學。caoxun@nju.edu.cn

相關焦點

  • 高光譜圖像的數據特性之探討
    地球上的不同物質,受物質組分以及光場環境變化等因素影響,可具備不同的光譜特性,依據光譜特性捕獲的精細程度,可將成像結果劃分為多光譜及高光譜圖像。其中,高光譜成像實現了目標光譜獲取及目標空間成像的有效集成,是最重要的遙感探測手段之一。高光譜遙感的全稱為「高光譜解析度遙感」,較為直觀地體現了高光譜遙感具備光譜維度細節信息精確表徵的能力。
  • 萬物光譜信息的「晶片」 把光譜看得更通透
    走進長春光機所實驗室,項目組科技人員向記者介紹了一塊銀灰色、近似不透明「玻璃窗」的光柵,它是這套「精密機械之王」的傑作,也是目前世界上面積最大的高精度中階梯光柵。打造這臺「精密機械之王」的,正是長春光機所光柵刻劃機老中青三代研製項目組。   光柵是分析萬物光譜信息的「晶片」,應用遍及海陸空、吃穿用   人類如何通過光認識世界?
  • 高光譜成像應用之海洋和湖泊沉積物結構與成分分析
    高光譜成像應用之——海洋和湖泊沉積物結構與成分分析  瑞士Bern大學的MartinGrosjean等人(2014年)利用Specim公司的sisuSCS高光譜成像儀(400-1000nm)對波蘭Żabińskie湖底沉積物樣芯進行掃描分析,並概括高光譜技術特點如下:  無需對沉積物樣本二次取樣
  • 【乾貨】定量/高光譜遙感之—光譜分析技術
    在定量遙感或者高光譜遙感中,信息提取主要用到光譜/波譜分析技術。
  • 關於無人機高光譜成像相機在各行各業的應用情況詳解
    簡介 成像技術和光譜技術是傳統的光學技術的兩個重要方向,成像技術能夠獲得物體的影像,得到其空間信息;光譜技術能夠得到物體的光學信息,進而研究其物質屬性。20世紀70年代以前,成像技術和光譜技術是相互獨立的學科,隨著遙感技術的發展,成像光譜技術迅速發展起來,它是一種快速、無損的檢測技術,具有光譜解析度高、多波段和圖譜合一的特點,能在大尺度範圍內識別地表並深入研究其地表物質的成分及結構。目前成像光譜技術已經成為遙感技術的發展趨勢之一,並在軍事偵察、海洋遙感、地質勘探、植被分析等領域得到越來越廣泛的應用。
  • 遙感應用中的本徵光譜感知簡介
    高光譜遙感是一種光學成像手段,本質上是模擬人和動物的眼睛。人的眼睛能夠感知物體的顏色、紋理,從而辨識物體的材質;響尾蛇的熱眼能夠感知高溫物體向外釋放的紅外線,從而快速定位獵物。而高光譜成像則是一套光譜維度的電磁波顯微鏡,它用納米級的解析度覆蓋了從可見光到紅外光範圍內物體反射或者輻射的電磁波。
  • 高光譜成像光譜儀簡介及其應用概述
    高光譜成像光譜儀將成像技術和光譜技術結合在一起,在探測物體空間特徵的同時並對每個空間像元色散形成幾十個到上百個波段帶寬為10nm左右的連續光譜覆蓋。它以高光譜解析度獲取景物或目標的高光譜圖像。在陸地、大氣、海洋等領域的研究觀測中有廣泛的應用。
  • 高光譜成像技術在生物醫學方向的新應用
    什麼是高光譜成像技術高光譜成像技術(HSI)是一種結合成像和光譜的混合模式,通過在二維檢測器陣列的每個像素處收集光譜信息,產生空間和光譜信息的三維數據集。根據空間成像方式的不同,成像光譜儀主要分為擺掃式成像光譜儀、推掃式成像光譜儀和凝視式成像光譜儀。
  • ENVI 基本光譜分析
    概述光學遙感技術的發展經歷了:全色(黑白)—>彩色攝影—>多光譜掃描成像—>高光譜遙感四個歷程。高光譜解析度遙感(HyperspectralRemote Sensing)用很窄(小於10nm)而連續的光譜通道對地物持續遙感成像的技術。
  • 什麼是高光譜成像技術?
    高光譜成像技術是近二十年來發展起來的基於非常多窄波段的影像數據技術,其最突出的應用是遙感探測領域,並在越來越多的民用領域有著更大的應用前景。它集中了光學、光電子學、電子學、信息處理、計算機科學等領域的先進技術,是傳統的二維成像技術和光譜技術有機地結合在一起的一門新興技術。
  • 高光譜遙感技術介紹及應用
    高光譜遙感是利用很多狹窄的電磁波波段產生光譜連續的圖像數據,它不像多光譜遙感中根據顏色的差異來分辨目標,而是根據譜段光譜曲線的形態來分析目標是什麼。光譜分析是人類藉助光認知世界的重要方式。如果說可見光圖像提供的是平面信息,那麼高光譜遙感圖像提供的就是空間信息,通過對光譜的分析,大大提高了圖像數據的採集能力。   2. 多光譜、高光譜的區別?
  • 高光譜成像技術對礫巖巖石的分析處理
    高光譜成像技術具有超多波段(上百個波段)、高的光譜解析度(幾個nm)、波段窄(≤10-2λ)、光譜範圍廣(200-2500nm)和圖譜合一等特點。優勢在於採集到的圖像信息量豐富,識別度較高和數據描述模型多。由於物體的反射光譜具有「指紋」效應,不同物不同譜,同物一定同譜的原理來分辨不同的物質信息。
  • 計算光譜成像的前沿進展簡介
    當前成像系統普遍採用的三色成像(紅綠藍,RGB)只能拍攝三個光譜通道,無法直接從圖像中分析拍攝對象豐富多彩的光譜特徵;而高光譜成像可以拍攝更多的光譜通道(幾百甚至上千個),能為拍攝的場景或物體提供更多的顏色信息,從而可以廣泛應用於環境監測、軍事國防、文物與考古分析、醫學診斷、食品監管和地質探勘等各大領域。
  • 光譜成像知多少
    色散型光譜成像技術和幹涉型光譜成像技術都是通過推掃或擺掃的方式獲得目標的二維空間信息和一維光譜信息,對平臺的穩定性要求很高,且在同一次曝光中獲取所有譜段的光譜信息。採用濾光片的光譜成像方案,無論是採用多個濾光片並行獲取多個波長的圖像信息,還是採用依次切換濾光片的方式,都需要根據系統的光譜響應來設置合適的曝光時間,從而獲得最大的信噪比。
  • 多光譜與高光譜成像技術的區別
    多光譜、高光譜甚至是超光譜首先是應用於衛星的遙感,遙感技術已經成為人類獲得地球以及其他星球信息重要的手段之一。利用遙感成像系統得到的地球資源信息已成為人類開發、合理的利用、管理和監測地球資源及環境不可缺少的基本手段,在農業、地質、森林、水利、土壤、海洋、環境、大氣研究等領域發揮了巨大的作用。
  • 成像光譜偏振技術
    成像技術可以獲取目標的物理形狀信息,是最直觀、最簡捷、應用領域最廣泛、效果最明顯的信息獲取手段。特徵光譜信息可以認知目標的物質結構和化學組成,光譜識別和光譜分析已在軍事和民用方面得到了廣泛應用。偏振信息與目標的外形輪廓、表面粗糙度及邊角特性相關,相同材質製作的不同形狀的目標具有不同的偏振特性。
  • 成像高光譜儀在量子點暗場散射光譜方向的應用
    高光譜成像儀(也稱光譜相機或高光譜相機、高光譜儀),是將分光元件與面陣列相機完美結合,可同時、快速獲取光譜和影像信息;可應用於諸多領域的科學研究及工業自動化檢測。  「譜王」(OmniImager)系列採用高衍射效率的透射式光柵分光模組與高靈敏度面陣列相機、結合內置掃描成像,自動調焦及輔助攝像頭技術,解決了傳統高光譜相機需外接推掃成像機構及調焦複雜等難以操作的問題。可與標準C接口的成像鏡頭或顯微鏡直接集成,實現光譜影像(Mapping)的快速採集。
  • 天文學科普講座之三——天體輻射機制(光譜分析)
    關鍵詞:成像、光譜、連續譜、發射線、吸收線、普朗克輻射、基爾霍夫定律、維恩近似、瑞利-金斯近似、維恩定律、斯特潘-玻爾茲曼定律、亮溫度、有效溫度、色溫度、視星等、色指數、絕對星等、氫原子譜線、禁戒線、譜線頻移、譜線展寬。  天體輻射機制這個題目可以開一門課,但是我們今天就簡單介紹一下最基本的東西。
  • 高光譜遙感就是「火眼金睛」
    地球上不同的元素及其化合物,由於物質組成、結構等不同,都有不同的光譜特徵。這些獨特的光譜特性,類似於人類指紋的功能,是遙感科學中用以識別和分析不同物體特徵的一種重要的「身份證」。  高光譜遙感實際上是一種簡稱,它的全稱叫「高光譜解析度遙感」。它不像多光譜遙感中根據顏色的差異來分辨目標,而是根據譜段光譜曲線的形態來分析目標是什麼。光譜分析是人類藉助光認知世界的重要方式。
  • 質譜成像:沃特世全譜圖分子影像系統介紹
    全譜圖分子影像    全譜圖分子影像系統將多種分析技術整合至同一儀器平臺並進行了優化,能夠更好地了解細胞功能和生理機能,或監測整個組織或器官中的藥物化合物分布情況。它可以結合多種成像技術獲得全面分析結果。