近紅外光譜分析數據和模型(一)

2021-01-14 NIR雲課堂
  分子吸收光譜是樣品中分子對光吸收產生的光譜,包括紫外(UV)、可見(Vis)、近紅外(NIR)和中紅外(IR)光譜等。吸收光譜分析都可以用Lambert-Beer定律描述吸光度與被測組分濃度之間的關係,這是多元校正模型的基礎。UV-Vis、NIR和IR光譜產生的機理不同,所反映的樣品化學信息也有所不同。UV-Vis吸收光譜來源於分子電子能量躍遷,NIR和IR光譜則由分子振動能量(包括轉動能量)躍遷產生,因此,它們能反映分子一些基團和骨架的分子振動的信息,也能反映相關的一些指紋信息,這些信息非常豐富,對分子結構鑑定和組分定量分析具有重要的價值。分析化學中的近紅外和中紅外吸收光譜落在760-25000nm波長範圍,其中760-2500nm(用波數表示為13158-4000cm-1)屬於近紅外光譜,2500-25000nm(用波數表示為4000-400cm-1)屬於中紅外光譜,中紅外光譜也簡稱紅外光譜。



    按照量子力學理論,振動能級是量子化的,用不同的振動量子數表示不同的振動能級。當分子吸收紅外光後,由基態振動能級(振動量子數為0)躍遷至第一振動激發態(振動量子數為1)時,所產生的吸收峰稱為基頻峰。振動能級的能量(常用振動頻率表示)間隔大體上是等距離的,因此由基態躍遷到第二、第三、…激發態時,所產生的吸收峰頻率約等於基頻峰頻率的二倍、三倍、…,因此,它們被稱為倍頻峰。各種分子振動模式的基頻峰通常落在中紅外光譜範圍,而倍頻峰落在近紅外光譜範圍內。另外一類峰稱為組頻峰,它表示一種頻率的紅外光同時被兩個振動所吸收,即光的能量用於兩種振動能級的躍遷,也屬於近紅外光譜範圍。

與基頻峰相比,倍頻峰和組頻峰的峰強度要低很多,而且峰更寬。因此,近紅外光譜的靈敏度比中紅外光譜要低,常見的譜峰為O-H、C-H、N-H、S-H等的伸縮振動峰,其他振動模式的譜峰由於信號弱而不易被觀察到,或掩蓋在上述伸縮振動峰之中。由於譜峰峰較寬,近紅外光譜的譜帶之間重疊嚴重,易於造成光譜幹擾。為了解決靈敏度不高,光譜幹擾嚴重的問題,人們將多元校正方法引入到近紅外光譜分析領域,使得近紅外光譜發展成了一種重要的分析技術。加上一些得天獨厚的優勢,近幾十年來近紅外光譜技術得到了非常迅速的發展,而且其發展前景也是非常美好。在業界,近紅外光譜離不開化學計量學(多元校正是化學計量學中最重要的內容之一)已經成為近紅外光譜人的普遍共識。

與其他光譜分析技術相比,近紅外光譜具有一些獨特的優點:1)分析效率高。近紅外光譜檢測技術操作簡單、使用方便、採譜快速。不像其他分析方法需要先做標準曲線再進行定量分析,它僅需要對被測樣品採集一次光譜,即可通過已建立的校正模型迅速得到樣品各種組成或性質的信息,尤其對於複雜的混合樣品,可以實現多組分的同時定性或定量分析。這是一種非常誘人的分析手段;

2)無損分析。由於近紅外光具有較強的穿透能力和散射效應,因此它具有透射、漫反射、透反射、漫透射等多種光譜採集方式,可根據樣品的物理狀態和透光能力選用。無論液體、氣體、固體、乳狀還是糊狀等各種樣式的樣品,都可以不經任何形態的改變,直接採集光譜,實現無損檢測。鑑於這一特點,該技術在農副產品、工業原材料及產品、活體組織、醫藥等諸多領域得到了非常多的應用。

3)樣品無需制樣處理。近紅外光譜靈敏度低,被測物質信號不強,共存的其他物質吸收也比較弱。因此,不會出現中紅外光譜分析中經常遇到的信號容易飽和的問題,可以無需制樣而直接進行光譜測量。同時,近紅外光譜具有多種測樣模式和測樣附件,可以滿足不同類型樣品的光譜採集。這一特點使得近紅外光譜分析方法不需使用化學試劑,不汙染環境,成為綠色的檢測方法。4)檢測準確度高、重現性好。現代近紅外光譜儀器技術成熟、性能優良,加上使用化學計量學方法建立模型,保證了分析結果的可靠性,在準確度和精密度方面能滿足很多檢測任務的要求。5)可用於在線分析。近紅外光譜測試速度快、無需制樣,是一種出色的在線分析技術。加之光纖的應用,以及具有多種可供選擇的測樣探頭,使得該技術能很方便地用於過程分析和遠程分析,實現生產過程的在線監測和在線控制。1)檢測靈敏度低。這主要是因為近紅外光譜源自分子振動的倍頻和組頻吸收,其躍遷機率較低導致吸收強度較弱,近紅外吸收強度比中紅外的低1-4個數量級。所以,近紅外光譜技術一般只能用於含量在1%以上的常量組分的分析檢測。2)檢測選擇性差。與中紅外光譜譜峰強且窄的基頻吸收明顯不同,近紅外光譜各個譜帶產生於倍頻和組頻吸收,譜帶較寬,很容易重疊在一起,造成嚴重的光譜幹擾,因此其分析方法選擇性不好。3)分析模型的建立比較困難。解決靈敏度低、選擇性差問題的基本手段就是藉助化學計量學方法,比如多元校正、光譜數據處理、波長選擇等。另外,建立近紅外光譜分析模型還要合理選擇足夠多具有代表性的樣本,並且按照標準方法或參考方法檢測所有樣品的化學或物理指標值,工作量很大。因此,建模過程需要投入很多人力、物力、財力和時間,而對化學計量學的需求也使很多「化學人」望而卻步。因此,建立近紅外光譜分析模型並不是一件容易的事。近紅外光譜分析技術有著非常誘人的應用能力,但要很好地使用該技術必須要跨過建模這道「門檻」。與常規分子吸收光譜分析一樣,近紅外光譜技術中測定溶液樣品的透射光譜是其主要測量方式之一。除此之外,它還常用於固體樣品,如片狀、顆粒、粉末,甚至是粘稠液體或膏狀樣品的直接測定其漫反射光譜。在近紅外光譜領域,常用的測量方式包括透射、漫反射、漫透射和透反射等。跟其他分子吸收光譜一樣,近紅外透射光譜的測定用於清澈、透明的均勻液體樣品,最常使用的測量附件是石英材質的比色皿,測量指標為吸光度。光譜吸光度與光程及樣品濃度之間符合Lambert-Beer定律,即吸光度與光程和樣品濃度均呈正比關係,這是近紅外光譜定量分析的基礎。近紅外光譜的靈敏度很低,因此分析時一般不需要稀釋樣品。但溶劑,包括水對近紅外光都有明顯的吸收,當比色皿光程太大時,吸光度會很高,甚至是飽和。因此,為了減少分析誤差,測量光譜的吸光度最好控制在0.1-1之間,一般採用1-10mm的比色皿。有時為了方便,吸光度低至0.01,或高至1.5,甚至2的近紅外光譜測量也經常看到。近紅外光譜技術突出的優點,如無損測量、無需制樣、簡單快速等主要源於它的漫反射光譜採集模式。漫反射模式可用於粉、塊、片、絲等固體樣品,以及膏、糊等半固體樣品的測量。樣品可以是任何形狀,如水果、藥片、穀物、紙張、乳類、肉類等,無需專門制樣,可以直接進行測量。近紅外漫反射光譜並不符合Lambert-Beer定律,但經前人研究發現,漫反射的吸光度(實際上是樣品反射率與參比反射率之比的負對數)與濃度在一定條件下具有線性關係,需要滿足的條件如樣品厚度足夠大、濃度範圍較窄、樣品物理狀態和光譜測定條件要保持一致等。因此,利用漫反射光譜也可用像透射光譜一樣採用多元校正進行定量分析。漫透射模式是對固體樣品進行的透射光譜測量。入射光照射不太厚的固體樣品時,光在樣品內部進行透射和漫反射,最後透過樣品在光譜儀上記錄光譜,這就是漫透射光譜。漫透射模式常用於藥片、濾紙狀樣品、薄層狀樣品的近紅外光譜測量。其光譜吸光度與組分濃度為線性關係。溶液樣品的透射光譜測量,是將入射光透過樣品,在另一側測定透射光譜。與此不同的是,透反射模式是在樣品溶液後方放置一塊反光鏡,入射光通過樣品後經反射鏡反射後再次進入樣品溶液,在入射光相同一側測定透反射光譜。光通過樣品二次,因此光程是普通透射光譜光程的二倍。透反射模式是為測定光譜的便利性而設計的,因為入射光和反射光在相同一側,就可以在一個探頭中同時安裝入射光路和反射光路,在探頭的前端安裝一個空腔,空腔的頂端為反光鏡。使用時,將探頭插入溶液,溶液進入空腔,光從入射光路照入溶液,在反光鏡上反射回到溶液,而後進入反射光路,進入光譜儀測定光譜。本質上,透反射光譜也是透射光譜,因此其吸光度與濃度為線性關係。無論是透射光譜還是漫反射光譜,都可以用線性模型描述組分濃度c與吸光度a的關係(注意:為了保持矩陣用大寫黑體字母標識的約定,在這裡的吸光度不用A而是a表示)。傳統的標準曲線法進行光譜定量分析時用單波長(最大吸收波長)的吸光度amax與濃度c建立模型:amax=bmaxc,bmax為吸收係數。這種方法也稱為一元校正方法。如果用多波長吸光度測定單組分含量,在任何波長處都具有關係:ai=bic(i=1,2,…,K),ai,bi分別為波長i處的吸光度和吸收係數,K為波長數。如果用向量表示,有a=bc,a=[a1, a2,…, aK],b=[b1, b2,…, bK]。若用多波長測定多組分含量,吸光度a=[a1, a2,…, aK],設樣品中含有J個組分,每個組分對光都有吸收,第j個組分的吸收係數為bj,j=1, 2, …, J。而所有組分濃度為c=[c1,c2,…,cJ]t,按線性模型的加和規律,一個混合樣品的光譜吸光度a等於所有組分的吸光係數與其濃度之積的加和,即a= b1c1+b2c2+...+bJcJ ,設B=[b1, b2,…, bJ],則有,a=[b1,b2,…,bJ]c=Bc。這是針對一個樣品的關係式,當具有I個樣品時,可推導出,A=[a1,a2,…,aI]=B[c1,c2,…,cI] =BCI個樣品具有I個ai和I個ci,而每個樣品中組成未變,因此B不變。為理解方便,我們在推導時使用了吸收光譜的一般表示形式,即用小寫或大寫的字母a,b,c分別表示吸光度、吸光係數和濃度。在近紅外光譜分析中經常用Y表示濃度,X表示吸光度A,而且以Y為因變量,X為自變量。於是,上式可以改寫為,注意這裡的係數矩陣用希臘字母Β表示,並不是模型A=BC中的B。這就是近紅外光譜定量分析模型的通常表示形式。這個關係式非常重要,為了明確上式含義,我們總結如下:對於一組具有I個樣品的分析體系,每個樣品中含有J個組分,組成的濃度矩陣為Y,Y={yij,i=1, 2, …, I, j=1, 2, …, J},yij為第i個樣品中第j個組分的濃度;測定I個樣品的光譜X,每個光譜具有K個波長,X={xik,i=1, 2, …, I, k=1, 2, …, K},xik為第i個樣品在第k個波長測定的吸光度。Β為回歸係數,E為誤差。如果把各個矩陣的維度也標記出來,上式還可以用帶維度的多元校正模型表示如下,在近紅外光譜分析中,與光譜X能建立多元校正模型關係的不只是濃度,還有一些物理或物理化學量,比如密度、辛烷值、溫度等,因此矩陣Y是廣義的濃度矩陣,常常稱為指標值,或參考值。上述模型中,Y是由J各指標組成的,也可以把它分解為單一指標構建多元校正模型,如下式所示:這種形式在近紅外光譜分析中更為常見。該模型含義用下圖更容易理解。y是含有80個指標值的一個向量,X是由80個NIR光譜組成的矩陣,y與X的線性關係由回歸係數具體描述出來。--杜一平 華東理工大學教授,博士生導師。現任中國化學會計算機化學專業委員會委員,中國儀器儀表學會近紅外光譜分會副理事長,中國光學會光譜專業委員會常務理事,上海市化學化工學會理事等社會兼職。研究方向:包括化學計量學,分子光譜新型分析方法開發等。

相關焦點

  • 近紅外與中紅外光譜分析的區別
    我國對近紅外光譜技術的研究及應用起步較晚,除一些專業分析工作人員以外,近紅外光譜分析技術還鮮為人知。但1995年以來已受到了多方面的關注,並在儀器的研製、軟體開發、基礎研究和應用等方面取得了較為可喜的成果。但是目前國內能夠提供整套近紅外光譜分析技術(近紅外光譜分析儀器、化學計量學軟體、應用模型)的公司仍是寥寥無幾。
  • 近紅外光譜技術的優缺點分析
    60年代中後期,隨著各種新的分析技術的出現,加之經典近紅外光譜分析技術暴露出的靈敏度低、抗幹擾性差的弱點,使人們淡漠了該技術在分析測試中的應用,此後,近紅外光譜再次進進了一個沉默的時期。  70年代產生的化學計量學(Chemometrics)學科的重要組成部分--多元校正技術在光譜分析中的成功應用,促進了近紅外光譜技術的推廣。
  • 近紅外光譜分析技術在食品加工中的應用
    它是利用化學物質在近紅外光譜區的光學吸收特性,來快速測定某種樣品中的一種或多種化學成分含量和特性新的物理測定技術。近紅外光譜是指波長範圍介於可見區(VIS)與中紅外區(MIR)之間的電磁波,波長為780-2500nm範圍內的一段電磁波。物質中的不同組分或同一組分的不同含氫基團在近紅外區域有豐富的吸收光譜。
  • 近紅外光譜技術在棉\氨綸面料分析中的應用
    其中700~1100 nm通常稱為短波近紅外譜區,而1100~2600 nm稱為長波近紅外譜區。近紅外譜區的信息量非常豐富,主要吸收來源於有機物含氫基團的倍頻和組合頻[2-4]。上世紀八十年代後期,隨著光學、電子技術、化學計量學以及計算機技術的快速發展,近紅外光譜分析技術得到迅速的推廣,成為一門獨立的分析技術,在醫藥、食品、農產品、煙等方面尤為突出。
  • 近紅外光譜分析發展歷程
    早在二十世紀二三十年代,紅外光譜技術作為一種有效的分析手段就得到了認可。發展至今,近紅外光譜技術因其在分析樣品時具有方便、準確和成本較低,環保等優點,受到了越來越多人的青睞。潛心發展 近紅外光譜技術日臻成熟近紅外光譜技術在發展初期並不受重視,原因是其獲得的數據可利用性低。
  • 我國近紅外光譜發展多方有驚喜——參加全國第八屆近紅外光譜學術...
    化學計量學、變量選擇、模型轉移等關鍵點需重視  化學計量學在近紅外光譜技術的研究分析中起到重要作用,山東大學臧恆昌教授作題為《近紅外光譜分析技術在製藥過程中的建模難點與應用》的報告,分別從近紅外光譜模型質量問題,近紅外光譜分析技術在固體製劑、中藥、生化藥物中的建模難點與應用幾個角度進行了報告,並指出近紅外光譜在製藥領域中的應用存在三大難點
  • 中國近紅外光譜分會蘇滬工作站共同舉辦近紅外光譜技術論壇
    本次論壇在中國近紅外光譜分會蘇滬工作站副主任、上海市化學化工學會分子光譜協作組組長杜一平教授團隊和倪力軍教授團隊的精心組織下,由中國近紅外光譜分會蘇滬工作站、上海市化學化工學會分子光譜協作組、華東理工大學分析測試中心和上海市功能性材料化學重點實驗室共同舉辦。
  • ...技術、趨勢、檢測,你想學的近紅外知識都在這裡——近紅外光譜...
    20世紀80年代以來,隨著新方法(化學計量學)、新材料(光纖等)、新器件(檢測器等)和新技術(計算機)的發展和出現,近紅外光譜技術從光譜分析隊列中吊車尾的位置迎頭趕上,嶄露頭角。如今,經過幾十年的發展,結合現代化學計量學方法的近紅外光譜技術,已經成為工農業生產過程質量監控領域中不可或缺的分析手段之一,在農產品、食品、醫藥、石化、菸草等領域均得到了廣泛應用。
  • 近紅外光譜技術在飼料工業中的應用
    近紅外光譜技術介紹現代近紅外光譜分析技術是近年來分析化學領域迅猛發展的高新分析技術。它是利用化學物質在近紅外光譜區的光學吸收特性,來快速測定某種樣品中的一種或多種化學成分含量和特性新的物理測定技術。近紅外光譜是指波長範圍介於可見區(VIS)與中紅外區(MIR)之間的電磁波,波長為780-2500nm範圍內的一段電磁波。物質中的不同組分或同一組分的不同含氫基團在近紅外區域有豐富的吸收光譜。近紅外光譜主要是反映C-H、O-H、N-H、S-H等化學鍵的信息,因此分析範圍幾乎可覆蓋所有的有機化合物和混合物。
  • 近紅外光譜技術在石油化工領域的應用
    近紅外光譜技術實現了石腦油PIONA族組成的在線快速分析,可為先進控制及優化系統提供物料的實時組成數據,且數據準確性和傳統色譜分析方法基本相當。除PIONA族組成數據外,近紅外還可分析石腦油密度、餾程、碳數分布、芳烴潛收率等性質,準確性滿足工藝需求。
  • 我國工業在線近紅外光譜技術發展的關鍵問題分析
    2、提高應用技術人員近紅外光譜分析模型的開發能力  對於從事近紅外光譜技術應用的技術人員來說,建模是難點問題之一,因為它需要化學計量學知識作為支撐。  建立高質量的模型(不妨稱為最優模型)確實是一件不容易的事情,但是如果簡化建模過程,建立一個比較優的合理的模型就不一定很難了。
  • 珀金埃爾默近紅外光譜技術及應用全解析
    近紅外圖像儀包括近紅外光譜儀和圖像系統,可自動掃描樣品區域,獲得不同空間解析度的近紅外特徵信息。所有的操作都是自動化,包括聚焦、可見光照明、切換掃描模式、切換空間解析度、數據主成分分析等。還可升級成中近紅外光譜儀和圖像儀,成為多功能的樣品分析系統。  2014年底,PerkinElmer公司收購了瑞典波通公司,又大大豐富了近紅外產品線。
  • 前景廣闊的近紅外光譜分析技術——訪北京化工大學袁洪福教授
    在質量監控方面,近紅外分析能夠發揮現有的標準方法不能實現的作用,比如糧食收購、菸草行業中的烤菸工商交接,其工作目標之一是按質論價,按質分類加工和儲存,現有標準方法欲測定內在化學品質指標如定氮、水分等方法由於費時而無法實現這一目標,而在技術上近紅外分析可以實現這一目標,如國內菸草行業已將近紅外分析應用於原料工商交接二次驗級考核,捲菸製造過程中配方結構的調整與優化
  • 我國近紅外光譜還依然「年輕」 未來大有可為——ACCSI2019近紅外...
    雖然業界普遍認為,近年來我國近紅外光譜分析技術無論在研發還是應用方面都取得了長足進展,近紅外光譜在中國有著非常大的市場前景。不過,由於應用拓展不足,相關的檢測標準還不完善,模型建立、評價和修正有一定難度等原因也在一定程度上限制了近紅外光譜產業的進一步發展。  目前,近紅外光譜的技術及產業發展現狀如何?
  • 近紅外光譜的柔性生命力——Norris導數濾波淺說
    導讀:近紅外(NIR)光譜分析是融合樣本、變量和模型三個多維空間的建模體系。它具有直接快速的分析優勢,同時,也對方法學提出了挑戰。光譜預處理是一項基本技能,在信息提取、去噪,模型維護及傳遞中扮演重要角色。由於對象、條件和測量方式的多樣化,預處理模式通常需要個性化優選。
  • 全國第三屆近紅外光譜學術會議在上海隆重開幕
    儀器信息網訊 2010年10月13日,為全力展示我國近紅外光譜領域所取得的最新進展及成果,增進廣大近紅外光譜科技工作者和廣大近紅外分析工作者之間的交流與合作,進一步促進我國近紅外光譜事業的發展,由中國儀器儀表學會分析儀器分會近紅外光譜專業委員會主辦
  • 近紅外研究和應用急需產學研緊密結合——第三屆陸婉珍近紅外光譜...
    全國第八屆近紅外光譜學術會議同期隆重舉行了第三屆「陸婉珍近紅外光譜獎」的頒獎儀式,中國農業大學韓東海教授榮獲第三屆陸婉珍近紅外光譜貢獻獎。自1995年開始從事以近紅外技術為主的食品內部質量無損檢測研究,在果蔬內部質量無損檢測方面取得了多項創新性的研究成果,曾主持國家自然科學基金項目3 項,部級項目3項以及多項橫向課題;副主持及參加國家級科研項目7項,培養近紅外碩士和博士畢業生40餘名。發表SCI和EI收錄論文50多篇,主編、副主編和參與編寫專業書籍5部。已授權的發明和實用新型專利共12項。
  • 國產近紅外光譜儀器與應用發展「診斷」——訪江蘇大學陳斌教授
    、信噪比差,不能滿足近紅外光譜分析的一些基本要求;   (3)應用行業對近紅外光譜分析技術的理解不夠,儀器企業不具備針對用戶要求建立校正模型的能力,儀器使用人員基礎知識欠缺,不具備模型的二次開發能力。一般的使用者對於近紅外光譜分析技術的實際應用理解不透徹,同時也不具備二次開發、二次應用的能力。這兩方面的原因使得國內近紅外光譜分析技術暫時還不能廣泛推廣到生產實際中去。   (2)無模型就無法應用   近紅外光譜分析技術能否應用到生產實際的關鍵是要有穩定、可靠的校正模型,模型建立的基礎是針對特定的物料、特定的檢測指標進行的。
  • 合肥研究院圍繞近紅外光譜分析技術提出變量選擇算法
    近期,中國科學院合肥物質科學研究院智能機械研究所離子束生物工程與綠色農業研究中心研究員吳躍進課題組圍繞近紅外光譜分析技術,提出基於組合移動窗口和智能優化算法相結合的變量選擇算法。近年來,隨著光譜技術的發展,光譜數據呈現數量高、維度高、複雜度高等特點。光譜數據中包含大量的噪聲和幹擾變量,且當樣本數量遠小於變量數量時,尋找最優變量子集將成為NP-hard問題,對光譜數據挖掘和光譜定量分析提出挑戰。提取關鍵變量信息、減少數據維度,不僅可以提高光譜定量分析能力,而且可以選取特徵光譜,降低儀器研發成本,提高經濟效益。
  • 閔順耕談近紅外光譜技術發展動態
    NIR 2013 於2013年6月2-7日在法國召開,各領域的專家學者500餘人匯集一堂,共同探討近紅外光譜分析技術在食品、農業、環境、醫藥以及其他產業的應用。NIR 2013聚焦於近紅外光譜技術在土壤、生物醫學領域的應用,以及在生態、考古、工業等領域的特殊應用。全球主要的近紅外儀器與軟體供應商都參加了此次會議。