小波變換在Internet網多媒體業務中的應用

2021-01-11 電子產品世界

摘要：介紹了小波變換在靜態圖像壓縮、實時連續媒體流等多媒體業務中的應用，並結合ADV611晶片提出一套音視頻數據採集和壓縮的方案。為進一步提高媒體服務質量，在本方案中根據實際情況提出了幀間壓縮和碼率控制兩種解決方案。

本文引用地址：http://www.eepw.com.cn/article/242388.htm

關鍵詞：小波變換 圖像壓縮 實時連續媒體流 碼率控制 幀間編碼

隨著網絡用戶對多媒體業務需求的大量增加，基於Internet的音視頻數據採集、壓縮技術成為各種多媒體業務運營的基本要求，國際標準化組織提出了多種國際標準（H.26X、MPEG-4等）來實現低碼率及甚低碼率下的多媒體數據壓縮、傳輸及存儲。而國內外各大網絡軟硬體廠商紛紛出臺相應的解決方案。在這些標準、方案中，小波變換使信號的低頻長時特性和高頻短時特性同時得到處理，有效地克服了傅氏變換在處理非常平穩複雜圖像信號時所存在的局限性，因而各種多媒體業務應用領域受到了廣泛的重視[1、2]。本文將以此為基礎對小波變換這一工具應用到圖像壓縮、實時連續媒體流等領域做一些有益的嘗試與探討。

1 小波變換在圖像壓縮中的應用

小波變換以其特有的變換特性在圖像壓縮領域得到了廣泛的應用。如JPEG-2000、MPEG-4靜態圖像壓縮都採用了小波變換的方式。對於小波變換在靜態圖像壓縮中的應用已經有很多文獻對此做出了論述，此處不再贅述。以下只討論應用價值更為廣闊的小波算法的硬體實現。

1.1 小波算法的硬體實現

美國AD公司的ADV611數字視頻編解碼晶片是一款低價、單片、多功能、全數字的CMOS超大規模集成電路，片內集成了視頻接口、主機接口和SRAM，可以廣泛應用於各個相關領域[5]。以下將從內部框圖和算法分析兩個方面介紹該晶片的使用情況。

1.1.1 內部框圖

圖1是ADV611的內部框圖，大致可以分為六個模塊，其中較有特色的部分是清晰窗口和量化控制兩部分。清晰窗口（Quality Box）是將用戶感興趣的部分圖像採用壓縮比較小的方式編碼，而對其餘背景區域則加大壓縮比。這種方式可以認為是小波編碼在空間可伸縮性的一種應用。量化控制是為了滿足不同的網絡帶寬，不同的服務質量而設定的改變編碼碼率的參量。通過設置不同比特每象素值（Bit Per Pixel）而改變編碼碼流的數據量，滿足不同的網絡帶寬。圖2是採用與ADV611相同壓縮算法的軟體模擬結構。表1是算法效果統計。

表1 算法效果統計

比特每象素值 1 0.5 0.1 壓縮後數據量 50K 24K 7K 壓縮倍數 20.5 42.7 146.4 恢復圖像與原圖的PSNR 32.43 30.88 27.37

其中圖2（a）是原始圖像（720×486×24位1025K），（b1）、（b2）、（b3）是比特每象素值分別為1、0.5、0.1時的恢復圖像。從數據中可以看出隨著比特每象素值的降低，壓縮後數據量隨之降低，而恢復圖像與原圖的PSNR降低並不多。

1.1.2 算法分析

ADV611內部的小波變換採用雙正交9-7小波基。經過大量的實驗證明雙交9-7小波基在圖像處理中是一種較好的小波基，目前多個國際標準中有關小波壓縮的算法，一般都採用這種小波基。ADV611晶片中的小波算法生成的Mallat框圖如圖3所示。

在量化階段ADV611採用可程控的量化方式。在量化順序上採用先低頻後高頻的順序（ADV611沒有採用零樹編碼），如對圖3量化的順序為H、F、G、E、C、D、B、A。在量化係數的選取上充分考慮人類視覺特性給定了每個Mallat塊的參考量化係數如圖4.圖5顯示的編/解碼端相應的量化方法，圖中的BW是Mallat塊的參考量化係數。

對量化後的數據ADV611採用遊程編碼與霍夫曼編碼相結合的方式進行熵編碼，以達到高壓縮比的目的。一般來說遊程編碼和霍夫曼編碼屬於無損壓縮，壓縮比都不高，但在小波變換及係數量化後會出現大量的連零係數，這時採用遊程編碼與霍夫曼編碼相結合的方式能達到很高的壓縮比[3]。

2 小波變換在媒體流壓縮中的應用

很多對小波變換的研究僅停留在靜態圖像上，沒有就此深入下去。筆者希望小波變換這種方式不僅在靜態圖像上，還要在連續媒體流上得到更為廣闊的應用。基於小波變換本身的特點以及ADV611晶片的特性，將從以下兩個方面提出改進方案以使系統更加適用於連續媒體流業務。

2.1 基於小波變換係數的幀間算法

靜態圖像小波壓縮是通過減少圖像本身的空間冗餘性，達到壓縮效果的編碼方法，屬於幀內壓縮。在處理連續媒體流時應注意到幀間相似性是很大的，即幀與幀之間有著很大的時間冗餘性，減少這種冗餘可以達到更高壓縮比，使碼流適合於更低比特的信道傳輸。在處理這一部分上國際標準一般採用運動估計運動補償的方式，實現幀間壓縮[4]。在綜合考慮ADV611硬體實現的基礎上，提出一種對小波變換後係數估計補償的算法。具體的原理圖如圖6所示。其中小波變換與熵編碼是由ADV611硬體實現的。編碼後的數據延時一幀後進行存儲器，與後一幀係數數據相減，求殘差數據，並對殘差數據重編碼，包括二次量化、霍夫曼編碼等。解碼端反操作即可。

實現這種算法要求具有兩個先題條件：（1）小波變換的穩定性。對同一幀圖像兩次小波變換後生成的碼流是相同的，那麼當其中一幀圖像發生輕微變化時，編碼生成後的碼流也只是發生少量變化，從而殘差數據將會有大量的連零數據出現；（2）編碼後碼流數據量較小，考慮到硬體實現時要求有存儲器存儲前一幀變換後的係數，如果碼流數據量太大將不適合硬體的實現（此處應該注意的是連續兩幀之間熵編碼後數據量不一定相同，對缺少的數據補零處理）。利用news序列的前8幀做測試序列，得到的幀間相關性結果如表2所示。

表1 news序列前8幀編碼系統相關性列表

　 1～2幀2～3幀3～4幀4～5幀5～6幀6～7幀7～8幀小波變換後係數（%）
小波變換及熵編碼後係數（%）99.96
81.499.49
70.399.59
71.099.66
78.999.47
70.099.97
80.399.53
75.4

以上實驗數據表明小波變換後係數存在著極大的幀間相關性。熵編碼後相關性降低，但仍然較高，可以充分應用這種相關性。進行幀間壓縮。在硬體實現方案中，由於採用ADV611晶片，接口的輸出碼流是經過熵編碼後的數據，幀間壓縮的效果沒有如圖6中虛線所示流程的壓縮效果好，但仍然可以一步提高視頻序列的壓縮比。

2.2 基於小波變換的碼率控制

當前連續媒體流業務中越來越多地考慮對客戶的服務質量問題，QoS的提出要求對編碼碼率的控制更加靈活，以適應不同的用戶要求和不同的信道狀況。利用ADV611中可程控的量化方式就可以方便地達到碼率控制的目的。其原理框圖如圖7所。B/P是比特每象素的設置，通過軟體監控網絡狀態[5]，並按照一定的經驗規律實時更改壓縮過程中的B/P設置，以完成對碼率的控制。

3 實現方案

開發小組在充分地進行理論研究及實現方案論證的基礎上，應用小波壓縮算法，、按照MPEG-4標準的思路提出了一套音視頻採集壓縮傳輸的解決方案。硬體實現系統框圖如圖8所示。

主要分為六個模塊：（1）音視頻捕捉模塊，包括音視頻的獲取及量化；（2）壓縮/解壓縮模塊，該模塊是本方案中最重要的模塊，實現音視頻的編劇/解碼及同步；（3）接入模塊，該模塊完成數據的傳輸，為了進一步減輕主機的負擔，採用硬體打包發送的方式；（4）軟體控制模塊，該模塊實時監控網絡狀態，及時將分析後的網絡狀態結果通知硬體板卡；（5）控制單元模塊，該模塊是系統的處理、時序等管理控制中心，還根據軟體模塊得到的網絡狀態參數及時地控制編碼過程完成碼率控制過程；（6）總線接口模塊，採用PCI總線方式與主機交換數據。

在上述系統壓縮/解壓縮模塊中，採用ADV611壓縮晶片，並結合2.1中提出的小波變換係數的幀間算法，簡略地實現視頻序列的幀間壓縮；同時按照控制單元的速率控制參數完成碼率控制的過程。


相關焦點

  • 小波變換原理與應用_小波變換的基本原理_小波變換的應用
    打開APP 小波變換原理與應用_小波變換的基本原理_小波變換的應用 發表於 2018-01-13 09:42:37 　　 　　小波變換的基本原理 　　傳統的信號理論，是建立在Fourier分析基礎上的，而Fourier變換作為一種全局性的變化，其有一定的局限性。在實際應用中人們開始對Fourier變換進行各種改進，小波分析由此產生了。
  • 基於小波變換與DSP的實時音頻視頻處理系統
    目前，以遠程監控、視頻會議、可視電話及移動多媒體通信系統為代表的低比特率通信系統在實際中得到了重要應用。面對龐大的音/視頻數據量，作為語音及圖像處理的壓縮技術便在多媒體通信中顯得極為重要。
  • 小波在擴頻通信中的應用
    Key words:wavelet;multiple access communications;modulation;spread spectrum一、引　　言　　近年來，小波分析方法在信號檢測、多尺度邊緣提取、語音及圖像處理等諸多通信領域得到了廣泛應用［7，8］.在擴頻通信領域中，基於正交小波函數族的多址擴頻技術也被提出［1］，並被稱為SDMA(scale-division
  • 小波變換在差動熱分析儀信號處理中的應用
    1小波變換濾波的基本原理　　小波變換在時、頻兩域都具有較好的表徵信號局部特徵的能力,為設備狀態檢測和故障診斷中非平穩信號分析、信噪分離、趨勢項的去除、弱信號和狀態特徵的提取、故障檢測提供了有效的途徑。
  • 基於小波變換的視頻圖像壓縮算法研究
    l 引 言 隨著網絡和多媒體技術的迅速發展，特別是3G技術的逐漸普及，多媒體信息特別是視頻圖像信息將越來越豐富。對數據量龐大的視頻圖像信息進行壓縮是非常必要的，因此視頻圖像的壓縮也一直吸引著廣大研究者進行不斷深入的探索。
  • 小波變換在IPTV編碼中的應用
    研究表明，圖像和視頻數據都是高度相關的，一幅圖像的內部以及視頻序列中的相鄰圖像之間存在著大量的冗餘信息。比如一張教室的照片，圖像的某些區域可能是一均勻著色牆或規則顯示的窗等，因此存在著大量的空間冗餘信息；再比如一段辦公室內的視頻，桌、椅、電腦等辦公用品基本上是不移動的，各幀的圖像之間差別很小，因此存在著大量的時間冗餘信息。
  • 小波變換教程(一):為什麼需要小波變換
    連結：http://users.rowan.edu/~polikar/WTtutorial.html該教程的目錄如下，主要分為四個部分：1）概覽：為什麼需要小波變換；2）基礎：傅立葉變換及短時傅立葉變換；3）多尺度分析：連續小波變換；4）多尺度分析：離散小波變換這是一篇引導性的教程，作者將給出小波變換的基本原理，而不會涉及公式和理論的證明。
  • 基於FPGA實現多種小波變換
    提升框架（LS ：Lifting Scheme） 是由Sweldens 等人在近幾年提出的一種小波變換方法，用它的框架結構能有效地計算DWT。對於較長的濾波器，LS 的操作次數比濾波器組的操作方式減少將近一半，更適合硬體實現。作者根據提升小波變換的框架式結構，利用FPGA 可完全重構的特點構造不同的小波變換核，以滿足不同應用場合的要求。
  • 基於小波變換的JPEG2000圖像壓縮編碼系統的仿真與
    引言本文引用地址：http://www.eepw.com.cn/article/192138.htm　　隨著多媒體技術的發展，出現了各種各樣的靜止圖像壓縮技術，其中最成功的當推JPEG標準。
  • 小波的秘密1-小波變換概況與綜述
    傅立葉變換將函數投影到正弦波上，將函數分解成了不同頻率的正弦波，這不能不說是一個偉大的發現，但是在大量的應用中，傅立葉變換的局限性卻日趨明顯，事實上在光滑平穩信號的表示中，傅立葉基已經達到了近似最優表示，但是日常生活中的信號卻並不是一直光滑的，而且奇異是平凡的，傅立葉在奇異點的表現就著實讓人不爽，從方波的傅立葉逼近就可以看出來，用了大量不同頻率的三角波去逼近其係數衰減程度相當緩慢，
  • Matlab傅立葉變換、餘弦變換和小波變換
    離散傅立葉變換的 Matlab實現3.2 二維小波變換的 Matlab 實現二維小波變換的函數別可以實現一維、二維和 N 維 DFTdwt2 二維離散小波變換wavedec2 二維信號的多層小波分解idwt2 二維離散小波反變換 Matlabwaverec2 二維信號的多層小波重構wrcoef2 由多層小波分解重構某一層的分解信號upcoef2
  • 小波變換 完美通俗解讀
    但這些年，小波在信號分析中的逐漸興盛和普及。這讓人不得不感到好奇，是什麼特性讓它在圖象壓縮，信號處理這些關鍵應用中更得到信賴呢?說實話，我還在國內的時候，就開始好奇這個問題了，於是放狗搜，放毒搜，找遍了中文講小波變換的科普文章，發現沒幾個講得清楚的，當時好奇心沒那麼重，也不是搞這個研究的，懶得找英文大部頭論文了，於是作罷。
  • 基於小波變換的圖像壓縮算法改進研究
    但是，隨著多媒體和網絡技術的快速發展和深入應用，海量的圖像信息與有限的存儲容量、有限的處理能力以及有限的網絡帶寬之間的矛盾日益突出。因此，圖像壓縮是必不可少的，同時，也已經成為了研究熱點。研究主要集中在兩個方向，一是通過減少各類冗餘信息以實現圖像壓縮;二是根據圖像數據分布情況及其出現頻率，確定合適的編碼方式，減少每個數據所佔的比特數，從而實現圖像壓縮。
  • 基於SI濾波器的一種小波變換的實現
    摘要：文中在應用對數域電路的基礎上，提出了一種新型的連續小波變換方法，它通過對母小波的一種數值逼近得到小波函數的有理公式，並以Marr小波為例來模擬這個逼近過程，並用Matlab對逼近過程進行仿真。
  • 基於離散小波變換的分布式光伏孤島檢測方法
    1 小波變換及其在電力系統中的應用小波變換[11-13]是一種類似傅立葉變換的線性變換，是對給定信號時頻的局部化，短時傅立葉變換也可以實現相同的功能，但是窗口的大小不隨頻率而變化。小波變換分析法又稱為小波時間和頻率變換法，在這種方法中高頻頻譜較窄，低頻頻譜較寬。
  • 完美通俗解讀小波變換,終於搞懂小波是什麼東東了
    比如說吧，傅立葉展開的本質，就是把一個空間中的信號用該空間的某個basis的線性組合表示出來，要這樣表示的原因，是因為傅立葉變換的本質，是。小波變換自然也不例外的和basis有關了。再比如你用Photoshop去處理圖像，裡面的圖像拉伸，反轉，等等一系列操作，都是和basis的改變有關。
  • 小波變換通俗解釋
    從傅立葉變換到小波變換，並不是一個完全抽象的東西，可以講得很形象。小波變換有著明確的物理意義，如果我們從它的提出時所面對的問題看起，可以整理出非常清晰的思路。下面就按照傅立葉-->短時傅立葉變換-->小波變換的順序，講一下為什麼會出現小波這個東西、小波究竟是怎樣的思路。
  • 高斯類小波變換的開關電流頻域法實現
    本文提出了一個以頻域中的高斯函數單元為核心的共享結構系統實現3種高斯類小波變換。在此頻域共享結構實現方案中，復用頻域高斯函數單元採用開關電流電路實現頻域高斯類小波變換系統，不同尺度上的高斯類小波變換可通過調節開關電流電路的時鐘頻率獲得，所提出的頻域共享結構高斯類小波變換系統適合於製成通用型小波變換晶片。
  • 圖像的二維提升小波變換的FPGA實現
    高階小波變化還可以用於實時處理視頻圖像信號，在減少編碼時間、提高壓縮比和降低失真度方面，都有很好的效果。因此，小波變換在圖像處理中具有十分優越的性能。本文引用地址：http://www.eepw.com.cn/article/150539.htm　　國際標準化組織和國際電子技術聯盟聯合推出的新一代靜止圖像壓縮標準JPEG2000採用了基於提升算法的離散小波變換。
  • 小波變換和motion信號處理(一)
    這是《小波變換和motion信號處理》系列的第一篇，基礎普及。第二篇我準備寫深入小波的東西，第三篇講解應用。本文引用地址：http://www.eepw.com.cn/article/201612/327996.htm記得我還在大四的時候，在申請出國和保研中猶豫了好一陣，骨子裡的保守最後讓我選擇了先保研。當然後來也退學了，不過這是後話。