基於FPGA的四通道視頻縮放引擎的研究及設計

2021-01-15 電子產品世界

數字視頻縮小和放大（簡稱縮放）是視頻處理的一個重要分支，是基於對數字視頻每幀圖像的處理來實現的。常見的縮放算法有最近鄰域法、雙線性插值法、拋物線插值法、雙三次插值法和牛頓插值法等基於多項式的插值算法[1]，較容易在FPGA硬體上實現；也有B樣條插值法、基於小波插值和有理插值等比較複雜的算法，難以在FPGA上實現。

近年來隨著液晶平板顯示器件的廣泛應用，對於定標器的研究越來越多且研究成果也很豐富。但定標器的縮放比例有限，一般在0.5~4之間，在這個範圍內採用2階或3階多點插值算法，圖像的邊緣和細節可以較好保存。但是採用定點插值法，當文字縮小比例較大時，會丟失較多的細節，出現字體筆畫斷裂或者鋸齒現象。而採用低階算法(例如多點均值插值)，參與運算的點較多，可以有效提高文字的顯示質量。

1 系統架構

系統架構如圖1所示，先對輸入視頻的解析度進行檢測，將檢測值送至MCU，MCU用其確定縮放步長；然後對視頻進行縮小操作。如果要對信號進行放大，則繞過該模式；接著將視頻數據送至IFIFO緩存，由仲裁器和DDR2控制器實現4個通道數據的幀率變換後，視頻數據送至OFIFO模塊；接著數據被送至放大模塊，完成放大操作。如果要對視頻信號進行縮小，則繞過該模式；最後將完成處理的RGB視頻信號輸出。整個縮放過程所需要的縮放步長、通道選擇等配置信號全部由MCU通過本地總線配置FPGA。


其中，f(x，y)為縮小圖像某點的像素值，f(xi，yi)為圖像子塊中各點的像素值。

實現結果如圖5所示，較好地保證了文字的正常顯示。

本文引用地址：http://www.eepw.com.cn/article/201706/349166.htm

4 幀率變換

4.1 輸入緩存 IFIFO

每一路IFIFO都需要在FIFO中數據量大於1/2 FIFO深度時向仲裁模塊發送佔用DDR2總線的請求信號REQ，應答信號AGREE有效時，向DDR2控制器發送數據。當完成一定量的讀出數據時，往仲裁模塊發送一個發送結束信號END，仲裁模塊接收到END信號後將DDR2總線控制權收回，IFIFO等待下一次應答。

4.2 輸出緩存OFIFO

其實現原理與IFIFO類似，只是該模塊的輸入端工作在DDR2工作時鐘域，輸出模塊工作在幀率變換後的視頻圖像的像素時鐘域。

4.3 仲裁

共有4路輸入和4路輸出佔用DDR2帶寬，需要劃分時間片來保證各個通道能夠順暢地顯示，優先級依次為第1、2、3、4通道讀，第1、2、3、4通道寫。本模塊採用狀態機控制，狀態機在上述8個狀態中循環跳轉，然後跳回IDEL狀態，開始下一輪循環。

仲裁模塊的另一個任務就是讀寫DDR2地址的生成。將DDR2的存儲空間劃分為4個部分，每個部分存儲一路視頻信號，每路視頻信號存儲3幀。同時讀DDR2時，命令設置為讀操作；寫DDR2時，命令設置為寫操作。

現就一路視頻實現幀率變換討論如下：創建3個指針分別指向3幀數據的DDR2空間基地址，系統啟動時，讀指針rd_pointer、當前寫指針current_wr_pointer和之前寫指針pre_wr_pointer分別按照圖6所示的狀態圖在3個基地址之間跳轉。

最近鄰域插值法存在很強的波瓣，頻率響應較差。當圖像中包含像素值有變化的細微結構時，最近鄰插值會在圖像中產生人為的痕跡，造成圖像模糊或產生人為噪聲點。

線性插值法頻譜的旁瓣遠小於主瓣，帶阻特性較好。但通帶內高頻成分衰減過快，會使得插值後的圖像變模糊。
四點立方插值通帶內高頻成分衰減明顯變慢，且旁瓣不超過1%，具有較好的高頻響應特性，縮放後的圖像能夠保持更多細節。

六點立方插值算法的頻率響應特性更加優越，通帶內高頻成分衰減更慢且旁瓣更低。

四點立方插值較好地保持了圖像的細節，實現難度和佔用邏輯資源適中。六點立方插值雖然實現效果更好，但是佔用的邏輯資源較多。故本設計採用四點立方插值算法實現視頻的放大操作。

5.2 插值基函數

圖像插值縮放具有二維可分解的特點，可以將二維圖像的插值分解為分別沿x和y方向的一維信號插值[3]。一維方向上，利用插值點的四個臨近像素點進行三次插值， Keys將sinc離散函數進行泰勒級數展開後，使三次分段多項式和原始信號的泰勒級數展開式儘可能多項吻合，以此推導出插值基函數表達式[4]。


5.3.1 抽頭係數的產生

將插值的係數存在ROM中，這樣雖然使用三次方插值，但是不用在FPGA中實現三次方的運算，提高了運算速度。例如原圖像一行有3個像素，要求插值後的圖像一行有8個像素，則新圖像一行的第5個點在原圖像中映射的坐標為[(5-1)×2/7]+1=15/7=2+1/7≈

′b0010.1001，整數2為其原圖像中左邊臨近的像素點坐標為2，1/7表示其與坐標為2的原圖像像素的距離為1/7。此時將小數部分1001作為地址讀出存儲在該地址的抽頭係數，將其送給卷積器。

5.3.2 插值參考點控制

放大時，對縮放步長進行累加，當小數向個位數進位時，開始讀取一個新的數據。例如計算插值後圖像某個點時，採用原圖像的x4、x5、x6、x7作為插值參考點，則當步長累加器有進位時，讀取下一個像素值x8，同時將x5、x6、x7移到x4、x5、x6的寄存器位置，而x8則存入之前x7的位置，這樣就可以實現從原圖像向目標圖像的地址映射，避免從目標圖像到原圖像地址映射過程出現的乘法運算。

5.4 行緩存

行緩衝存儲器的主體為若干個存儲容量相同的雙口隨機存儲器(DRAM)，每個DRAM存儲一行的有效像素數據。
為了確保行緩存不溢出，開闢6個行緩存器，存儲時按順序1-2-3-4-5-6-1循環存放，讀取時按循環次序讀取。

5.5 垂直方向放大

垂直方向放大濾波器架構和水平方向一樣，只是插值參考點來自於不同的行緩存空間裡相同地址的數據。
本文採用Xilinx公司的Virtex-5系列XC5VLX50T-1FFG1136C型號的FPGA實現，可用用戶IO管腳480個，滿足4路視頻信號輸入、4路視頻信號輸出和一路16 bit本地總線需求。內部可用Slice 7 200個， Block RAM Blocks最大為2 160 KB，滿足4路視頻信號每路緩存6行數據需求。輸入DVI視頻信號用Silicon Image公司的SiI 1161解碼成並行RGB數據送至FPGA，輸出的並行RGB視頻信號用SiI 1160編碼成DVI視頻信號輸出顯示。實驗結果表明，在4個通道輸入均為352×288(CIF格式)解析度、均放大為1 920×1 080輸出顯示時，無方塊效應，輸出穩定順暢；在4個通道輸入均為1 920×1 080解析度、均縮小為352×288輸出顯示時，畫面質量良好，且文字筆畫圓潤，無筆畫斷裂或者模糊不清的現象。


相關焦點

  • 基於TW2834四通道視頻控制器的
    摘要：TW2834是TechWell公司生產的一款四通道視頻控制器，該器件具有高效四通道視頻模數／文中通過對TW2834的0SD功能分析，詳細介紹了利用TW2834晶片視頻上疊加漢字信息，從而實現視頻監控的設計方法。
  • 基於FPGA IP核的FFT實現
    目前現有的文獻大多致力於研究利用FFT算法做有關信號處理、參數估計、F+FT蝶形運算單元與地址單元設計、不同算法的FFT實現以及FFT模型優化等方面。而FPGA廠商Altera公司和Xilinx公司都研製了FFT IP核，性能非常優越。在FFT的硬體實現中，需要考慮的不僅僅是算法運算量，更重要的是算法的複雜性、規整性和模塊化，而有關利用FFT IP核實現FFT算法卻涉及不多。
  • 基於FPGA的無損圖像壓縮系統設計
    編者按：　　摘要：本文簡要介紹了圖像壓縮的重要性和常用的無損圖像壓縮算法，分析了快速高效無損圖像壓縮算法(FELICS)的優勢，隨後詳細分析了該算法的編碼步驟和硬體實現方案，最後公布了基於該方案的FPGA性能指標。
  • 基於FPGA高精度浮點運算器的FFT設計與仿真
    摘要 基於IEEE浮點表示格式及FFT算法，提出一種基2FFT的FPGA方法，完成了基於FPGA高精度浮點運算器的FFT的設計。利用VHDL語言描述了蝶形運算過程及地址產生單元，其仿真波形基本能正確的表示輸出結果。
  • 基於DSP和FPGA的機器人聲控系統設計與實現
    系統硬體分為語音信號的採集和播放，基於dsp的語音識別，fpga動作指令控制、步進電機及其驅動、dsp外接快閃記憶體晶片，jtag口仿真調試和鍵盤控制幾個部分。語音信號特徵向量採用mel頻率倒譜係數mfcc(mel frequency cepstrum coeficient的提取，mfcc參數是基於人的聽覺特性的，他利用人聽覺的臨界帶效應[3]，採用mel倒譜分析技術對語音信號處理得到mel倒譜係數矢量序列，用mel倒譜係數表示輸入語音的頻譜。
  • 基於FPGA的結構光圖像中心線提取
    利用現場可編程門陣列器件(FPGA)的流水線技術以及並行技術的硬體設計來完成運算，保證了光條紋中心點的實時準確提取。實驗表明採用FPGA 實現圖像處理的專用算法能滿足圖像數據進行實時準確提取的要求。基於數字圖像處理的特點是處理的數據量非常大，處理非常耗時。所以本文研究了在FPGA上用硬體描述語言實現圖像的中心線提取算法，採用了極值法、閾值法和重心法相結合的中心線提取方法。通過功能模塊的硬體化，以便高速提取結構光中心線。結果表明，實驗系統達到了基於視頻速度的應用要求。
  • 基於fpga二維小波變換核的實時可重構電路
    項目背景及可行性分析本文引用地址：http://www.eepw.com.cn/article/266432.htm　　2.1 項目名稱及摘要：　　基於fpga二維小波變換核的實時可重構電路　　現場可編程門陣列為可進化設計提供了一個理想的模板
  • 基於FPGA的實時中值濾波器硬體實現
    高清視頻監控逐漸成為市場的熱點，視頻監控不僅要求把現場圖像捕獲並保存，而且還要儘可能清晰。在許多實際應用場合，如高清視頻監控、X光圖像的降噪等，需要快速且實時地進行中值濾波，軟體實現達不到實時處理的要求，因此選用硬體實現。 在硬體實現上，文獻[1]、[2]等採用行延遲的方法形成鄰域數據，以實現3×3的中值濾波。文獻[7]為了提高紅外成像跟蹤器設計了大窗口的中值濾波器。
  • 新的LatticeECP4系列重新定義低成本、低功耗FPGA
    對於為各種應用開發主流平臺， LatticeECP4器件是非常理想的，如遠程無線射頻頭、分布式天線系統、蜂窩基站、乙太網匯聚、交換、路由、工業網絡、視頻信號處理、視頻傳輸和數據中心的計算。此外，多達576個乘法器可以級聯在一起構成複雜的濾波器，用於無線遠程射頻頭（RRH）、基於MIMO射頻天線的解決方案，以及視頻處理的應用。
  • 基於Spartan-6 FPGA的Sinc3 Filter設計
    濾波器相關文章:濾波器原理 fpga相關文章:fpga是什麼 濾波器相關文章:濾波器原理 電源濾波器相關文章:電源濾波器原理
  • 基於FPGA的RCN226絕對式編碼器通信接口設計
    本文研製了一種用於交流伺服系統中的基於FPGA的絕對式編碼器智能接口，實現與絕對式編碼器的雙工通信，接收高速數據流，同時在FPGA內部開闢RAM空間，將收到的編碼器數據存入RAM中，DSP可以以訪問內存的方式讀取數據，提高了工作速度。同時，該接口還具有奇偶校驗等糾錯功能，完全可以替代廠家提供的接收晶片，大幅度降低了產品成本。
  • 基於FPGA的巴特沃茲IIR數字帶通濾波器設計
    由圖1可見，系統的上、下邊帶分別為150Hz和30Hz，滿足系統設計要求。4.FPGA設計4.1 濾波器的結構同一系統函數的IIR濾波器可以用不同的結構來實現，如直接I型、直接II型(典範型)、級聯型和並聯型。不同的結構有不同的特點，為便於硬體實現及容易確定數據位數，本文選用直接I型這一結構形式。系統的直接I型結構如圖2所示。
  • 基於FPGA+MATLAB的串行多階FIR濾波器設計
    摘要 FIR濾波器的設計分為濾波器係數計算和濾波器結構的具體兩個部分。2 使用MatIab Fdatool設計FIR濾波器FDATool(Fliter Design & Analysis Tool)是Matlab信號處理工具箱專用的濾波器設計分析工具，操作簡單、靈活，可採用多種方法設計FIR和IIR濾波器。在Matlab命令窗口輸入FDATool後回車就會彈出FDATool界面。
  • 基於FPGA的複數浮點協方差矩陣實現
    對於數據預處理的研究，目前已經有了一些比較成熟的算法。對於一個偶數陣元的對稱陣列(包括均勻線陣和均勻圓陣)，相關研究表明，可利用其對稱性，分成兩個完全對稱的子陣，選擇合適的參考點，構造互為共軛對稱的方向矩陣，進而構造一個線性變換矩陣，即可達到將複數矩陣轉化為實數矩陣的目的。 對於奇數陣元的均勻線陣，也有相關研究成果表明，通過構造一個酉矩陣，也可以達到數據預處理的目的。
  • 一種基於FPGA的全光纖電流互感器控制電路設計
    相比之下，光纖電流互感器具有抗電磁幹擾能力強、絕緣可靠、測量精度高、結構簡單和體積小巧等諸多優點，是當前研究熱點。作為光纖電流互感器的核心部件，其檢測和控制電路對電流檢測精度和範圍具有非常重要的影響。光纖傳感頭將攜帶有相位差信息的光信號輸入到光電探測器(相位差與光電探測器輸出信號幅度成正比)，光電探測器輸出的電壓信號首先進行隔直處理，再經過放大和濾波後，經A/D(模數轉換器)轉換為數位訊號，然後送入基於FPGA的數位訊號處理單元。
  • 基於FPGA的伺服驅動器分周比設計與實現
    為此提出一種基於FPGA的整數分周比實現方法。該方法邏輯結構簡單，配置靈活，易於擴展，具有很高的實用價值。　　1 電子齒輪比與分周比　　電子齒輪比與分周比是數控工具機和數控加工中心中一個很重要的概念。國外的各種驅動器一般都帶有分周比功能，對利用FPGA實現分周比進行研究和探討，電子齒輪比、分周比功能示意圖如圖1所示。
  • 基於FPGA與有限狀態機的高精度測角系統的設計與實
    1 方案設計1.1 系統組成雷射跟蹤測量系統的核心處理模塊主要由ARM處理器，FPGA組成。為了充分利用ARM9微處理器的運算能力和FPGA的高速邏輯處理能力，在設計中對功能的實現進行了劃分。ARM9 用於運動控制平臺的控制並且與FPGA一起形成一個完整的應用平臺。
  • 一種基於FPGA的實時紅外圖像預處理方法
    針對這一問題，提出一種基於FPGA的實時紅外圖像預處理方法。該方法採用了流水線技術來並行完成非均勻校正、空間濾波、直方圖統計等多個紅外圖像預處理算法，對系統結構進行了改進和優化。經過實驗測試驗證，該方法合理可行，能夠實時高效地完成紅外圖像預處理任務。與DSP圖像預處理系統相比可以節約將近50％的處理時間。
  • 高雲半導體FPGA系列面世 為國產FPGA注入活力
    、基於現場可編程門陣列(FPGA)的IP軟核平臺——「星核計劃」三大產品。可支持從1.2V到3.3V的輸出電壓，驅動電流可配置，多種廣泛應用的輸入輸出協議如LVTTL、LVCOMS、PCI、HSTL、SSTL、RSDS、LVDS等;8個通用鎖相環工作範圍從3MHz到500MHz並提供多種用戶時鐘操作模式;動態I/O bank控制器的獨立模塊的待機工作模式以及更低的工作電壓;可使用3.25Gpbs SERDES多達八通道;支持廣泛的接口標準，包括DDR2、DDR3、ADC、視頻
  • fpga/cpld - fpga_電子產品世界
    正文：過去三十年間，基於伺服器的計算曆經多次飛躍式發展。上世紀 90 年代，業界從單插槽獨立伺服器發展到伺服器集群。緊接著在千禧年，產業首次看到雙插槽伺服器，再後來，多核處理器也問世了。英特爾® eASIC N5X通過FPGA中的嵌入式硬體處理器幫助客戶將定製邏輯與設計遷移到結構化ASIC中，帶來了更低的單位成本，更快的性能和更低的功耗等好處。