摘要:
為了簡化系統配置、提高圖像採集及處理效率,實現單一光學系統環視高清全景成像,依據折反射式光學系統的工作原理,設計了高階非球面反射式360°全景鏡頭,並對光學結構和系統像質進行優化設計。該相機採用高階非球面反射鏡壓縮視場角,將垂直光軸方向俯仰角從-55°到20°的環視目標光引入到系統,接著,在後續光路中利用玻璃透鏡組對目標光進行接收,並使其聚焦於相機靶面,獲得物體的環形全景圖像。通過對系統像質的優化,得到高清的360°環視全景圖像,並對光學系統的主要性能指標進行了分析。所設計的360°全景鏡頭採用1片高階非球面反射鏡和10片玻璃球面鏡組成,系統的焦距為0.4 mm,光圈數為2.2,俯仰角達到75°,像方全視場在150 lp/mm處的光學傳遞函數值均大於0.3。該360°全景鏡頭採用單一光學系統成像,解決了傳統拼接式全景鏡頭圖像採集與圖像處理效率低的問題,同時通過簡化系統結構,使該產品符合成本低、可量產的要求。
關鍵詞:全景成像;高階非球面;折反射
1 引言
隨著平安城市的建設以及智慧城市的發展,安防監控產品及智能家居產品的需求在不斷提升,同時車載影像市場規模的擴大,促使民用智能全景攝像機日益精進。而為了擴大相機的拍攝視場角,進而獲取更多的圖像信息,360°視場角的全景攝像機應勢而生。將成像技術與模式識別技術相結合,可將全景相機感知到的海量數據信息進行分析、加工並處理出有意義的信息,使其在家庭安防監控、消費娛樂電子設備、車載影像及視覺傳感器等領域均得到廣泛應用。由於傳統鏡頭的成像視場角受限,目前市場上的360°全景相機均是採用多鏡頭拍攝,再通過圖像的無縫拼接技術實現的全景成像效果,這種相機不僅結構複雜,價格昂貴,同時圖像的採集和處理效率將大大受限。因此,一款兼具廉價、便攜及快速獲取圖像信息的全景相機是實現可智能化、一體化技術優勢的重點研究方向[。近年來,國內外研究者對環視全景成像技術開展了大量研究,Conroy L等人研究了採用兩個反射鏡配合相機組成的立體視覺系統。Christopher Mei等人研究了單視點全向平面柵格的全景成像相機標定方法。北京理工大學徐岸人等採用雙曲面反射鏡設計全景成像。哈爾濱工業大學課題組設計了凹面反射鏡獲取環形全景圖像的柱形物體成像系統。浙江大學課題組對單視點及非單視點折反射相機模型進行了研究,並提出全景凝視成像方法,獲得了成像視場角為180°的圖像[。然而受限於光學元件的加工工藝,至今未有單一光學系統實現360°全景成像的可量產產品報導。
本文主要進行360°環視全景光學系統的設計及優化,利用光學的反射和折射原理,將高階非球面反射鏡引入到全景成像光學系統中,其接收目標光的垂直光軸方向俯仰角可從-55°至20°,在不需要雲轉臺及多鏡頭圖像拼接的情況下,採用單一光學系統即可實現水平360°視場角的無盲區覆蓋,有效提高了圖像採集與識別的準確度和速度。結構上也較傳統折反射式光學系統有所簡化,大大降低了產品的生產成本。同時該全景攝像機還具有畫面解析度高、可遠程實時視頻傳輸、可與手機互動、便於攜帶等優點。
2 設計分析
2.1 性能分析
研究設計的全景相機,是基於光軸旋轉對稱的360°廣角成像透鏡的全新投影方案,其中透鏡的視場和圖像傳感器的尺寸直接反射而沒有任何參考透鏡的有效焦距。另外提供了實施開發的投影方案的廣角鏡頭的明確示例。通過高階非球面反射投影的方式,經透鏡組元件得到360°無死角無縫對接環視全景成像,採集使用者感興趣的圖像信息,得到滿意的圖像。研究設計的全景攝像機實現在360°環視全景成像上,較傳統的高速快球攝像機所具有的性能優勢如表 1所示。
2.2 設計原理
高階非球面反射式全景成像的系統成像結構示意圖如圖 1所示,其基本的成像規律分為單視點成像和非單視點成像。當入射到反射鏡面的光線的延長線交於一點則為單視點成像,否則即為非單視點成像,單視點的成像約束可以計算得出反射鏡面的特定二次曲面,非單視點成像則是根據不同投影方式得到反射鏡面的離散數值解,通過高階方程擬合得到高階曲面方程。而反射鏡面的設計是根據物點距離像平面的高度與像點距離圖像中心的半徑成線性關係,通過設定不同的比例係數,得到不同形狀的反射面,反射鏡面與系統成像質量關係密切,通過對不同比例係數的分析,可以得出解析度及像散所受到的影響,依據物體尺寸,得到最優比例係數,從而實現高清成像。
圖1. 360度反射式全景系統成像結構示意圖
反射鏡面的設計中,採用垂直投影均勻解析度的原理進行形狀設計,如圖 2,設定相機的中心為O,有效焦距為f,反射鏡面中心為Om,物體視為中心旋轉對稱,反射鏡面也設定為旋轉對稱的形狀,故在此僅對垂截面的曲線方程進行計算分析,最後再通過中心旋轉得到完整的反射鏡面。反射鏡曲面微分方程的初始值為曲線頂點與成像面的距離d。設待測物體的高度H=50 mm,半徑R=20 mm。物體上A點反射的入射光線在曲面上的點為B,該點的法向量為n,反射光線根據小孔成像的原理,成像於像面C點,該點距離像面的中心為R′。設定物體到相機平面的距離為d′,入射光線與相機的光軸夾角為α,反射光線與相機的光軸夾角為β。入射角等於反射角,其值為θ。反射面B點切線與水平軸夾角為Ф。那麼,設反射曲面的截面方程為z= F(r),截面曲線繞光軸旋轉一周即得到曲面方程。
圖2. 360度全景鏡頭反射鏡面設計原理示意圖
由於反射面滿足光學反射定律,入射角等於反射角,且滿足垂直場景無畸變,故投影關係滿足物高d′與像點半徑R′成線性比例關係。故可得到以下方程(1)~(3):
其中a和b為比例係數。在式(1)、(2)中消去θ,得到2Ф=α-β,即得到等式(4),由於Ф是鏡面點切線與水平方向的夾角,因此得到等式(5),根據幾何關係,可得到等式(6)~(8):
聯立以上方程,得到反射鏡的微分方程如式(9):
9
上式可以簡化為式(10):
10
根據給出具體參數即可求解微分方程,得到反射鏡面的曲面方程。在已知物體的尺寸半徑R和相機的焦距f,曲線的投影方程比例參數係數a、b,及鏡面距離d時,就得到確定的鏡面曲線。為了得到高清的360°環視圖像,應對曲面參數進行優化,找到滿足系統光學指標的最優值,得到符合要求的解析度和像散。
3 設計及優化
3.1 光學設計
設計的高階非球面反射式高清360°環視全景相機,要求水平視場角為360°,光圈數F=2.2,焦距為f=0.4 mm,俯仰角為20°至-55°。以下是詳細的系統光學結構,優化分析以及設計結果。
首先,通過MATLAB中的ode45求解器來求解2.2推導的反射鏡面常微分方程的數值解,再通過曲線擬合得到非球面反射鏡面的高階方程[21]。高階非球面的表示方式如式(11)~ (13)所示。採用最小二乘法得出擬合的高階非球面方程的係數如表 2。
其中:c為頂點曲率,e為離心率,a2,a3,a4為高階非球面係數。
高階非球面係數初步計算後,選擇合適的初始結構,設計球面透鏡系統成像,並選用合適的CCD裝配。採用zemax軟體進行仿真,分析系統的成像質量。光學系統的設計指標要求:成像目標距離50 mm時,可分辨細節為1 mm。設計鏡頭要求可搭載1/4 inch的CCD相機,,全視場接收像面直徑D為2.7 mm,,得到的圖像解析度與相機像素尺寸的2倍成反比,故設計要求像方全視場解析度應達到150 lp/mm,鏡頭的相對照度不低於60%。採用光圈數和視場角與設計要求相近的初始結構,如圖 3所示。鏡頭由一片塑料高階非球面鏡以及10片玻璃球面透鏡組成,光學性能指標f=1.0 mm,視場角為全視場75°,軸外光線在高階非球面反射鏡的反射作用下會聚到前組透鏡組,即第2片負透鏡,在第2、3片負透鏡作用下發散,分擔較大視場,增大通光口徑。接著採用三膠合透鏡結構,消除位置色差及球差。然後再用一片正透鏡壓縮光線角度,減小其承擔的視場,有助於後續校正像差。由於第2、3片負透鏡使得系統存在桶形畸變,由於邊緣視場照度會呈現緩慢下降趨勢,少量畸變的存在,可使照度得到相應補償。後組先經過正透鏡壓縮視場,再通過與前組方向相反的三膠合結構進行畸變補償,並進一步校正系統像差。
圖3. 360度全景鏡頭系統結構光路圖
通過對鏡頭的焦距f進行整體縮放,使之向目標焦距值靠近,焦距縮放至f′=0.4 mm,優化過程中,為了保證透鏡的量產性,凹面鏡的曲率半徑要大於鏡片口徑的0.9倍,像面半高度限制在1.35 mm,並將垂直光軸方向為基準的俯仰角為增大至20°至-55°。並控制TTL總長度小於50 mm,系統中非球面反射鏡採用塑料模壓製備,玻璃透鏡採用成都光明的環保型玻璃製備。通過操作數MTFA、MTFT、MTFS優化像質,予以適當權重,並通過AXCL、LACL操作數控制色差。
優化過程中通過像差情況調整目標值以及權重值,同時在評價函數中自建立控制操作符以控制整個光學系統的高級像差,反覆優化使其達到設計要求。經過優化,得到的系統光路圖、傳遞函數MTF、點列圖、相對照度如圖 4所示,系統各個視場在150 lp/mm條件下的MTF值均大於0.3,並在低頻具有良好的反差,傳遞函數曲線相對集中、平滑,對比度以及成像質量較好,符合設計要求。
圖4.360度全景鏡頭
3.2 畸變評價
系統採用反射鏡面要獲得大視場的圖像信息,就只能增大反射鏡的曲率半徑,但這樣又會使得圖像的畸變變大,所以說大視場必然會帶來圖像的變形,需要權衡兩者之間的關係。由於系統的傳遞函數MTF在評價像質時,不能衡量畸變,而非球面反射式成像系統採用平面圓柱投影法進行成像,將三維轉換到二維圓環區域,採用常規的方形區域的畸變評價方式並不適用。為了合理的描述系統的成像畸變問題,引入反射角光線追跡的方法。已知反射角為β,如圖 2所示,其在垂直於像面的成像高度為tan β·f,tan β·f可以看作理想像高,主光線與像面的實際交點位置為實際的成像位置,我們用相對畸變來表示畸變量,其定義為主光線實際像高與理想像高的差值與理想像高的比值,即:
14
其中:p為相對畸變,ri為主光線實際像高,β為主光線反射角,f為光學系統有效焦距。經過設計及優化,通過式(14)計算得到,成像相對畸變均小於60%。圖 5為光學系統的場區及畸變曲線。
圖5.畸變
為了測試設計的全景鏡頭的實際畸變,對1 cm×2 cm的方格陣列採集圖像,如圖 6所示。全景鏡頭採集的原始圖像如圖 7(a)所示,測量計算其實際畸變約為58%,與理論計算結果相符。通過算法展開的二分圖像如圖 7(b)所示,其徑向相對畸變經過算法校正後低於4%。
圖6.測量全景鏡頭畸變實驗
圖7.全景鏡頭
4 樣品實拍及圖像顯示
360°全景攝像機可應用於智能監控、視覺傳感器、商務視頻會議等場景,圖 8為實際生產的樣品實拍圖,圖 9為應用場景的成像效果展示,和圖像展開效果。可見其實現了360°環視高清無死角成像,且成像清晰,徑向畸變很小,不影響圖像的展開效果。滿足了設計要求,在實際應用中有著不可估量的前景。
圖8.360°環視全景鏡頭和相機樣品
圖9.全景圖像
5 結論
本文介紹了實現單一光學系統全景成像的高階非球面反射式360°全景鏡頭的設計。首先通過高階非球面反射鏡獲取成像裝置周圍環視360°的物體表面信息,然後通過透鏡組成像獲取圖像,接著優化了成像像質及光學結構,最後得到高清環視360°全景圖像。系統焦距為0.4 mm,F數為2.2,水平視場角為360°,垂直光軸方向俯仰角為20°至-55°,半像高為1.35 mm,像方全視場解析度為150 lp/mm處對比度大於0.3,鏡頭的相對照度不低於80%。該系統TTL總長為46.7 mm,後工作距為2.5 mm,設計的成本低、體積小,生產出的成品外觀美觀,本設計在產品化中具有行業領先優勢。(來源:光學精密工程 2018, 26(8):1977-1984. )
九月廣告位低價出售
詳情查看:http://www.opticsky.cn/read-htm-tid-134685.html
光行天下:http://www.opticsky.cn
廣告合作:QQ 9652202 微信號 cyqdesign
免費人才與求職平臺:http://hr.opticsky.cn
稿件投遞:service@opticsky.cn