目前,實景三維建模主要採用傾斜攝影技術來實現。而既然要做到實景建模,我們當然希望模型效果儘可能地反映真實世界,但是直接通過現有建模軟體生成的三維模型肯定有瑕疵。而這些瑕疵可能是由原理性因素與主觀性因素兩種情況造成的。
01
原理性因素
因為現有主流傾斜攝影三維建模軟體的原理都是基於影像特徵點提取和匹配來實現模型建立的,這就會導致當測區包含以下四種場景時,建模就可能出現問題。
1、無法反映物體真實紋理信息的反光面。
例如水面、玻璃、大面積單一紋理面的建築物。
2、慢速運動的物體,例如十字路口的汽車。
3、隨風晃動的植被。
無法匹配特徵點或者匹配的特徵點誤差較大的場景,例如樹木、灌木叢等。
4、複雜、鏤空的建築物。
例如護欄、基站、鐵塔、高壓線等。
對於1、2類型場景,無論怎麼提高原始數據質量,模型效果都不會有太大改善,甚至有可能隨著模型解析度的提高,建模的效果還會更差。而對於3、4類型場景,雖然可以通過提高模型解析度來改善一定的模型效果,但是仍然很容易出現空洞和拉花,而且低效。這四種場景下的模型瑕疵,是由傾斜攝影原理性問題導致的。而在現階段,這類問題不可避免。
02
主觀性因素
第二種瑕疵主要是由航飛作業參數的設置、航飛光影條件、數據採集設備、建模軟體等主觀因素變化導致的。其表現為模型建築物出現重影、整體拉花、融化、光影嚴重斑駁、建築錯位、變形、建築粘連等問題。
當然,這些問題也可以通過後期軟體修補的方式來解決。但是,接觸過相關工作的客戶應該比較了解,如果要進行大面積、大規模的模型修飾工作,花費的人力、時間成本是非常龐大的。
原始建模效果
精修模型效果
模型的修飾和精修不是本文討論的方向,如果大家感興趣,可以在評論區留言。我們將根據大家的關注程度,評估是否給大家介紹一些模型精修的經驗。
作為傾斜攝影相機研發廠家,睿鉑從設備研發的角度對這兩類瑕疵進行了深入思考:如何設計傾斜攝影相機,才能夠保證在不增加重疊度或者航片數量的條件下,提高建模效果呢?
為了方便大家理解,文章分成兩到三個部分。首先給大家講解一些相關參數的背景知識,以及大家可能對這些參數存在的誤解。後面再介紹睿鉑如何基於這些參數的相互關係,以提高模型效果為目標,來指Pros系列產品的研發。
03
什麼是焦距(f)
焦距是光學鏡頭一個非常重要的參數。鏡頭焦距的長短決定了被攝物在成像介質上的大小,也就相當於物和象的比例尺。
對於數位照相機(DSC)來說,其成像介質為圖像傳感器(主要是CCD與CMOS兩類傳感器)。數位相機在航測中使用時,鏡頭焦距的長短就決定了地面影像解析度(GSD)。
當在相同距離拍攝同一個目標物體時,鏡頭焦距長的,所成物象大;鏡頭焦距短的,所成物象小。鏡頭焦距的長短決定成像大小,視場角大小,景深和畫面的透視強弱。根據用途的不同,相機鏡頭的焦距相差可以非常大,有短到幾毫米,十幾毫米的,也有長達幾米的。航空攝影鏡頭焦距一般選在20mm~100mm這個區間(不考慮鏡頭畸變的影響)。
焦距示意圖
04
什麼是視場角(FOV)
在光學儀器中,以其鏡頭中心點為頂點,以被測目標物像可通過鏡頭的最大範圍邊緣所構成的夾角,稱為視場角。 視場角的大小決定了光學儀器的視野範圍,視場角越大,視野就越大,光學倍率就越小。通俗地說,如果目標物體不在視場角範圍內,則該物體反射或發射的光線就不會進入鏡頭內,也就無法成像。
視場角與焦距
05
焦距(f)與視場角(FOV)的關係
關於傾斜攝影相機焦距,客戶一般存在兩個誤解:
1)焦距越長,飛機飛行高度越高,影像覆蓋面積越大;
2)焦距越長,覆蓋面積越大,作業效率越高;
客戶之所以會有上面兩種誤解,原因就是沒有認識到焦距和視場角的關係。
二者的關係為:焦距越長,FOV越小;焦距越短,FOV越大。所以在畫幅物理尺寸、畫幅解析度和採集解析度相同的前提下,焦距的改變只會影響航飛的高度,而相機在地面覆蓋的投影面積一般是不變的。
還有一種更容易理解的方式。比如DG3pros每個鏡頭像素是6000x4000,以正射鏡頭為例:整張航片覆蓋的地面投影面積計算公式為GSD*6000XGSD*4000。如果航飛解析度是2cm,那麼就表示每一個像元覆蓋的地面投影面積為2x2cm,那麼整張航片覆蓋的地面投影面積為12000x8000cm,即120x80m。
從覆蓋面積計算公式可以看出:航片覆蓋面積與焦距無關,所以當解析度一確定,航片的覆蓋面積也就確定了,無論焦距如何變化,都不會影響航片的實際覆蓋面積。
06
焦距與效率的問題
明白了焦距與FOV的關係,大家可能會認為焦距的長短對於航飛效率沒有影響。對於正射攝影測量來說,這句話相對正確。(但嚴格來說,焦距越長,無人機飛的越高,耗能就越多,續航時間就會變短,整體效率也就降低了。)
而對於傾斜攝影來說,焦距越長,作業效率反而越低。傾斜攝影相機的傾斜鏡頭一般是傾斜45°放置,為了保證採集到測區邊緣外立面的影像數據,航線需要外擴。因為鏡頭45°傾斜,則會形成直角等腰三角形,假設不考慮無人機飛行姿態,以傾斜鏡頭主光軸正好拍攝到測區邊緣線作為航線規劃的要求,則無人機航線外擴距離等於無人機飛行高度。
所以如果航線覆蓋面積不變,短焦鏡頭的有效面積大於長焦鏡頭的有效面積。在之前的介紹Riy-pros作業效率分析一文中,才特別註明了表格作業效率僅代表無人機作業飛行的投影面積,有效區域面積小於航飛投影面積。
如果客戶只在地勢比較平坦的區域做地籍測量相關項目,為了提升作業效率,我們一般會推薦D2pros傾斜相機。如果客戶除了地籍項目,還有固定翼城市大面積項目,或者作業區域地勢比較複雜,在這種綜合場景下,我們一般會推薦DG3pros或者性能更優的DG4pros傾斜攝影相機。
通過上面的介紹,相信大家對焦距與視場角之間的關係有了一個初步的了解。從作業航飛參數設置,到後期模型的建立,這兩個參數的影子貫穿始終。
那麼到底這兩個參數對模型效果有什麼影響?下面,我們就介紹睿鉑是如何在產品研發過程中發現其中的聯繫,又如何在航高與效果的矛盾中尋求平衡。
從D2到D3
RIY-D2是專門針對地籍測量項目研發的一款產品,也是市場上最早採用下託掛式和鏡頭內對設計方案的傾斜攝影相機。
D2建模精度高,模型效果好,適合用於地勢平坦,樓層不太高的場景建模。但是對於落差較大,地形、地貌複雜(含高壓線、煙囪、基站等高層建築的場景),無人機的飛行安全會受到影響。
RIY-D2
實際作業中,的確有客戶因為沒有設計好航高,導致無人機掛高壓線或者撞基站;或者有些無人機雖然僥倖掠過危險點,但檢查航片時才發現,無人機離危險源非常近。這些危險和隱患,往往會造成客戶巨大的財產損失。
航片中的基站
所以有眾多客戶反饋:能否設計一款長焦距傾斜攝影相機,使無人機的作業高度更高,讓作業更安全?基於客戶的需求,我們在RIY-D2的基礎上,研發了長焦距版本的RIY-D3。相比於D2,在相同的解析度下,D3可以讓無人機作業航高提升約60%。
解析度與其對應航高
在研發D3的過程中,睿鉑研發人員一直認為更長的焦距可以有更高的飛行高度,更好的建模效果和採圖精度。
可實際作業後,才發現完全不是預想的那樣,D3相對於D2,建立的模型在屋簷下的拉花變得嚴重,而且效率相對較低。
為什麼焦距更長的D3的建模效果反而沒有D2建模效果好呢?
焦距與建模效果
關於焦距與建模效果的關係,大多數客戶都存在一些誤解,甚至很多傾斜攝影相機廠家都會錯誤地認為長焦距鏡頭對建模效果有幫助。
實際情況是:在其他參數相同的前提下,對於城市立面建築建模場景,焦距越長,模型的建模效果反而越差。
上文中第5點講解了焦距與視場角的關係:在其他參數相同的前提下,焦距只會影響航高。如圖所示,現有兩個鏡頭,紅色表示長焦鏡頭,藍色表示短焦鏡頭。長焦鏡頭與牆面所形成的最大夾角是α,短焦鏡頭與牆面所形成的最大夾角是β。
顯然:β>α
這個夾角大小表示什麼呢?鏡頭視場邊緣線與牆面的夾角越大,鏡頭相對於牆面也就越水平。在建築物立面信息採集時,短焦鏡頭能夠更水平地採集牆面信息,建立的模型也就能夠更好地反映出立面的紋理。
所以對於有立面的場景,鏡頭焦距越短,採集的立面信息越豐富,建模效果越好。
前面我們說到,對於有屋簷的場景,D3的建模效果沒有D2好。這是因為在地面解析度相同的條件下,鏡頭焦距越長,無人機航高越高,屋簷下面的盲區就會越多,那麼模型的拉花就會越嚴重。
如下圖所示,若虛線表示屋簷,則長焦鏡頭的視野被遮擋的部分相對更多。
所以這種場景中,擁有更長焦距鏡頭的D3比D2採集數據建立的模型拉花更加嚴重。
航高與效果的矛盾
根據上述焦距與模型效果的邏輯,如果鏡頭焦距足夠短,視場角足夠大,實際根本不需要多鏡頭,一個超廣角鏡頭(魚眼鏡頭)就可以把所有方向視角信息採集完。
超廣角鏡頭拍攝的航片
那是不是把鏡頭焦距儘可能地設計短,就萬事大吉?
顯然不是!先不提超短焦距會導致大畸變的問題,假如將DG3pros的正射鏡頭焦距設計成10mm,按2cm解析度採集數據,無人機航飛高度只有51米。
如果無人機搭載這樣設計的傾斜相機外出作業,肯定險象環生。
PS:雖然超廣角鏡頭在傾斜攝影建模中使用場景有限,但是對於雷射雷達建模卻很有實際意義。之前,美國的phoenix雷射雷達公司就曾委託睿鉑,希望設計一款搭配其雷射雷達產品的廣角鏡頭航測相機,用於地物判讀和紋理採集。
從D3到DG3
D3的實測數據讓我們認識到,對於傾斜攝影而言,焦距並不能單調追求長或者短。焦距的長短與模型的效果,航飛效率,作業飛行的高度密切相關。
根據《低空數字航空攝影規範》,相對航高的技術公式為:
H=f*GSD/a
H:相對航高
f:攝影鏡頭的焦距
GSD:影像地面解析度
a:像元尺寸大小
通過公式我們可知:
相對航高(H)與鏡頭焦距(f)是正比例函數,影像解析度(GSD)決定函數的斜率。無論焦距增加或者降低,航飛高度邊際變化的效用是不變的。
鏡頭視場角可以用下列公式表示:
θ=2arctan(d/2f)
θ:鏡頭視場角(fov)
d:傳感器尺寸
f:鏡頭的等效焦距
通過公式我們可知:
鏡頭視場角(θ)與鏡頭焦距(f)是反正切函數,當鏡頭焦距(f)無限趨近於0,鏡頭的視場角(fov)接近等於180°,即所謂的魚眼鏡頭。
其函數圖像為上圖所示:當鏡頭焦距(f)無限大,鏡頭的視場角(fov)無限小。在鏡頭焦距較短階段,函數斜率較大,焦距的變化對模型效果的提升邊際效用增大。
在鏡頭焦距在較長階段,函數斜率較小,隨著焦距無限增加,斜率趨近於0。表示隨著焦距的增加,焦距的變化對模型的效果提升邊際效用降低。
所以在鏡頭研發過程中,需要考慮的第一個問題就是:鏡頭的焦距值應該怎麼選取?短焦固然建模效果好,但是航飛高度低,存在極大的安全隱患;為了保證航飛的安全,則必須要把焦距設計長一些,但是盲目拉長焦距,又會影響作業效率和建模效果。
航高與建模效果存在一定的矛盾關係,我們必須在這些矛盾中尋求一個折中點。
基於對這些矛盾因素的綜合考慮,在D2、D3的基礎上,睿鉑研發出了DG3傾斜攝影相機。DG3既兼顧了D2的效果,又兼顧D3的航高,同時還增加了散熱和除塵系統,使之也能夠在固定翼無人機上使用。
RIY-DG3
DG3是睿鉑銷售最多的一款傾斜攝影相機,應該也是市面使用最廣泛的無人機傾斜攝影相機。
在DG3研發過程中,我們在同一場景中的設置不同參數來測試對比模型效果。在室內,我們也專門設計了模擬測試臺。
模擬測試臺
D3的應用
D3並非一無是處,它的長焦距鏡頭使它在以下場景中,有著非常好的建模效果。如自然災害的滑坡、泥石流這種落差大且非豎直面的場景。還有一些城市高樓場景,為了保證足夠的解析度也只有選擇D3。
D3的滑坡場景建模效果
不同場景的特點不一樣,為了保證模型效果,要根據具體的環境特點綜合考慮到底選取什麼設備來完成任務
後記
本文後半部分給大家介紹了睿鉑D2、D3、DG3三款相機在焦距問題上的研發歷程與思考。後續,睿鉑將繼續介紹為了進一步提高建模效果,pros系列傾斜相機做了哪些改進。
持續獲取更多產品升級、軟體技巧、行業前沿技術解析、新產品發布等消息!