長期以來，我國民航機場場面運行管理主要由空管塔臺管制相關席位負責。對於大型繁忙機場，場面布局複雜，在塔臺視野上通常都存在一定的盲區。如圖1所示，該圖為從谷歌地圖上截取的廣州白雲機場圖片，從圖中可以看到，塔臺以北標註有紅線的扇形區域存在很大的盲區；圖2為雙流機場的情況，對於機場新增的跑道，原有塔臺的監視距離較遠，監視效果不理想，為解決該問題，雙流機場被迫耗費巨資新建塔臺。因此，對於大型機場，採用傳統管制方式無法滿足目視要求。
圖1 廣州白雲機場
圖2 成都雙流機場
隨著我國民用航空事業的快速發展，中小型機場在促進地區經濟和社會發展的過程中發揮了重要的作用，並逐漸成為區域交通系統中的骨幹節點。但是，大部分中小型機場都存在著佔用時間較短的問題，通常一天內飛機起降的次數不超過10個架次；同時需要配備一定數量的空管人員和設備以保證其正常運行。而配備這些設施的成本，將佔到一個小型機場總成本的20%，在市場競爭如此激烈的環境下，這項成本對於許多中小型機場來說是無法承受的。因此，當前中小型機場面臨著使用效率偏低和經濟成本投入較高等方面的問題。
不僅我國的中小型機場存在上述問題，就連歐美等航空業較發達的國家也存在此類問題。為了解決這一問題，歐美等國家的相關部門和研究機構，如FAA、EUROCONTROL、NASA等，提出了遠程塔臺的概念。遠程塔臺的基本思想旨在從物理層面上將傳統的塔臺管理，由遠程機場轉移到集中式的指揮中心裡。通過在機場裡設置一定數量的攝像機，將機場內跑道、停機坪等重要區域的信息以視頻方式實時傳輸到遠程塔臺中，再利用視頻、圖像以及圖形處理技術，讓管制員在遠程塔臺中不僅獲得如同真實塔臺一樣的感受，而且可以得到比傳統塔臺更加豐富的管制信息，從而幫助管制員更好地完成空中交通管制工作。
目前，歐美在遠程塔臺領域已經做了大量的研究工作。2015年，瑞典薩博集團（Saab）的首個遠程塔臺系統宣布在瑞典恩舍爾茲維克機場投入使用；2017年，遠程塔臺和數位化機場解決方案提供商Searidge Technoologies公司開發的遠程塔臺系統在匈牙利布達佩斯機場正式投入運行，該系統成為首個獲得現場運行認證的遠程塔臺項目。圖3為布達佩斯機場遠程塔臺視覺控制室。
圖3 布達佩斯機場遠程塔臺視覺控制室
由於遠程塔臺是一個比較新的概念，加之民航技術又是一個很特殊的領域，目前國內很少有單位或機構從事這方面的研究。民航二所是國內較早進行遠程塔臺技術研究的單位，先後承擔了包括國家自然科學基金項目、科研院所技術開發研究專項、四川省科技計劃項目等在內的多個項目，成功研製了機場全景增強監視系統，該系統已在桂林、達州、九黃、鹽城、重慶、銀川等國內多個機場建成使用。目前，民航二所已提出適用於大型繁忙機場的遠程塔臺整體技術解決方案，已初步實現全景視頻與監視數據融合，突破視頻目標掛標牌識別等關鍵技術。2017年，受民航局委託，民航二所在廣州白雲機場開展了遠程塔臺技術試點驗證工作，旨在為全民航遠程塔臺全套技術方案提供標杆和示範。
根據我國民航發展「十三五」規劃，我國將新建以及續建74個機場，建成機場超過50個，到2020年，我國民用運輸機場數量將發展到260個以上，對於遠程塔臺系統來說，僅國內就存在幾十億元的潛在市場。並且，該系統的研製符合我國民航空管設備的國產化和可持續發展戰略，今後將在新機場建設和老機場改造過程中發揮重要的作用。
1 遠程塔臺系統技術路線
遠程塔臺系統由前端監視傳感器、伺服器組及遠程塔臺席位組成，前端監視傳感器包括全景監視前端、ADS-B、多點定位和A-SMGCS、氣象無人值守觀測、管制員-飛行員陸空通信等設備。伺服器組由視頻數據、A-SMGCS 數據、飛行數據、氣象數據、語音等伺服器組成。伺服器處理後的數據通過遠程傳輸鏈路送給遠程塔臺管制中心，遠程塔臺席位由全景視頻高清拼接大屏、A-SMGCS 顯示終端、電子進程單、氣象信息、飛行數據、PTZ（Pan-Tilt-Zoom，雲臺控制模塊）、燈光控制、語音通信、內話系統組成。系統總體框架如圖4所示。
圖4遠程塔臺系統整體框圖
軟體系統方面，主要分為全景視頻拼接模塊、視頻圖像增強模塊、視頻數據與監視數據融合識別模塊、雲臺跟蹤控制模塊、A-SMGCS數據處理模塊、氣象視頻分析模塊、語音數據處理模塊、燈光控制模塊及遠程傳輸模塊等。由於遠程塔臺終端接收的是多路高清視頻流，數據量非常大，因此採用多CPU+GPU的方式進行並行處理以滿足系統的實時性需求。軟體部分各模塊框圖如圖5所示。
圖5遠程塔臺軟體部分框圖
2 遠程塔臺關鍵技術介紹
遠程塔臺系統綜合應用先進的監視定位技術（基於全景視頻監控、多源信息融合、增強現實、智能識別等）、通信技術、氣象監測技術等，以全面地解決遠程可見飛機（可視）、遠程可識別飛機標號（可識別）、遠程可與機組通信（可通信）、整個系統可穩定高效運行（可運行）、可多角度評估運行效果（可評估）這五方面的問題。以下對系統的主要功能及關鍵技術進行簡要介紹。
全景圖像的生成是一個複雜的過程，在一些領域中人們為了獲得視野比較開闊的照片，通常使用廣角鏡頭來進行拍攝，但這種圖像也只是一定範圍內的場景，而要想獲得360度的全景圖像，廣角相機顯然是不能解決該問題的。此時利用圖像拼接技術就可以完全解決這一問題，它不僅可以生成一個360度的全景圖像，而且克服了廣角相機鏡頭邊緣扭曲問題。
圖6基於特徵點的圖像拼接技術流程
採用尺度不變特徵變換(SIFT, Scale Invariant Feature Transform)，即SIFT算法，對輸入圖像進行特徵點檢測與提取，得到特徵點後，對這些點進行配準，從而找出圖像的匹配關係；在進行圖像融合前，需要選一幅圖像作為基準圖像，通過計算單應矩陣，其它圖像都向這幅基準圖像的平面進行坐標變換，從而在該圖像的坐標平面上進行圖像融合[1]-[2]。流程如圖6所示。
針對機場寬場景下，已實現橫向和縱向上的多路高清攝像機拼接，寬場景觀察範圍達180度以上，能夠覆蓋整個機場跑道、滑行道及停機坪等重點區域，拼接畫面無縫、無畸變、無色度差異，處理幀率達25fps。機場高點位部署上下兩排 2*6 路高清網絡攝像機，進行同步採集視頻流及預處理、圖像特徵點提取與匹配、多路高清視頻縱向和橫向的實時拼接融合，可獲得比單個橫向視頻拼接視野增加一倍的寬景視頻輸出顯示。此外，視頻支持存儲與回放，以及1-4路多畫面全景視頻切換和同步顯示，可對飛行區跑道、滑行道、遠/近機坪等機場場面多區域的全景進行預覽。圖7為溫州機場4k攝像機拼接畫面。
圖7溫州機場拼接畫面
機場場面監視由於季節、天氣、時段等因素變化，需要普適性的圖像增強算法。通過研究現有經典圖像增強算法，如基於暗通道先驗、基於顏色恆定原理、基於特定域變換的增強算法，採用多尺度Retinex（Multi Scale Retinex, MSR）圖像增強算法作為機場多變複雜場面的普適性圖像增強算法。MSR圖像增強算法是在單尺度Retinex (Single Scale Retinex, SSR)基礎上發展而來的。它克服了SSR算法無法兼顧動態範圍壓縮(小尺度)和保持色彩一致性(大尺度)的問題，通過結合多個尺度達到更好的自適應性。圖8（a）為雙流機場夜間全景增強前場景，圖8（b）為該場景增強後效果圖。
圖8 (a)增強前場景
圖8 (b)增強後場景
CUDA(Compute Unified Device Architecture)是NVIDIA公司於2007年推出的以GPU作為通用數據並行計算設備的軟硬體體系。用來解決商業、工業以及科學方面的複雜計算問題。由於在全景視頻拼接和圖像增強算法中，對輸入視頻圖像的各色彩分量分別進行投影、濾波、差分等操作時，各色彩通道及像素數據之間是相互獨立的。對數據的計算滿足SIMD(Single Instruction Multiple Data，單指令多數據)處理模型，因此可以充分利用CUDA的SIMT(Single Instruction Multiple Thread, 單指令多線程)特性進行高性能並行處理。
通常CUDA程序由在CPU上運行的主機端程序和在GPU上運行的內核程序組成。在CUDA編程模型中，主機端程序除了負責I/O數據的傳輸和程序流程控制外，還要利用CUDA提供的API接口來實現設備端內存的分配和內核函數的啟動。本課題中關於GPU加速的實現部分，主機端程序負責圖像數據的讀取、主機端和設備端存儲空間的分配及回收、內核函數的啟動，以及主機端和設備端數據的傳輸等功能。在設備端，按各模塊的處理算法分別實現各路視頻的柱面投影、拼接視頻的重投影、圖像的高斯濾波、對數空間差分和動態範圍壓縮等多個內核函數。
全景視頻拼接是一個多步驟的複雜計算過程，所涉及的數據吞吐量和計算複雜度非常高。在全景圖像拼接過程中，特徵點提取、投影變換、圖像配準、多路圖像重投影、圖像融合等模塊的計算量和模塊間的數據吞吐量均非常大，表1給出了全景圖像拼接過程中各模塊CPU版本的計算耗時統計結果。
全景視頻拼接是以全景圖像拼接為基礎，對系統的處理速度有了更高的要求。因此，對於全景視頻拼接而言，採用並行優化計算來加快其處理速度是十分必要的。而且，在目前眾多的並行處理解決方案中，CUDA無疑是最具性價比的低成本方案，這也正是選擇CUDA來進行遠程塔臺系統中各關鍵技術模塊優化處理的重要原因。
MSR算法在不同尺度上利用高斯核函數對圖像各色彩通道分量進行卷積並在對數空間上與原圖進行差分。隨著圖像解析度的增大和尺度的增多，算法中卷積運算和對數空間差分的計算量會顯著增大，算法的實時性急劇下降，難以滿足實時應用需求。近幾年，GPU處理能力以每年28倍的速度快速發展，明顯高於CPU的發展速度。利用GPU的強大並行處理能力來提高MSR圖像增強算法的實時性是一種有效的嘗試。以CUDA架構為基礎，實現基於CUDA架構的並行MSR圖像增強算法，並顯著提高MSR圖像增強的處理速度。
運動目標檢測是機場場面視頻監控系統的關鍵技術，它能夠提供運動目標的大小、位置等基本信息，是場面目標跟蹤和數據融合的基礎。
在諸多方法中，目標檢測效果最好的當屬背景差分法，場面運動目標的檢測與分割是場面運動目標跟蹤的基礎，目標檢測的準確性直接影響跟蹤的穩定性和持續性。在完成背景提取後，分割門限值的選取對運動目標的檢測極為關鍵。當採用單一的固定門限值或自適應門限值時，由於視頻圖像受場景內容及成像噪聲的影響，難以實現前景與背景的完整區分，前景目標的檢測和跟蹤效果不穩定。
基於機場特定環境中跑道和滑行道上目標特點：場面運動目標較大，運動目標間間距較大，場面運動目標較少，因此提出一種雙門限場面運動目標檢測與分割算法[5]-[7]。算法的基本思想是使用兩個門限值對差分圖像進行前景分割，低門限閾值用於粗分割檢測出較明顯的運動目標，在粗分割的基礎上再用高門限閾值進行細分割以去除噪聲目標和偽目標，最終得到場面運動目標的準確檢測和分割結果。圖9為不同運動目標（包括汽車與飛機）檢測效果圖。圖10為不同運動速度飛機的檢測效果圖。
圖9不同運動目標檢測效果圖
圖10運動飛行器檢測效果圖
通過接入航班雷達/多點定位數據等多源數據，獲取到航班的實時定位信息以及與航班相關的其他的屬性信息（如：航班速度、航向、航班號等），獲得航班在飛行區內的位置；其次，在此基礎上，系統採用大場景智能分析、視頻增強顯示等計算機圖形圖像關鍵技術，在全景視頻畫面中自動識別並精確捕獲正在運行的航班，並進行物理坐標系與平面坐標系的智能變換，從而得到航班在全景視頻中的精確位置；最後，系統將所整合的上述信息採用視頻疊加掛牌的方式[9]進行航班信息的可視化增強顯示。
考慮到實際應用中，機場場面滑行道和跑道上飛機距離較遠，視頻監視目標不會發生重疊或遮擋，此種情況下可以用簡單的閾值判斷方法來進行視頻監視目標和ADS-B監視目標的關聯。一旦確定關聯後，視頻監視系統就直接使用獲得的航班號進行航班標牌顯示。對於停機坪附近容易發生遮擋情況的飛機來說，除了採用自動關聯的方法外，對於某些靜止的飛機必要時還需藉助人工輔助的方式進行航班號標定。圖11為掛標牌後的全景視頻圖像。
圖11掛標牌的全景視頻圖像
PTZ智能雲臺由長焦變倍鏡頭、雲臺護罩和高清攝像機組成，與全景拼接的多個攝像機位於同一塔架支架，如圖12所示，支持30倍以上的光學變焦，對機場場面進行局部細節的顯示。採用可同時進行全景顯示與局部查看的方法及分布式聯動方法，實現通過滑鼠點擊全景畫面，雲臺自動定位到指定位置，並自動放大和聚焦顯示，便於指揮人員進行整體和局部的同時把握。圖13為PTZ跟蹤放大功能示意圖。
圖12 PTZ（雲臺控制模塊）
圖13 PTZ跟蹤放大功能
3 結束語
遠程塔臺是空管領域的一項新的前沿技術，相關技術背後蘊藏著巨大的市場商機，民航二所瞄準遠程虛擬塔臺這一空管領域的技術制高點，在國內最早開展遠程虛擬塔臺系統關鍵技術的研究。目前，民航二所已經打破遠程塔臺技術領域的壁壘，並不斷開拓創新，砥礪前行；未來，通過不斷優化各模塊功能，並制定遠程塔臺技術標準和運行規範建議，解決「可視、可識別、可通信、可運行、可驗證」五大問題，服務於大型繁忙機場與支線機場，遠程控制無人塔臺的時代即將到來！