過去三年,深圳機場很忙,也很智慧。
2018年,深圳機場很忙,全年接待了50多撥「客人」。「客人」也是同行,作為全國領先的「智慧機場」示範體系,機場同行都希望到此「取經學習」;2019年,深圳機場也很忙,但航班年放行正常率已經超過87%,要知道深圳每年有長達4~6個月的雷雨季,如此的正常放行率殊為不易;2020年,深圳機場還是很忙,疫情期間深圳機場制定了「五有六快,平戰結合雙豐收」的應急保障策略,這保障了機場穩定高效的運行。
而這一切都始自此前的一次合作,一次中國IT運維領域頗具標誌性意義的合作。
深圳機場,全球最繁忙的機場之一。截至2019年12月,深圳機場已實現雙跑道運行,日均航班量近1100架次,單日客流最高峰超過17萬人次。由此其客運與貨運排名,均已躋身全球機場前30名。
然而,繁忙背後還另有繁忙。支持這一巨大智慧機場運行的運維團隊不過百人。此百來人的運維團隊,面對的是一個擁有2.5萬餘臺設備、11個獨立網絡、200餘間計算機機房、140多個高集成度的業務應用,分別涉及通關、物流、客貨運、航班起落等多個業務領域的巨大機場,並且需要同時支持這些設備、系統和網絡的運維與建設。
此正是深圳機場的業務「痛點」,也是中國「智慧機場」普遍存在的「痛點」。為了解決這一問題,深圳機場與華為聯合創新實驗室合作,打造運維管理平臺,率先推動「智慧機場」理念在運維領域落地,在提高工作效率的同時,保證了系統運行安全,開啟機場IT系統運維工作自動化時代。
時間回到2018年3月,深圳機場與華為聯合創新實驗室正式宣布,「智慧機場」聯創項目立項。在此後三年中,項目通過「聯創」進行驗證,智能機位分配、航班保障節點自動採集等項目順利落地投產,助航燈光引導測試、飛行區智能交通測試等多個項目也陸續完成。而造就「智慧機場」的背後,則是組織架構、運維自動化、數位化技術等一系列業務模式創新。
如前所述。深圳機場運維團隊不過百人,以此支撐龐大的機場,確實有些捉襟見肘。基於此業務「痛點」,深圳機場創新工作機制、創新組織架構模式,通過統一運維項目,聯合生態夥伴完善服務力量,讓內部運維團隊可以更好地專注於各關鍵業務。
具體而言,深圳機場內部運維管理人員,分前後臺駐點在機場各區域,主要負責航班生產應用運維、網絡安全和運維管理等工作,而機場IT基礎設施和業務平臺運維等工作,則交由華為技術團隊負責,這極大地減輕了內部運維團隊的工作負擔。
當然,單純依靠工程師的嚴防死守、人拉肩扛,並不符合「智慧機場」的建設理念。繁忙的深圳機場背後,更多的是智慧。2018年,深圳機場已開始推動IT基礎設施一體化建設,實現運維自動化監控。在自動化視角下,實現了異常事件的即時告警,還實現了異常事件的橫向對比、分析,完成了故障點的快速定位。在這樣的背景下,目前深圳機場人工監控、人工巡檢的工作量均得到大幅降低,故障定位時間也大幅減小。
這還不是全部,特殊時期應急保障工作,也是機場信息化運維工作的重要組成部分。諸如,新冠疫情、颱風天氣、重大節日等特殊時期,均會對運維保障工作提出更高要求,這也是對此前「智慧機場」建設成果的考驗。
在運維方面,深圳機場已形成了較成熟的機制。建立了預防性維護機制,明確了避免重大故障發生、減少一般性故障的數量和故障快速處置的目標。確立了「五有六快,平戰結合雙豐收」的運維保障策略,即在「事前」做到「五有」:有組織、有預案、有培訓、有演練、有保障;在「事中」和「事後」做到「六快」:反應快、處置快、溝通快、調整塊、報告快、總結快。
「事前」運維的目標是「避免重大故障發生、減少一般性故障的數量」,深圳機場已建立了強力的運維組織和完善的巡定檢制度,前者由甲方、乙方、分包方、供應商等組成,後者則是將系統日常巡檢和定期維護工作量化。隱患排查工作常態化,對排查和日常運維中發現的隱患絕不放過,特別是對單點故障隱患,提前採取故障弱化措施,針對系統存在的缺陷,主動進行優化和升級。
為有效管控系統運行風險,深圳機場提前編制了應急預案。為了確保應急預案起到作用,深圳機場已將應急預案列入安全生產培訓工作計劃。同時,為了檢驗應急預案的有效性和實施效果,深圳機場還制訂了應急預案演練計劃,適時組織有關單位和人員開展針對各種突發事件的桌面演練、專項演練和綜合性演練等工作。
養兵千日,只為用在一時,所有「事前」的未雨綢繆,只為「事中」運維的從容不迫,以及「事後」的積德裕後。簡而言之,深圳機場在運維保障的「事中」和「事後」,切實做到「六快」:即反應快、處置快、溝通快、調整塊、報告快、總結快。
通過建立運維技術標準,各應用廠商按照統一的標準接入運維平臺,實現業務應用、數字平臺和基礎設施的集中管控,真正做到系統運行「可視、可管」。具體來看,一旦發現系統故障,深圳機場即可通過運維管理平臺立即收到異常告警,按照預案快速反應,開展統一的應急調度。同時,事件即命令,專項應急小組成員,在第一時間對現場進行快速故障排查,快速進行主備切換,必要時啟動災備系統等。
此外,深圳機場還要求應急響應組織,具備審時度勢的能力。其必須根據現場情況,快速建立、審議應急事件升級的策略和程序,以控制應急事件升級的授權和實施。
當然,運維「事後」的總結也必須快。應急保障結束後,應急響應組織應快速牽頭組織參與本次應急保障相關人員進行事後總結分析,找出應急保障工作存在的亮點與不足,再針對性的提出相應的解決措施和方案,最終形成報告,為完善信息系統,深化應急準備工作提供重要依據。
此即為深圳機場「預防性維護」機制和「五有六快,平戰結合雙豐收」的應急保障策略。也正是基於上述工作機制創新、生態合作創新、組織架構創新、應急方法論創新,確保了深圳機場各類信息化系統事件的處置,達到「三個五分鐘」(五分鐘發現、五分鐘定位、五分鐘處置)的既定目標,處於全國領先水平。
當然,正是基於高效的運維工作,在保障系統運行平穩的同時推進了建設項目的快速落地,深圳機場率先成為中國「智慧機場」的示範體系,而這只是另一個開始。為固化「智慧機場」建設成果,深圳機場與華為在在IT運維領域緊密合作,持續優化運維體系,打造自動化、智能化的統一運維管理平臺,共同構建運維生態,提升運維效率,保障信息系統安全、穩定和高效運行。