以下文章來源於經緯石旁話遙測 ,作者高松
經緯石旁話遙測
武漢大學學報信息科學版編輯部
↑ 點擊上方「中國測繪學會」
可快速關注我們
導讀
人工智慧領域的技術進步給地理空間相關領域研究的智能化發展和融合創新帶來了新機遇和新挑戰。地理空間人工智慧(GeoAI)是指地理空間科學與人工智慧相結合的交叉學科研究方向,通過研究與開發機器的空間智能提升對於地理現象和地球科學過程的動態感知、智能推理和知識發現能力,並尋求解決人類和地球環境系統相互作用中的重大科學和工程問題。
美國威斯康星大學麥迪遜分校地理系高松助理教授多年來致力於GeoAI的相關研究,他在學術論文《地理空間人工智慧的近期研究總結與思考》中簡要回顧了GeoAI發展的歷史淵源,介紹空間顯式與隱式的人工智慧模型,總結近期研究熱點話題和應用方向(包括空間表徵學習、時空預測和空間插值、對地資源環境監測、地圖學、地理文本語義分析),思考並提出地理空間人工智慧未來發展的幾個重要挑戰和研究方向。
掃描上方二維碼下載pdf全文
1
地理空間人工智慧的發展歷史簡介
人工智慧(AI)領域的技術進步給地理空間相關領域研究的智能化發展和融合創新帶來了新機遇和新挑戰。雖然早期人工智慧概念的提出和理論算法的發展可以追述到20世紀40~50年代,但其近期快速發展的主要動力來自於深度學習模型和開發框架(如Tensorflow、Keras、PyTorch)的快速發展和產業化的日趨成熟,各行業領域大數據的生產爆發,和計算機硬體(如圖形處理單元和高性能計算平臺)以及終端設備的計算性能不斷升級,進而可以支持在很短的時間內訓練和部署人工智慧模型、支持數據驅動的智能化決策和產業變革。
地理空間人工智慧(geospatial artificial intelligence, GeoAI)是指地理空間科學與人工智慧相結合的交叉學科研究方向,通過研究與開發機器的空間智能提升對於地理現象和地球科學過程的動態感知、智能推理和知識發現能力,並尋求解決人類和地球環境系統相互作用中的重大科學和工程問題(比如人口遷移預測、複雜條件下的智能交通決策、高精地圖製作與自動駕駛、全球變化對農業生產的影響、自然災害應急救援工程等)。
GeoAI的萌芽與發展與地理學、地圖學與地理信息系統、遙感科學與技術、地球系統科學、資源環境與城鄉規劃、智能交通和計算機科學(尤其是機器學習和知識圖譜)等學科間的交叉融合、創新發展緊密結合。
人工智慧與地理空間科學研究的交集是有其歷史淵源的,一方面,解決自然地理空間和社會人文地理空間產生的很多科學難題需要新方法和新技術(包括人工智慧)的支持;另一方面,不斷產生的時空數據(比如遙感衛星數據、人口移動位置大數據、車輛運營軌跡數據等)可以支持人工智慧模型訓練和新算法的研發;地理信息系統(Geographical Information System,GIS)軟體也可以為機器學習模型標註數據(如土地利用類型、自然災害後建築破損信息)的生成提供便捷支持。
20世紀80年代,地理信息科學家和城市規劃學者基於知識專家系統、元胞自動機等當時主流的人工智慧技術來探索智能地理信息系統的開發和研究不同城市擴展的模式。20世紀90年代到21世紀初,學者們進一步研究遺傳算法、模糊邏輯,本體與語義,混合智能系統在地理空間科學中的應用,比如土壤系統分類和製圖,土地資源動態變化監測、自然災害智能預測與風險評估等。
隨著深度學習之父Geoffrey Hinton 和他的學生共同提出了深層神經網絡訓練中梯度消失問題的解決方案後,深度學習在學術界和工業界爆發式發展(比如計算機視覺、自然語言處理、語音識別、自動控制等領域)。
在2015年之後,與深度學習(如卷積神經網絡、生成對抗網絡模型、圖神經網絡)相結合的地理空間科學研究不斷湧現。在人工智慧技術快速發展的大環境下,作者和同事們連續參與組織了三屆的美國計算機協會空間信息分會地理空間人工智慧國際研討會(2017—2019)和美國地理學家協會的地理人工智慧和深度學習研討會(2018—2020),以及第一屆中國空間智能學術年會(Spatial-DI 2020),並在《國際地理信息科學》學術期刊聯合組織了關於地理空間人工智慧與知識發現的專刊,探索該領域的前沿發展技術和創新應用。
推動GeoAI領域發展的幾個關鍵問題包括:
1. 為什麼地理空間相關研究需要人工智慧?
2. 現在利用人工智慧技術是否比傳統方法能更好地解決地理空間科學問題?
3. 之前或現在未解決的地理空間科學問題是否可以用人工智慧來解決?
4. 除了單向應用人工智慧技術,地理空間領域的研究是否能夠激發新型的人工智慧模型的研發並且輸回到AI社區?
地理信息科學家和計算機科學家們在最近的研究和出版物中對這些科學問題作出了很多探索,本文對近期GeoAI相關研究和部分領域的應用進行簡要回顧與總結,思考並提出地理空間人工智慧未來發展的幾個重要挑戰和研究方向。
2
空間顯式與隱式的人工智慧模型
地理空間位置是關聯多專題圖層(天氣、水文、土壤、城市建築等)、多要素(人、事件、地理對象)、多異構數據(圖像、文字、視頻等)的紐帶,將人工智慧技術應用於地理空間研究主要有兩類建模方法:空間隱式模型(Spatially Implicit Models)和空間顯式模型(Spatially Explicit Models)。
空間隱式模型是指在構建人工智慧模型的過程中只把地理空間位置當作多維度特徵向量中的普通維度,沒有把空間位置特殊對待或沒有把空間關係和其他空間約束引入模型。比如把地理坐標帶入一個簡單的K均值聚類模型只屬於空間隱式機器學習模型,但是如果利用Delaunay三角網構建空間約束的聚類模型則屬於空間顯式模型。
具體來說,如果一個人工智慧模型滿足以下檢驗中的一條,則可以稱為空間顯式模型:
不變性檢驗:空間顯式模型的結果在所研究的對象重新定位遷移的情況下不是不變的。這個特性可以用空間異質性和空間回歸模型的思路去理解,即如果一個變量的影響是與空間無關的,那麼隨機變化對象的位置後其空間回歸模型結果不變;反之則變。
表徵檢驗:空間顯式模型在其實現中包含了所研究現象的空間表徵形式(可以採用整合地理坐標、空間關係、地名等形式),比如把深度學習模型的數據輸入先用地理編碼表徵。
公式化檢驗:空間顯式模型在其概念化和公式化中明確使用了空間概念,例如考慮空間鄰域和方向、把空間屬性引入深度學習模型的損失函數設計。
結果檢驗:空間顯式模型的輸入和輸出包含的空間結構(或形式)不同。
舉個例子,一個包含城市地理位置和人口的數據集,如果是讓機器僅基於人口數量進行城市排名,因為地理位置不屬於分析對象的一部分,所以不是一個空間顯式模型。相反,如果要回答人口密度高的城市是否在空間聚集在一起,則需要明確的空間分析視角。
近期的研究已經表明空間顯式的人工智慧模型要比不考慮空間的經典機器學習模型(包括深度學習模型)在計算機視覺任務(如圖像分類)和基於地理知識圖譜的智能歸納推理任務中的表現更加優越。
因此,在開發新的機器學習模型支持地理空間的知識發現和智能化決策時,我們需要思考如何結合地理空間數據的特性和人工智慧模型的特點(比如深度學習神經網絡的結構)設計出合理的模型。
如果單純通過融合多源地理空間大數據可以解決的問題,我們是否還需要設計複雜的空間顯式深度學習模型?如果簡單增加標註訓練數據不能顯著提升GeoAI模型性能,是否需要考慮增加空間關係的學習,比如空間鄰域關係、空間金字塔層疊關係等?一些新的GeoAI模型比如深度合成空間模型(DCSM)、空間生成對抗網絡模型(SpaceGAN)和長短期記憶網絡-軌跡生成對抗網絡模型(LSTM-TrajGAN)都是考慮了地理空間特性的深度學習模型。GeoAI研究需要通過闡明為什麼需要空間顯式或隱式模型來解決地理空間的難題並且能夠集成到當今的地理信息系統工作流中。
3
地理空間人工智慧的近期研究總結
空間表徵學習
許多機器學習算法的成功通常取決於數據表示和特徵工程的質量。因此,空間特徵學習或表徵學習對研發空間顯式人工智慧模型和推動GeoAI的創新發展尤為重要。
研究者們利用表徵學習技術提取出潛在的地理空間特徵提高機器學習模型的預測準確率:
Yan等提出的Place2Vec模型採用自然語言處理的思路對於地圖興趣點數據(POI)、建築環境和周邊區域上下文語義進行特徵表示學習進而提升關於場所信息檢索和智能推薦的能力。
Yao等把POI2Vec模型輸出作為機器學習特徵輸入來進行城市土地利用分類。
Liu等提出的Road2Vec模型基於大規模的計程車運營軌跡數據,對道路之間的隱性交通相互作用關係進行量化;此模型可以捕捉潛在的空間異質性和非線性交互特性進而提升路段的交通量預測準確率。
Crivellari和Beinat提出的Mot2Vec模型對利用大規模人群移動數據進行訓練生成活動場所的特徵向量表示進而刻畫場所/地方的關聯特性和相似性。
Jean等介紹了應用於遙感數據的Tile2Vec模型,這是一種無監督的表徵學習算法,它將自然語言處理中的分布假說(即出現在相似上下文語境中的詞往往具有相似的含義)擴展到空間數據分布中,通過空間表徵學習顯著提高了預測任務(比如土地覆蓋類型、發展中國家貧困區域識別)的性能。
Mai等創新性地提出了多尺度空間位置編碼方法Space2Vec,通過表徵學習模型來編碼地方的絕對位置和空間關係,發現該模型在位置建模和圖像分類任務中的表現優於成熟的機器學習方法,比如徑向基函數(RBF)、多層前饋神經網絡和瓦片嵌入。
時空預測和空間插值
時空間預測的基本思想是根據多維屬性變量估計一個目標對象或地理變量在未知地點(時空)的數值。空間插值則是GIS中常見的空間分析功能,利用已知位置的屬性數值推測未知點相同屬性的數值。傳統的空間插值方法包括:反距離加權(IDW)、三角不規則網絡(TIN)、和克裡金法(Kriging)等。
學者們運用機器學習和深度學習方法來探索時空間預測和空間插值的新方法,並在測繪、社會感知、智能交通等領域廣泛應用。
Zhu等設計了一種新型的深度學習架構,命名為用於空間插值的條件編碼器-解碼器生成對抗神經網絡(CEDGANs),並應用於數字高程模型(DEM)中的高程空間插值。
Li等從稀疏採樣的手機位置數據中提取人群活動地點和移動模式並提出新的模糊長短期記憶網絡軌跡預測模型(TrjPre-FLSTM)。
Bao等基於帶有地理標籤的社交媒體數據構建了一個基於空間聚類和深層神經網絡的BiLSTM-CNN模型來提升用戶區域位置的預測精度。
Liang等引入時間動態屬性改進了經典的商業地理哈夫模型並結合位置大數據對顧客到訪商店的時空概率進行智能估算。
Xing等提出了一個通用的空間數據驅動的端到端智能預測框架Neighbor-ResNet,基於遙感影像多層特徵感知區域景觀物理特徵來進行人類活動量的估算。
Pourebrahim等比較了空間相互作用重力模型和卷積神經網絡在出行空間分布預測上的表現。
Yao等對比了空間相互作用的多個經典模型和圖神經網絡模型在空間點對交互流預測上的性能。同時考慮到人類出行活動主要沿著道路交通網絡,基於交通網絡的相關研究也非常豐富。
Murphy等利用卷積神經網絡(CNN)對給定出行路線上的GPS軌跡數據的距離誤差(或可信度)進行分類,以方便有條件地選擇使用原始GPS軌跡數據和地圖匹配後的路線作為駕駛路徑的最佳估計。
Zhang等基於城市中的大量街景圖片數據訓練深度卷積模型進行沿街的交通流量時空類型預測。
Zhang和Cheng提出基於圖深度學習的稀疏網絡時空點過程預測模型GLDNet,適合分析的數據特點是空間集聚特徵明顯但時間分布比較隨機(比如交通事故、沿街犯罪事件)。
對於稠密的時空數據,Ren等提出了利用殘差長短期記憶網絡來進行城市尺度交通流量預測的模型。
Zhao等提出了一種新型的時空圖卷積網絡T-GCN用於交通預測任務,它採用了圖卷積網絡GCN學習複雜的路網拓撲結構以捕捉空間依賴性,並利用門控遞歸單元GRU來學習交通狀態的時間動態變化以捕捉時間依賴性。
隨著多源地理大數據的出現,融合遙感數據和社會感知數據的研究也不斷湧現。
北京大學劉瑜教授團隊提出了從"人-地-靜-動"這四個維度併集成多源地理大數據和機器學習方法感知城市空間分異格局的理論和技術框架。
Zhang等利用機器學習方法融合社交媒體用戶籤到數據和城市街景圖像,提出了從場所類型、訪問量、人群信息、和周邊環境多個維度定量刻畫場所的智能分析框架支持挖掘不同特徵的場所。
Helbich和Yao等結合城市街景與城市居民活動、調查問卷等數據源來進行多維度感知和城市動態建模,發現了環境視覺變量和人們精神狀態的影響。
Cao等利用殘差神經網絡(ResNet)、空間金字塔池化方法(SPP-Net)和堆疊雙向長短期記憶網絡(LSTM-Net)對社會感知數據和遙感數據多維度特徵進行學習並用於城市功能區域智能分類,同時比較了三種不同的融合方法:連接、元素相加、和元素最大池化。
Ye等融合社交媒體和街景數據進行城市功能的精準識別。
Law等融合開放街道數據OpenStreetMap和街景圖片數據開發了一種卷積神經網絡—街面網(Street-Frontage-Net)並用於城市街面質量的智能評估。
對地資源環境監測
近年來,全球範圍內對地觀測衛星數量增長迅速,基於衛星遙感和航空遙感的觀測大數據激增,對於調查和動態監測土地資源、森林覆蓋、環境變化,分析城市擴張和土地利用變化趨勢等提供了豐富的觀測數據源。同時,多數據源、多時相、多波段、多解析度的遙感圖像數據特點也給實際應用分析造成一定的挑戰。
研究人員探索了多種利用深度學習模型結合多源遙感數據提取時空間特徵的方法,提取高精度、高質量的時空間決策支持信息,以便提升利用對地觀測大數據來動態感知和理解地球複雜系統之間相互作用過程的能力,實現李德仁院士提出的「從對地觀測衛星到對地觀測腦」的願景。
Reichstein等在《自然》雜誌發表的論文總結了當前用於地球系統科學任務的最先進機器學習方法,也指出了採用深度學習方法面臨的主要挑戰,比如模型可解釋性、物理一致性、複雜系統不確定性、有限的標註數據、和強大的計算需求;並建議了一種將物理過程模型與數據驅動的機器學習耦合關聯的混合建模方法。
Scott等克服了基於深度學習分類中的有限標籤問題,採用了遷移學習和網絡調優技術、數據增強技術與深層卷積網絡模型結合,改進後的模型在兩個不同的遙感數據集上都顯示出較高的土地覆蓋分類精度。
Huang等提出了一種半轉移深層卷積神經網絡模型STDCNN,以克服深度學習模型在遙感中應用中存在的一些限制,如有限的多光譜通道、有限的訓練樣本和大圖像的統一分解;該模型從WorldView-2和WorldView-3高空間解析度多光譜遙感圖像中生成了高精度的城市土地利用地圖。
Peng等設計了基於圖斑相似性的卷積神經網絡PSNet,並且利用了光譜反照率數值而不是原始圖像數值進行模型訓練,可以降低在光照不一致造成的數值誤差,並應用於兩次颶風有關的城市洪水事件,實驗表明該模型具有很高的預測準確性和召回率。
Yuan等對環境遙感領域的深度學習方法進行了全面總結,並回顧了深層神經網絡模型在環境遙感中取得的系列成果,包括預測和估算土地覆蓋率、植被參數、農業產量、土地表面溫度和溼度、氣溶膠和顆粒物含量、降水、積雪覆蓋、蒸發量、輻射和海洋顏色參數等;也討論了多源遙感大數據、時空信息和深度學習模型的多種融合方式,比如基於回歸模型的空間-波譜信息融合與多時相信息融合、基於數據驅動和深度殘差模型的空間-波譜信息融合和多時相信息融合,進而可以應用到遙感影像雲和陰影區域的去除與復原重建。
地圖學
地圖學是藝術與科學的結合。王家耀院士在「第三屆全國地圖學理論與方法研討會」提出了在人工智慧時代地圖學需要的十點「傳承、創新和發展」,著重強調了如何結合地圖學的基礎理論、科學思維與認知方法,以及大數據時代、人工智慧時代的新研究範式和技術路線,推動地圖科學的創新發展。近幾年,人工智慧在地圖中的創新應用主要包括以下幾個方面:
首先,利用深層卷積模型可以自動提取地圖和影像上的多類別地物目標、地圖符號和文本標註信息;在此智能應用中需要考慮地理空間拓撲結構特徵以及區分文字和地圖符號模式識別的差異,從而得到更好的電子地圖自動解譯結果。
其次,利用強化深度學習方法可以精確標註當代地理要素在歷史掃描地圖上的空間位置。再者,利用生成對抗網絡模型可以進行地圖樣式風格的遷移學習,地形圖的陰影自動渲染,並利用合成信息來改進位圖風格設計或實現國土安全領域的地圖位置電子欺騙。
最後,人工智慧與地圖設計的整合可能會部分地實現製圖綜合的自動化工作流,比如建築物多邊形的簡化與聚合、道路網的線簡化與按聯通性合併等步驟。
地理文本語義分析
基於地理文本的數字地名詞典和非結構化的地理文本數據在地理信息檢索、時空知識組織和位置數據驅動的智能決策方面發揮著重要的作用。大多數地名詞典資料庫都是由權威機構採集製作,由於數據量大、製作成本高、更新周期較慢。因而如何從海量自然語言文本和社交媒體大數據中自動採集和提取地理文本信息顯得非常重要。
地理文本數據語義分析主要處理步驟包括地名識別、地名解歧和匹配、空間坐標提取等。Hu總結了用於地理文本數據處理的多種分析方法,比如主題建模、基於規則的匹配、深度學習模型等。地理文本語義分析的智能應用包括從用戶文字評論中獲取人們對場所和居住環境的意見和情緒表達,自動識別與理解用戶空間查詢語句並進行智能推薦GIS空間分析功能和匹配操作工具等。此外,採用改進的深度學習模型來分析帶有地理標籤的社交媒體文本數據可以更精準的提取自然災害期間用戶所在位置,輔助災害應急響應決策與救援工作。
4
思考與展望
以上對地理空間人工智慧近期研究的簡要回顧並不能涵蓋所有相關的話題,但可以看到地理空間科學與人工智慧研究是相互促進發展的,並不是一個單向技術輸入的知識生產過程。同時,也可以看到GeoAI未來發展面臨的幾個重要挑戰和應對的研究方向:
挑戰一:
有限的地理空間標註數據
訓練地理信息領域的深度學習模型目前還需要大量的標柱數據集支持,如何提升地理空間標註數據集的共享機制是亟待解決的問題和重要研究方向。地理空間數據與其他非空間數據不同,可能會涉及到國土資源與測繪信息安全和保密政策、個人隱私等問題,因而增大了數據共享的難度。
但是,我們仍然可以看到一些脫敏空間數據或得到個體許可的時空數據的安全共享有效促進了多領域的科學研究發展。比如微軟亞洲研究院城市計算團隊共享的GeoLife個體軌跡標註數據、清華大學地球系統科學系宮鵬教授研究組製作的30米和10米空間解析度的全球地表覆蓋數據集FROM-GLC、美國地質調查局和亞利桑那州立大學李文雯教授團隊合作製作的自然特徵數據集GeoNat v1.0,紐約州立大學布法羅分校胡英傑教授團隊製作的地理文本標註數據集和地名解析工具比較平臺EUPEG等。
近年來,也有越來越多的地理信息期刊鼓勵數據和代碼共享,支持科學實驗的可重複性和空間數據共享的五星準則(公共數據存取平臺、包含元數據、結構化數據格式、符合地理空間數據標準、封裝支持虛擬化的調用環境)。同時,新的聯邦機器學習框架的出現也使得用戶在享受智能空間信息服務的同時其個體數據隱私能夠得到一定程度的保護,這個方向的研究在新5G/6G無線網絡通信環境下會蓬勃發展。
挑戰二:
模型可遷移性和可解釋性較弱
大多數用於訓練GeoAI模型的地理空間數據來自於特定的地表空間區域(比如某一個城市或某一塊農田),由於空間異質性和不確定性的存在,GeoAI模型的可遷移性和範化能力較弱。
此外,很多數據驅動的機器學習模型系統仍然是一個黑盒子,雖然在特定的對地觀測和地物分類等方面的能力表現良好,當應用於解決地球系統科學和人文社會科學領域的各類地理空間預測問題時,需要了解機器模型的學習決策過程,融合機理過程模型或人文領域知識,增強GeoAI模型的可解釋性、透明度和可信賴程度,這也將是GeoAI的重要研究方向。比如,Cheng等受到可解釋人工智慧(XAI)提取關鍵圖像成分的應用啟發,研究提出利用一種時空層相關性逐層傳播方法(ST-LRP)來解釋與評估時空單元在特定研究場景的重要性進而支持可解釋的GeoAI模型研發。
挑戰三:
地理空間語義分析和推理能力不足
成熟的人工智慧技術已經具有很好的自然語言處理能力並利用知識圖譜技術在智能搜索和問答、語言翻譯、個性化推薦等智能信息服務領域體現重要價值。但是在地理空間信息領域,很多現有的地理空間信息基礎設施還不具備智能化的語義處理能力。比如檢索某一個地區的「自然災害」數據集,應該智能擴展到語義關聯的具體災害種類(森林火災、地震、洪水等)以及空間關聯的區域(比如空間上的鄰居、包含或被包含的地理空間單元),從而得到更加豐富的數據集合。
為此,需要構建互聯互通的地理知識圖譜和具有空間思維能力的智能檢索和知識問答系統,這也將是GeoAI的另一個重要研究方向。此外,根據GIS用戶提問進行空間分析工具智能推送甚至是整個空間分析工作流的自動化實現也是未來研究的重要方向。
GeoAI的未來發展需要繼續得到來自學術界、工業界、和政府相關部門的共同支持,匯聚地球系統科學、地理學、計算機科學等領域的科學家、工程師、企業家和決策者的智慧,共同探討地理空間科學領域的重大科學挑戰和人工智慧領域最新技術趨勢,注重交叉學科教學體系建設和創新思維人才培養,為地理空間智能的蓬勃發展助力。
END
引用本文:高松. 地理空間人工智慧的近期研究總結與思考[J]. 武漢大學學報 · 信息科學版,doi: 10.13203/j.whugis20200597.
原標題:《地理空間人工智慧的近期研究總結與思考》
閱讀原文