「可視化」的數據分析落伍了?

作為一名程式設計師兼職業餘空間數據分析師，空間數據的處理一直是一抹揮之不去的烏雲。雖然GIS軟體可視化的操作界面、包羅萬象的功能，已經能解決日常工作中幾乎所有問題，但對於身為程式設計師的我來說，一切不能用鍵盤上26個字母解決的問題，都是不科學的~所以這些年我一直致力於思考一個問題，如何把Arcgis的功能，用代碼的方式實現。

我了解到，Geopandas是一個極好的工具，今天我們就以一個案例來管窺一二。

數據準備&任務明確

我有一張上海的街鎮地圖，一份上海的房源數據和一份上海餐廳數據。

今天，我們需要製作每一個房源的1KM緩衝區，計算緩衝區內有多少家餐廳，並且計算上海每個街鎮內有多少家餐廳，然後繪製在地圖上展示。

這是一個理論上簡單但操作繁瑣的過程，有些同學可能已經知道GIS的操作：

導入地圖數據——導入兩份EXCEL——並關聯經緯度——獲得點數據——並保存點數據圖層——然後對房源點數據進行緩衝區製作——保存緩衝區圖層——分別使用空間關聯把餐廳數據關聯到上海街鎮和房源緩衝區圖層中——並分別保存圖層……

好了好了，我已經說不下去了，我們來看看代碼怎麼解決吧~

導入數據

先導入各種包

import pandas as pdimport geopandas as gpdfrom shapely import geosfrom shapely.geometry import Pointimport fionaimport matplotlib.pyplot as pltfrom fiona.crs import from_epsg,from_string

我們來觀察下python中用到的地理處理工具包的名字：Geopandas. 顧名思義，這個包可以讓我們像使用pandas一樣處理地理數據，大家可以想像一下這過程，一定如絲般順滑！Geopandas其實是各種地理數據分析包的集大成者，包括shapely,Fiona等,當然還有數據分析相關的包numpy,pandas，所以，在這些提及的包中的功能，都可以混合使用，切換不留痕跡。這裡就一併導入了。

導入地圖shp

shanghai_map = gpd.GeoDataFrame.from_file('./上海街鎮/上海街鎮.shp') #讀取shapfile數據為geodataframe格式

Geopandas提供了一種數據格式叫GeoDataFrame，用直白的話概括就是DataFrame加了一列數據，表達地理信息。導入功能Geopandas底層調用的是Fiona包，所以，一些基本參數和可以導入的數據格式，可以參考Fiona的說明文檔。

查看導入後的數據

和DataFrame如出一轍，但多了一列Geometry來存放地理信息，繪圖看一下：

嗯！是長這樣！

接下來，導入房源和餐廳數據

*這兩份數據是CSV格式，導入成DataFrame，我們發現數據中含有經緯度欄位，我們可以根據這兩個欄位，也把數據轉換成GeoDataFrame格式

通過經緯度轉換點數據：

defpoint_to_geo(df,lon,lat):df['geometry'] = gpd.GeoSeries(list(zip(df[lon],df[lat]))).apply(Point) #識別經緯度，轉換點數據 df = gpd.GeoDataFrame(df) #轉換Geodataframe格式 df.crs = {'init':'epsg:4326'} #定義坐標系WGS84del df[lon]del df[lat]return dfhouse_data = point_to_geo(house_data,'lon_WGS','lat_WGS') #轉換Geodataframe格式restaurant_data = point_to_geo(restaurant_data,'lon_WGS','lat_WGS') #轉換Geodataframe格式

*官方文檔請看這裡：

繪圖，看看成功與否——以上海街鎮為底圖，兩份點數據疊加在底圖上

base = shanghai_map.plot(color='lightyellow',edgecolor='black',figsize=(15, 15)) #畫底圖restaurant_data.plot(ax=base,marker='o', color='green', markersize=5) #在底圖上疊加餐廳點數據house_data.plot(ax=base,marker='o', color='red', markersize=5) #在底圖上疊加房源點數據plt.gca().xaxis.set_major_locator(plt.NullLocator())#去掉x軸刻度plt.gca().yaxis.set_major_locator(plt.NullLocator())#去掉y軸刻度plt.savefig('./map.png',dpi=400) #保存圖片

*這裡設置下圖形的基本參數，畫圖功能是基於matplotlib，所以它的一些寫法和功能是通用的。

顯示OK，那麼就進入核心環節~

分析過程

在製作緩衝區和空間關聯之前，先需要對圖形進行投影變換，這裡仍然寫一個函數：

def wgs84_to_CGCS2000(df,code):result = df.to_crs(from_epsg(code)) return resultshanghai_map_pcs = wgs84_to_CGCS2000(shanghai_map,4549)house_data_pcs = wgs84_to_CGCS2000(house_data,4549)restaurant_data_pcs = wgs84_to_CGCS2000(restaurant_data,4549)

*只要知道投影坐標系的ESPG代碼，就可以任意轉換，我們使用GSC2000坐標系。

接著，構建緩衝區圖層，使用buffer()方法，參數為緩衝區的半徑。

house_data_buffer = house_data_pcs.buffer(1000) #建立一公裡緩衝區base = shanghai_map_pcs.plot(color='lightyellow',edgecolor='black',figsize=(15, 15))house_data_buffer.plot(ax=base,color='gray', markersize=5,alpha=0.5)plt.gca().xaxis.set_major_locator(plt.NullLocator()) #去掉x軸刻度plt.gca().yaxis.set_major_locator(plt.NullLocator()) #去年y軸刻度plt.savefig('./map2.png',dpi=400) #保存圖片

構建完成，同樣輸出成地圖查看效果：

增加了透明度，我們可以看到市中心的房源密度較高。生成的數據為GeoSeries，數據為緩衝區的地理信息。這裡需要使用任意方法把地理信息和其他欄位匹配在一起。

buffer_temp = house_data_pcs[['name','geometry']]buffer_temp['geometry'] = house_data_bufferhouse_data_buffer = buffer_temp

下面，我們使用空間關聯，連接餐廳點數據，並獲取餐廳的個數。

spacial_join_restaurant = gpd.sjoin(house_data_buffer,restaurant_data_pcs,how='left',op='contains') #空間連接spacial_join_restaurant = spacial_join_restaurant.groupby(['name']).count()['title'].to_frame().reset_index() #聚合計算個數spacial_join_restaurant.columns = ['name','restaurant_count'] #更改列名，方便操作buffer_result = pd.merge(house_data_pcs,spacial_join_restaurant,left_on='name',right_on='name',how='left') #欄位匹配

*方法是sjoin()，功能和GIS相同，分相交，包含和被包含三種。我們使用包含進行連接，並使用pandas的groupby()方法分組計數。

這樣我們就完成了空間關聯和計算，我們可以使用地圖顯示，並添加圖例：

base = shanghai_result.plot(column='restaurant_count', cmap='Oranges',scheme = 'fisher_jenks',legend=True,edgecolor='black',figsize=(15, 15)) #按個數多少疊加底色plt.gca().xaxis.set_major_locator(plt.NullLocator()) #去掉x軸刻度plt.gca().yaxis.set_major_locator(plt.NullLocator()) #去年y軸刻度plt.savefig('./map3.png',dpi=400) #保存圖片

這樣就可以繪製出以街鎮為單位的點密度圖：

最後，我們需要把數據導出保存。我們可以保存為shapfile格式，這裡推薦大家直接保存為csv格式，方便分享。也可以根據需要，轉成任意格式。

shanghai_result = wgs84_to_CGCS2000(shanghai_result,4326) #轉換成地理坐標系shanghai_result.columns = ['town','region','geometry','restaurant_count'] #更改列名為英文，因為數據保存對中文支持不佳buffer_result = wgs84_to_CGCS2000(buffer_result,4326) #轉換成地理坐標系shanghai_result.to_csv('./result/shanghai_result.csv') #保存成csvshanghai_result.to_file('./result/shanghai_result.shp') #保存成shapfilebuffer_result.to_csv('./result/buffer_result.csv') #保存成csvbuffer_result.to_file('./result/buffer_result.shp') #保存成shapfile

結果檢查

我們把保存的數據導入Arcgis，可以正常使用~太棒了！

是不是很實用呢？所以，對於空間數據分析中一些重複操作，工程化的作業，建議大家可以考慮用代碼實現，高效，便捷。

作者簡介：本文作者數據俠倪家禹，城市數據團特約撰稿人，數據分析師（Python）微專業學員，喜歡用數據挖掘生活中的小秘密。對數據研究有著敏銳的洞察力，善於把複雜的問題簡單化，簡單的問題流程化。希望大家通過數據感受生活的魅力。聲明：本文為作者投稿，版權歸其個人所有。