Spark+TDengine 在中國電信電力測功系統監控平臺上的應用實踐

小 T 導讀：電力測功系統監控平臺，是基於中國電信上海理想信息產業（集團）有限公司的，設備數據採集和設備銀行V2.0應用進行設計和開發的。採集到的設備的實時數據，都是存儲在TDengine中的。

應用背景

電力測功系統監控平臺，是基於中國電信上海理想信息產業（集團）有限公司的，設備數據採集和設備銀行V2.0應用，進行開發和設計的，軟體是電力測功系統監控平臺的核心，是實現數據匯聚、數據處理、可視化展示以及測功試驗的重要部分，根據電力測功系統集控界面功能需求，可將整個電力測功系統監控平臺架構分為四部分：設備層、網絡層、平臺層以及展示層。整體架構如下圖：

實時數據是存儲在TDengine資料庫之中的，和設備銀行之間進行通信，數據流程如下：

設備銀行主要負責模版、設備和報警信息的管理，其可視化界面如下：

Spark+TDengine使用過程

1. TDengine的安裝

請參考官方文檔：

https://www.taosdata.com/cn/documentation/

2. 在TDengine中建立測試庫和測試表

taos> create database test;taos>use test;34;jdbc&34;url&34;jdbc:TAOS://192.168.1.151:6030/log&34;driver&34;com.taosdata.jdbc.TSDBDriver&34;dbtable&34;log&34;user&34;root&34;password&34;taosdata&34;fetchsize&34;1000&34;ts&34;ts&34;level&34;content&34;ipaddr&34;jdbc&34;url&34;jdbc:TAOS://192.168.1.151:6030/test?charset=UTF-8&locale=en_US.UTF-8&34;driver&34;com.taosdata.jdbc.TSDBDriver&34;dbtable&34;log2&34;user&34;root&34;password&34;taosdata&34;taos&34;/path/to/libtaos.so&34;libtaos.so&34;libtaos.so&34;Did not find registered driver with class $driverClass&34;java.library.path&34;:&34;:${libPath}&34;java.library.path&34;sys_paths") fieldSysPath.setAccessible(true) fieldSysPath.set(null, null) } }

在yarn模式下一定要給url設置charset和locale，如

charset=UTF-8&locale=en_US.UTF-8

否則container可能會異常退出。

6. libtaos.so其他加載方式

本來還嘗試了jna加載libtaos.so的方式，此方式只需將libtaos.so放入項目resources中，程序變回自動搜索到so文件，奈何不會改tdengine中c的代碼。

作者介紹
董鴻飛，大數據開發工程師，2015年加入上海理想大數據實施部，工作至今。目前主要負責公司數據總線產品設計和開發。

公司介紹
中國電信上海理想信息產業（集團）有限公司，成立於1999年，註冊資本7000萬元，是上海市投資規模較大的信息技術企業之一。通過整合公司內各事業部多年大型項目實施的整體實力，公司著力鍛造大型信息化項目諮詢規劃和頂層設計能力，構建「智慧社區」、「智慧園區」及「智慧政務」、「智慧醫療」、「智慧物流」等各類智慧行業應用等整體解決方案，可提供IT外包服務和網絡監控運維管理一站式安全解決方案，逐步形成「智慧城市」專業領域產品研發積累和項目交付與平臺運營經驗，鍛造了整體科研隊伍和項目實施團隊的綜合實力。