MySQL如何實時同步數據到ES?試試這款阿里開源的神器

2021-01-09 馬家軍談Java

來源：https://juejin.im/post/6891435372824395784

摘要

mall項目中的商品搜索功能，一直都沒有做實時數據同步。最近發現阿里巴巴開源的canal可以把MySQL中的數據實時同步到Elasticsearch中，能很好地解決數據同步問題。今天我們來講講canal的使用，希望對大家有所幫助！

canal簡介

canal主要用途是對MySQL資料庫增量日誌進行解析，提供增量數據的訂閱和消費，簡單說就是可以對MySQL的增量數據進行實時同步，支持同步到MySQL、Elasticsearch、HBase等數據存儲中去。

canal工作原理

canal會模擬MySQL主庫和從庫的交互協議，從而偽裝成MySQL的從庫，然後向MySQL主庫發送dump協議，MySQL主庫收到dump請求會向canal推送binlog，canal通過解析binlog將數據同步到其他存儲中去。

canal使用

接下來我們來學習下canal的使用，以MySQL實時同步數據到Elasticsearch為例。

組件下載

首先我們需要下載canal的各個組件canal-server、canal-adapter、canal-admin，下載地址：https://github.com/alibaba/canal/releases

canal的各個組件的用途各不相同，下面分別介紹下： canal-server（canal-deploy）：可以直接監聽MySQL的binlog，把自己偽裝成MySQL的從庫，只負責接收數據，並不做處理。 canal-adapter：相當於canal的客戶端，會從canal-server中獲取數據，然後對數據進行同步，可以同步到MySQL、Elasticsearch和HBase等存儲中去。 canal-admin：為canal提供整體配置管理、節點運維等面向運維的功能，提供相對友好的WebUI操作界面，方便更多用戶快速和安全的操作。由於不同版本的MySQL、Elasticsearch和canal會有兼容性問題，所以我們先對其使用版本做個約定。canal的各個組件的用途各不相同，下面分別介紹下： canal-server（canal-deploy）：可以直接監聽MySQL的binlog，把自己偽裝成MySQL的從庫，只負責接收數據，並不做處理。 canal-adapter：相當於canal的客戶端，會從canal-server中獲取數據，然後對數據進行同步，可以同步到MySQL、Elasticsearch和HBase等存儲中去。 canal-admin：為canal提供整體配置管理、節點運維等面向運維的功能，提供相對友好的WebUI操作界面，方便更多用戶快速和安全的操作。由於不同版本的MySQL、Elasticsearch和canal會有兼容性問題，所以我們先對其使用版本做個約定。

MySQL配置

由於canal是通過訂閱MySQL的binlog來實現數據同步的，所以我們需要開啟MySQL的binlog寫入功能，並設置binlog-format為ROW模式，我的配置文件為/mydata/mysql/conf/my.cnf，改為如下內容即可；

配置完成後需要重新啟動MySQL，重啟成功後通過如下命令查看binlog是否啟用；show variables like '%log_bin%'

再查看下MySQL的binlog模式；

showvariableslike'binlog_format%';

接下來需要創建一個擁有從庫權限的帳號，用於訂閱binlog，這裡創建的帳號為canal:canal；CREATE USER canal IDENTIFIED BY 'canal'; GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';FLUSH PRIVILEGES;創建好測試用的資料庫canal-test，之後創建一張商品表product，建表語句如下。CREATE TABLE `product` ( `id` bigint(20) NOT NULL AUTO_INCREMENT, `title` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL, `sub_title` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL, `price` decimal(10, 2) NULL DEFAULT NULL, `pic` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL, PRIMARY KEY (`id`) USING BTREE) ENGINE = InnoDB AUTO_INCREMENT = 2 CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;canal-server使用

將我們下載好的壓縮包canal.deployer-1.1.5-SNAPSHOT.tar.gz上傳到Linux伺服器，然後解壓到指定目錄/mydata/canal-server，可使用如下命令解壓；tar -zxvf canal.deployer-1.1.5-SNAPSHOT.tar.gz複製代碼解壓完成後目錄結構如下；

修改配置文件conf/example/instance.properties，按如下配置即可，主要是修改資料庫相關配置；

使用startup.sh腳本啟動canal-server服務；sh bin/startup.sh啟動成功後可使用如下命令查看服務日誌信息；tail -f logs/canal/canal.log2020-10-26 16:18:13.354 [main] INFO com.alibaba.otter.canal.deployer.CanalController - ## start the canal server[172.17.0.1(172.17.0.1):11111]2020-10-26 16:18:19.978 [main] INFO com.alibaba.otter.canal.deployer.CanalStarter - ## the canal server is running now ......啟動成功後可使用如下命令查看instance日誌信息；tail -f logs/example/example.log 複製代碼2020-10-26 16:18:16.056 [main] INFO c.a.o.c.i.spring.support.PropertyPlaceholderConfigurer - Loading properties file from class path resource [canal.properties]2020-10-26 16:18:16.061 [main] INFO c.a.o.c.i.spring.support.PropertyPlaceholderConfigurer - Loading properties file from class path resource [example/instance.properties]2020-10-26 16:18:18.259 [main] INFO c.a.otter.canal.instance.spring.CanalInstanceWithSpring - start CannalInstance for 1-example 2020-10-26 16:18:18.282 [main] WARN c.a.o.canal.parse.inbound.mysql.dbsync.LogEventConvert - --> init table filter : ^.*\..*$2020-10-26 16:18:18.282 [main] WARN c.a.o.canal.parse.inbound.mysql.dbsync.LogEventConvert - --> init table black filter : ^mysql\.slave_.*$2020-10-26 16:18:19.543 [destination = example , address = /127.0.0.1:3306 , EventParser] WARN c.a.o.c.p.inbound.mysql.rds.RdsBinlogEventParserProxy - ---> begin to find start position, it will be long time for reset or first position2020-10-26 16:18:19.578 [main] INFO c.a.otter.canal.instance.core.AbstractCanalInstance - start successful....2020-10-26 16:18:19.912 [destination = example , address = /127.0.0.1:3306 , EventParser] WARN c.a.o.c.p.inbound.mysql.rds.RdsBinlogEventParserProxy - prepare to find start position just last position {"identity":{"slaveId":-1,"sourceAddress":{"address":"localhost","port":3306}},"postion":{"gtid":"","included":false,"journalName":"mall-mysql-bin.000006","position":2271,"serverId":101,"timestamp":1603682664000}}2020-10-26 16:18:22.435 [destination = example , address = /127.0.0.1:3306 , EventParser] WARN c.a.o.c.p.inbound.mysql.rds.RdsBinlogEventParserProxy - ---> find start position successfully, EntryPosition[included=false,journalName=mall-mysql-bin.000006,position=2271,serverId=101,gtid=,timestamp=1603682664000] cost : 2768ms , the next step is binlog dump如果想要停止canal-server服務可以使用如下命令。sh bin/stop.shcanal-adapter使用

將我們下載好的壓縮包canal.adapter-1.1.5-SNAPSHOT.tar.gz上傳到Linux伺服器，然後解壓到指定目錄/mydata/canal-adpter，解壓完成後目錄結構如下；

修改配置文件conf/application.yml，按如下配置即可，主要是修改canal-server配置、數據源配置和客戶端適配器配置；

添加配置文件canal-adapter/conf/es7/product.yml，用於配置MySQL中的表與Elasticsearch中索引的映射關係；

使用startup.sh腳本啟動canal-adapter服務；sh bin/startup.sh啟動成功後可使用如下命令查看服務日誌信息；tail -f logs/adapter/adapter.log20-10-26 16:52:55.148 [main] INFO c.a.o.canal.adapter.launcher.loader.CanalAdapterLoader - Load canal adapter: logger succeed2020-10-26 16:52:57.005 [main] INFO c.a.o.c.client.adapter.es.core.config.ESSyncConfigLoader - ## Start loading es mapping config ... 2020-10-26 16:52:57.376 [main] INFO c.a.o.c.client.adapter.es.core.config.ESSyncConfigLoader - ## ES mapping config loaded2020-10-26 16:52:58.615 [main] INFO c.a.o.canal.adapter.launcher.loader.CanalAdapterLoader - Load canal adapter: es7 succeed2020-10-26 16:52:58.651 [main] INFO c.alibaba.otter.canal.connector.core.spi.ExtensionLoader - extension classpath dir: /mydata/canal-adapter/plugin2020-10-26 16:52:59.043 [main] INFO c.a.o.canal.adapter.launcher.loader.CanalAdapterLoader - Start adapter for canal-client mq topic: example-g1 succeed2020-10-26 16:52:59.044 [main] INFO c.a.o.canal.adapter.launcher.loader.CanalAdapterService - ## the canal client adapters are running now ......2020-10-26 16:52:59.057 [Thread-4] INFO c.a.otter.canal.adapter.launcher.loader.AdapterProcessor - =============> Start to connect destination: example <=============2020-10-26 16:52:59.100 [main] INFO org.apache.coyote.http11.Http11NioProtocol - Starting ProtocolHandler ["http-nio-8081"]2020-10-26 16:52:59.153 [main] INFO org.apache.tomcat.util.net.NioSelectorPool - Using a shared selector for servlet write/read2020-10-26 16:52:59.590 [main] INFO o.s.boot.web.embedded.tomcat.TomcatWebServer - Tomcat started on port(s): 8081 (http) with context path ''2020-10-26 16:52:59.626 [main] INFO c.a.otter.canal.adapter.launcher.CanalAdapterApplication - Started CanalAdapterApplication in 31.278 seconds (JVM running for 33.99)2020-10-26 16:52:59.930 [Thread-4] INFO c.a.otter.canal.adapter.launcher.loader.AdapterProcessor - =============> Subscribe destination: example succeed <=============如果需要停止canal-adapter服務可以使用如下命令。sh bin/stop.sh數據同步演示

經過上面的一系列步驟，canal的數據同步功能已經基本可以使用了，下面我們來演示下數據同步功能。

首先我們需要在Elasticsearch中創建索引，和MySQL中的product表相對應，直接在Kibana的Dev Tools中使用如下命令創建即可；

創建完成後可以查看下索引的結構；GET canal_product/_mapping

之後使用如下SQL語句在資料庫中創建一條記錄；INSERT INTO product ( id, title, sub_title, price, pic ) VALUES ( 5, '小米8', ' 全面屏遊戲智慧型手機 6GB+64GB', 1999.00, NULL );創建成功後，在Elasticsearch中搜索下，發現數據已經同步了；GET canal_product/_search

再使用如下SQL對數據進行修改；UPDATE product SET title='小米10' WHERE id=5修改成功後，在Elasticsearch中搜索下，發現數據已經修改了；

再使用如下SQL對數據進行刪除操作；DELETE FROM product WHERE id=5刪除成功後，在Elasticsearch中搜索下，發現數據已經刪除了，至此MySQL同步到Elasticsearch的功能完成了！

canal-admin使用

將我們下載好的壓縮包canal.admin-1.1.5-SNAPSHOT.tar.gz上傳到Linux伺服器，然後解壓到指定目錄/mydata/canal-admin，解壓完成後目錄結構如下；

創建canal-admin需要使用的資料庫canal_manager，創建SQL腳本為/mydata/canal-admin/conf/canal_manager.sql，會創建如下表；

修改配置文件conf/application.yml，按如下配置即可，主要是修改數據源配置和canal-admin的管理帳號配置，注意需要用一個有讀寫權限的資料庫帳號，比如管理帳號root:root；

接下來對之前搭建的canal-server的conf/canal_local.properties文件進行配置，主要是修改canal-admin的配置，修改完成後使用sh bin/startup.sh local重啟canal-server：

使用startup.sh腳本啟動canal-admin服務；sh bin/startup.sh啟動成功後可使用如下命令查看服務日誌信息；tail -f logs/admin.log020-10-27 10:15:04.210 [main] INFO org.apache.coyote.http11.Http11NioProtocol - Starting ProtocolHandler ["http-nio-8089"]2020-10-27 10:15:04.308 [main] INFO org.apache.tomcat.util.net.NioSelectorPool - Using a shared selector for servlet write/read2020-10-27 10:15:04.534 [main] INFO o.s.boot.web.embedded.tomcat.TomcatWebServer - Tomcat started on port(s): 8089 (http) with context path ''2020-10-27 10:15:04.573 [main] INFO com.alibaba.otter.canal.admin.CanalAdminApplication - Started CanalAdminApplication in 31.203 seconds (JVM running for 34.865)訪問canal-admin的Web界面，輸入帳號密碼admin:123456即可登錄，訪問地址：http://192.168.3.101:8089

登錄成功後即可使用Web界面操作canal-server。

相關焦點

  • canal 1.1.2 發布,阿里 MySQL Binlog 增量訂閱&消費組件
    canal 1.1.2 已發布，更新內容如下：功能新增支持mysql8.0的binlog解析 【BinlogChange(MySQL8
  • 阿里開源otter:分布式資料庫同步系統
    【IT168 資訊】阿里巴巴一向熱衷於開源。從風風火火的去IOE運動，到阿里在GitHub中託管的60個開源項目，都可以看到他們開源的決心。本周一(8月19日)，阿里巴巴宣布開源分布式資料庫同步系統otter。
  • 阿里巴巴 canal 開源組件發布 v1.1.3 版本
    canal 是阿里巴巴在 2012 年開源的基於 MySQL 資料庫增量日誌解析，提供增量數據訂閱&消費。
  • 如何把Access的數據導入到Mysql中
    首頁 > 語言 > 關鍵詞 > 最新資訊 > 正文 如何把Access的數據導入到Mysql中
  • 如何自行搭建一個威脅感知大腦 SIEM?| 雷鋒網公開課
    雷鋒網有幸邀請到了擁有十年安全產品經驗的百度安全專家兜哥，為大家講解如何使用開源軟體搭建企業的SIEM系統。嘉賓簡介兜哥，百度安全專家，具有十年雲安全產品經驗，主要研究方向為機器學習、殭屍網絡、威脅情報、沙箱技術、具有多年企業安全建設經驗，擁有安全方向相關專利多項；發表多篇安全學術論文。
  • 擁抱雲原生,如何將開源項目用k8s部署?
    本文將重點分享阿里開源項目otter適配k8s部署的改造過程，其中的改造過程和技巧應該適用於將大多數開源項目改造到k8s進行部署。1.背景otter是阿里開源的分布式資料庫同步系統，基於資料庫增量日誌解析，並準實時同步到本機房或異地機房的mysql/oracle資料庫(相關內容可以參考https://github.com/alibaba/otter，本文不做過多贅述)。
  • 這7款Chrome 插件,堪稱神器
    這7款Chrome 插件，堪稱神器 Chrome(谷歌)瀏覽器是世界上最好用的瀏覽器之一，這個應該很少人會反駁。雖然它很好用，但總有些功能顧及不到，那麼如何加強它的性能，提高瀏覽器的使用效率?給大家介紹這7款Chrome 插件，堪稱神器，感興趣的朋友可以收藏起來。
  • 對話ACM傑出科學家、達摩院資料庫負責人李飛飛:阿里如何打好數據...
    這一階段持續到2011年-2012年，彼時電商業務高速發展，對傳統的甲骨文企業級資料庫的解決方案提出很多挑戰，最明顯的挑戰是成本太高，當高並發網際網路電商發展到巨大的規模，那個成本將是天文數字。第二階段，雙十一誕生後，阿里開始大規模使用開源資料庫。
  • 如何向mysql導入數據
    一、導入.sql文件1.mysql命令導入數據基本語法：mysql -h伺服器地址 -u用戶名 -p 資料庫名< 要導入的資料庫文件路徑例：導入G:>[escaped by'\' ]] [lines terminated by '\n'] [ignore n lines] [(col_name, )] low_priority：load data語句的執行被推遲到沒有其他客戶讀取表之後
  • 從Hadoop到自主研發,技術解讀阿里去IOE後的系統架構
    盤古，飛天的分布式文件系統，在內部架構上盤古採用Master/ChunkServer結構，Master管理元數據，ChunkServer負責實際數據讀寫，通過Client對外提供類POSIX的專有API。在集群擴展到5K規模後，相關問題紛至沓來，主要可分為兩個部分：首先，盤古MasterIOPS問題；其次，盤古Master冷啟動速度。那麼究竟是什麼造成了這些問題？阿里工程師又該如何應對？
  • JAVA 經典面試題:ES如何做到億級數據查詢毫秒級返回?
    其實，僅僅寫入 elasticsearch 中要用來檢索的少數幾個欄位就可以了，比如說就寫入 es id,name,age 三個欄位，然後你可以把其他的欄位數據存在 mysql/hbase 裡，我們一般是建議用 elasticsearch + hbase 這麼一個架構。
  • java操作ES整個流程介紹
    dependency><groupId>org.elasticsearch</groupId><artifactId>elasticsearch</artifactId><version>${elasticsearch.version}</version>2、將庫表裡的數據導入部分到
  • 沒用這款開源神器的鍋?
    Flyway正是這麼一款工具，通過Flyway和SpringBoot結合使用，在應用啟動時就可以自動升級資料庫表結構，非常方便，推薦給大家！Flyway簡介Flyway是一款資料庫遷移工具，它讓資料庫遷移變得更加簡單。它能像Git一樣對資料庫進行版本控制，支持命令行工具、Maven插件、第三方工具（比如SpringBoot）等多種使用方式。
  • 阿里高級安全專家自述:阿里如何實現數據「可用不可見」
    ，作者為阿里巴巴集團安全部高級安全專家包義保，原文標題為《解決數據加密和高效計算這一兩難問題的鑰匙——從可信執行環境到企業級大規模密文計算》。但是，在這一數據全生命周期鏈路中，有一個至關重要的處理過程因為技術等原因一直沒有很好解決，那就是加密後數據在計算過程中的處理問題。傳統的方式是要求先解密數據再進行計算，這給數據生命周期安全留下了一個巨大的缺口。為應對上述安全缺口，傳統的方式是讓計算和數據都處於擁有者控制之下，即計算和數據都在擁有者統一的安全域中，因而上述安全缺口不會造成特別嚴重的問題。
  • DTCC:MySQl核心代碼開發經驗揭示
    ▲更多報導，更多精彩盡在IT168現場直播(點擊了解更多)　　北京萬裡開源軟體有限公司是一家立足於中國的開源軟體產品、解決方案和技術服務提供商。3、開發人員的工作：便攜測試用例，用於重現Bug、代碼調試和回歸測試;調試和分析問題，提出解決方案;修改代碼;運行測試用例，通過後提交patch;審核通過後將patch push到bugfixing分支。4、合併到Trunk，技術文檔人員更新相應的文檔。
  • 有道雲筆如何實現手寫筆記實時同步到雲端?
    這個神奇的產品，可以讓大家把隨手記錄的內容實時同步到有道雲筆記，而且能夠100%還原書寫時的排版。下面我們就一起看一下吧。我們在連接APP後，可以使用一鍵同步功能，就可以將書寫的內容同步到手機中。    128MB容量能存儲多少，官方數據是可以存儲20本筆記本的容量，一本筆記本是158頁，所以大概可以書寫3200頁A5頁面。當然這個實際存儲量筆者就沒辦法實際測試了，畢竟寫這麼多頁顯然不現實。不過從存儲數據來看，筆者寫了十來頁內容，存儲剩餘容量始終是99%，所以存儲量還是相當大的。
  • 解析阿里雲大數據服務——ODPS
    如今又增加了一款重磅雲服務產品：基於飛天的ODPS（Open Data Processing Service），提供數據倉庫、數據挖掘和其他數據應用等功能。7月14日，阿里雲計算公司總裁及阿里巴巴集團副總裁王文彬（花名菲青）為之站場，並稱之為「中國進入大數據時代的裡程碑」。
  • 大數據挖掘——(六):MySql資料庫
    mysql資料庫MySQL 是最流行的關係型資料庫管理系統，在WEB應用方面 MySQL 是最好的RDBMS(Relational Database Management System：關係資料庫管理系統)應用軟體之一,MySQL 是開源的，並且支持多種語言，包括C、C++、Python、Java、
  • 開源搜尋引擎solr介紹
    舉個例子，假設分別把下面三句話存儲到mysql和solr中：I like sportsI like readingI like reading books在mysql中，一個文檔id對應一條記錄，一條記錄中就會有一個或多個內容欄位。比如：文檔id為1，對應「I like sports」;文檔id為2，對應「I like reading」。
  • MySQL 數據校驗工具-愛可生|mysql|perl|伺服器|node01_網易訂閱
    其原理是在主庫執行基於 statement 的 SQL 語句來生成主庫數據塊的checksum，把相同的 SQL 語句傳遞到從庫執行，並在從庫上計算相同數據塊的 checksum，最後，比較主從庫上相同數據塊的 checksum 值，由此判斷主從數據是否一致。它能在非常大的表上工作的一個原因是，它把每個表分成行塊，並檢查每個塊與單個替換。選擇查詢。它改變塊的大小，使校驗和查詢在所需的時間內運行。