MySQL如何實時同步數據到ES?試試這款阿里開源的神器!

2021-02-19 macrozheng

mall項目中的商品搜索功能，一直都沒有做實時數據同步。最近發現阿里巴巴開源的canal可以把MySQL中的數據實時同步到Elasticsearch中，能很好地解決數據同步問題。今天我們來講講canal的使用，希望對大家有所幫助！

canal簡介

canal主要用途是對MySQL資料庫增量日誌進行解析，提供增量數據的訂閱和消費，簡單說就是可以對MySQL的增量數據進行實時同步，支持同步到MySQL、Elasticsearch、HBase等數據存儲中去。

canal工作原理

canal會模擬MySQL主庫和從庫的交互協議，從而偽裝成MySQL的從庫，然後向MySQL主庫發送dump協議，MySQL主庫收到dump請求會向canal推送binlog，canal通過解析binlog將數據同步到其他存儲中去。

canal工作原理圖canal使用

接下來我們來學習下canal的使用，以MySQL實時同步數據到Elasticsearch為例。

組件下載首先我們需要下載canal的各個組件canal-server、canal-adapter、canal-admin，下載地址：https://github.com/alibaba/canal/releases

canal的各個組件的用途各不相同，下面分別介紹下：

canal-server（canal-deploy）：可以直接監聽MySQL的binlog，把自己偽裝成MySQL的從庫，只負責接收數據，並不做處理。canal-adapter：相當於canal的客戶端，會從canal-server中獲取數據，然後對數據進行同步，可以同步到MySQL、Elasticsearch和HBase等存儲中去。canal-admin：為canal提供整體配置管理、節點運維等面向運維的功能，提供相對友好的WebUI操作界面，方便更多用戶快速和安全的操作。

由於不同版本的MySQL、Elasticsearch和canal會有兼容性問題，所以我們先對其使用版本做個約定。

應用埠版本MySQL33065.7Elasticsearch92007.6.2Kibanba56017.6.2canal-server111111.1.15canal-adapter80811.1.15canal-admin80891.1.15MySQL配置由於canal是通過訂閱MySQL的binlog來實現數據同步的，所以我們需要開啟MySQL的binlog寫入功能，並設置binlog-format為ROW模式，我的配置文件為/mydata/mysql/conf/my.cnf，改為如下內容即可；
[mysqld]
## 設置server_id，同一區域網中需要唯一
server_id=101 
## 指定不需要同步的資料庫名稱
binlog-ignore-db=mysql  
## 開啟二進位日誌功能
log-bin=mall-mysql-bin  
## 設置二進位日誌使用內存大小（事務）
binlog_cache_size=1M  
## 設置使用的二進位日誌格式（mixed,statement,row）
binlog_format=row  
## 二進位日誌過期清理時間。默認值為0，表示不自動清理。
expire_logs_days=7  
## 跳過主從複製中遇到的所有錯誤或指定類型的錯誤，避免slave端複製中斷。
## 如：1062錯誤是指一些主鍵重複，1032錯誤是因為主從資料庫數據不一致
slave_skip_errors=1062  
配置完成後需要重新啟動MySQL，重啟成功後通過如下命令查看binlog是否啟用；
show variables like '%log_bin%'
+---+--+
| Variable_name                   | Value                               |
+---+--+
| log_bin                         | ON                                  |
| log_bin_basename                | /var/lib/mysql/mall-mysql-bin       |
| log_bin_index                   | /var/lib/mysql/mall-mysql-bin.index |
| log_bin_trust_function_creators | OFF                                 |
| log_bin_use_v1_row_events       | OFF                                 |
| sql_log_bin                     | ON                                  |
+---+--+
show variables like 'binlog_format%';  
++--+
| Variable_name | Value |
++--+
| binlog_format | ROW   |
++--+
接下來需要創建一個擁有從庫權限的帳號，用於訂閱binlog，這裡創建的帳號為canal:canal；
CREATE USER canal IDENTIFIED BY 'canal';  
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
FLUSH PRIVILEGES;
創建好測試用的資料庫canal-test，之後創建一張商品表product，建表語句如下。
CREATE TABLE `product`  (
  `id` bigint(20) NOT NULL AUTO_INCREMENT,
  `title` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  `sub_title` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  `price` decimal(10, 2) NULL DEFAULT NULL,
  `pic` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  PRIMARY KEY (`id`) USING BTREE
) ENGINE = InnoDB AUTO_INCREMENT = 2 CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;
canal-server使用將我們下載好的壓縮包canal.deployer-1.1.5-SNAPSHOT.tar.gz上傳到Linux伺服器，然後解壓到指定目錄/mydata/canal-server，可使用如下命令解壓；
tar -zxvf canal.deployer-1.1.5-SNAPSHOT.tar.gz
├── bin
│   ├── restart.sh
│   ├── startup.bat
│   ├── startup.sh
│   └── stop.sh
├── conf
│   ├── canal_local.properties
│   ├── canal.properties
│   └── example
│       └── instance.properties
├── lib
├── logs
│   ├── canal
│   │   └── canal.log
│   └── example
│       ├── example.log
│       └── example.log
└── plugin
修改配置文件conf/example/instance.properties，按如下配置即可，主要是修改資料庫相關配置；
# 需要同步數據的MySQL地址
canal.instance.master.address=127.0.0.1:3306
canal.instance.master.journal.name=
canal.instance.master.position=
canal.instance.master.timestamp=
canal.instance.master.gtid=
# 用於同步數據的資料庫帳號
canal.instance.dbUsername=canal
# 用於同步數據的資料庫密碼
canal.instance.dbPassword=canal
# 資料庫連接編碼
canal.instance.connectionCharset = UTF-8
# 需要訂閱binlog的表過濾正則表達式
canal.instance.filter.regex=.*\\..*
使用startup.sh腳本啟動canal-server服務；
sh bin/startup.sh
tail -f logs/canal/canal.log
2020-10-26 16:18:13.354 [main] INFO  com.alibaba.otter.canal.deployer.CanalController - ## start the canal server[172.17.0.1(172.17.0.1):11111]
2020-10-26 16:18:19.978 [main] INFO  com.alibaba.otter.canal.deployer.CanalStarter - ## the canal server is running now .
啟動成功後可使用如下命令查看instance日誌信息；
tail -f logs/example/example.log 
2020-10-26 16:18:16.056 [main] INFO  c.a.o.c.i.spring.support.PropertyPlaceholderConfigurer - Loading properties file from class path resource [canal.properties]
2020-10-26 16:18:16.061 [main] INFO  c.a.o.c.i.spring.support.PropertyPlaceholderConfigurer - Loading properties file from class path resource [example/instance.properties]
2020-10-26 16:18:18.259 [main] INFO  c.a.otter.canal.instance.spring.CanalInstanceWithSpring - start CannalInstance for 1-example 
2020-10-26 16:18:18.282 [main] WARN  c.a.o.canal.parse.inbound.mysql.dbsync.LogEventConvert - --> init table filter : ^.*\..*$
2020-10-26 16:18:18.282 [main] WARN  c.a.o.canal.parse.inbound.mysql.dbsync.LogEventConvert - --> init table black filter : ^mysql\.slave_.*$
2020-10-26 16:18:19.543 [destination = example , address = /127.0.0.1:3306 , EventParser] WARN  c.a.o.c.p.inbound.mysql.rds.RdsBinlogEventParserProxy - ---> begin to find start position, it will be long time for reset or first position
2020-10-26 16:18:19.578 [main] INFO  c.a.otter.canal.instance.core.AbstractCanalInstance - start successful....
2020-10-26 16:18:19.912 [destination = example , address = /127.0.0.1:3306 , EventParser] WARN  c.a.o.c.p.inbound.mysql.rds.RdsBinlogEventParserProxy - prepare to find start position just last position
 {"identity":{"slaveId":-1,"sourceAddress":{"address":"localhost","port":3306}},"postion":{"gtid":"","included":false,"journalName":"mall-mysql-bin.000006","position":2271,"serverId":101,"timestamp":1603682664000}}
2020-10-26 16:18:22.435 [destination = example , address = /127.0.0.1:3306 , EventParser] WARN  c.a.o.c.p.inbound.mysql.rds.RdsBinlogEventParserProxy - ---> find start position successfully, EntryPosition[included=false,journalName=mall-mysql-bin.000006,position=2271,serverId=101,gtid=,timestamp=1603682664000] cost : 2768ms , the next step is binlog dump
如果想要停止canal-server服務可以使用如下命令。
sh bin/stop.sh
canal-adapter使用將我們下載好的壓縮包canal.adapter-1.1.5-SNAPSHOT.tar.gz上傳到Linux伺服器，然後解壓到指定目錄/mydata/canal-adpter，解壓完成後目錄結構如下；
├── bin
│   ├── adapter.pid
│   ├── restart.sh
│   ├── startup.bat
│   ├── startup.sh
│   └── stop.sh
├── conf
│   ├── application.yml
│   ├── es6
│   ├── es7
│   │   ├── biz_order.yml
│   │   ├── customer.yml
│   │   └── product.yml
│   ├── hbase
│   ├── kudu
│   ├── logback.xml
│   ├── META-INF
│   │   └── spring.factories
│   └── rdb
├── lib
├── logs
│   └── adapter
│       └── adapter.log
└── plugin
修改配置文件conf/application.yml，按如下配置即可，主要是修改canal-server配置、數據源配置和客戶端適配器配置；
canal.conf:
  mode: tcp # 客戶端的模式，可選tcp kafka rocketMQ
  flatMessage: true # 扁平message開關, 是否以json字符串形式投遞數據, 僅在kafka/rocketMQ模式下有效
  zookeeperHosts:    # 對應集群模式下的zk地址
  syncBatchSize: 1000 # 每次同步的批數量
  retries: 0 # 重試次數, -1為無限重試
  timeout: # 同步超時時間, 單位毫秒
  accessKey:
  secretKey:
  consumerProperties:
    # canal tcp consumer
    canal.tcp.server.host: 127.0.0.1:11111 #設置canal-server的地址
    canal.tcp.zookeeper.hosts:
    canal.tcp.batch.size: 500
    canal.tcp.username:
    canal.tcp.password:

  srcDataSources: # 源資料庫配置
    defaultDS:
      url: jdbc:mysql://127.0.0.1:3306/canal_test?useUnicode=true
      username: canal
      password: canal
  canalAdapters: # 適配器列表
  - instance: example # canal實例名或者MQ topic名
    groups: # 分組列表
    - groupId: g1 # 分組id, 如果是MQ模式將用到該值
      outerAdapters:
      - name: logger # 日誌列印適配器
      - name: es7 # ES同步適配器
        hosts: 127.0.0.1:9200 # ES連接地址
        properties:
          mode: rest # 模式可選transport(9300) 或者 rest(9200)
          # security.auth: test:123456 #  only used for rest mode
          cluster.name: elasticsearch # ES集群名稱
添加配置文件canal-adapter/conf/es7/product.yml，用於配置MySQL中的表與Elasticsearch中索引的映射關係；
dataSourceKey: defaultDS # 源數據源的key, 對應上面配置的srcDataSources中的值
destination: example  # canal的instance或者MQ的topic
groupId: g1 # 對應MQ模式下的groupId, 只會同步對應groupId的數據
esMapping:
  _index: canal_product # es 的索引名稱
  _id: _id  # es 的_id, 如果不配置該項必須配置下面的pk項_id則會由es自動分配
  sql: "SELECT
         p.id AS _id,
         p.title,
         p.sub_title,
         p.price,
         p.pic
        FROM
         product p"        # sql映射
  etlCondition: "where a.c_time>={}"   #etl的條件參數
  commitBatch: 3000   # 提交批大小
使用startup.sh腳本啟動canal-adapter服務；
sh bin/startup.sh
tail -f logs/adapter/adapter.log
20-10-26 16:52:55.148 [main] INFO  c.a.o.canal.adapter.launcher.loader.CanalAdapterLoader - Load canal adapter: logger succeed
2020-10-26 16:52:57.005 [main] INFO  c.a.o.c.client.adapter.es.core.config.ESSyncConfigLoader - ## Start loading es mapping config ... 
2020-10-26 16:52:57.376 [main] INFO  c.a.o.c.client.adapter.es.core.config.ESSyncConfigLoader - ## ES mapping config loaded
2020-10-26 16:52:58.615 [main] INFO  c.a.o.canal.adapter.launcher.loader.CanalAdapterLoader - Load canal adapter: es7 succeed
2020-10-26 16:52:58.651 [main] INFO  c.alibaba.otter.canal.connector.core.spi.ExtensionLoader - extension classpath dir: /mydata/canal-adapter/plugin
2020-10-26 16:52:59.043 [main] INFO  c.a.o.canal.adapter.launcher.loader.CanalAdapterLoader - Start adapter for canal-client mq topic: example-g1 succeed
2020-10-26 16:52:59.044 [main] INFO  c.a.o.canal.adapter.launcher.loader.CanalAdapterService - ## the canal client adapters are running now .
2020-10-26 16:52:59.057 [Thread-4] INFO  c.a.otter.canal.adapter.launcher.loader.AdapterProcessor - =============> Start to connect destination: example <=============
2020-10-26 16:52:59.100 [main] INFO  org.apache.coyote.http11.Http11NioProtocol - Starting ProtocolHandler ["http-nio-8081"]
2020-10-26 16:52:59.153 [main] INFO  org.apache.tomcat.util.net.NioSelectorPool - Using a shared selector for servlet write/read
2020-10-26 16:52:59.590 [main] INFO  o.s.boot.web.embedded.tomcat.TomcatWebServer - Tomcat started on port(s): 8081 (http) with context path ''
2020-10-26 16:52:59.626 [main] INFO  c.a.otter.canal.adapter.launcher.CanalAdapterApplication - Started CanalAdapterApplication in 31.278 seconds (JVM running for 33.99)
2020-10-26 16:52:59.930 [Thread-4] INFO  c.a.otter.canal.adapter.launcher.loader.AdapterProcessor - =============> Subscribe destination: example succeed <=============
如果需要停止canal-adapter服務可以使用如下命令。
sh bin/stop.sh
數據同步演示
經過上面的一系列步驟，canal的數據同步功能已經基本可以使用了，下面我們來演示下數據同步功能。
首先我們需要在Elasticsearch中創建索引，和MySQL中的product表相對應，直接在Kibana的Dev Tools中使用如下命令創建即可；
PUT canal_product
{
  "mappings": {
    "properties": {
      "title": {
        "type": "text"
      },
      "sub_title": {
        "type": "text"
      },
      "pic": {
        "type": "text"
      },
      "price": {
        "type": "double"
      }
    }
  }
}
GET canal_product/_mapping
INSERT INTO product ( id, title, sub_title, price, pic ) VALUES ( 5, '小米8', ' 全面屏遊戲智慧型手機 6GB+64GB', 1999.00, NULL );
創建成功後，在Elasticsearch中搜索下，發現數據已經同步了；
GET canal_product/_search
UPDATE product SET title='小米10' WHERE id=5
修改成功後，在Elasticsearch中搜索下，發現數據已經修改了；
DELETE FROM product WHERE id=5
刪除成功後，在Elasticsearch中搜索下，發現數據已經刪除了，至此MySQL同步到Elasticsearch的功能完成了！canal-admin使用將我們下載好的壓縮包canal.admin-1.1.5-SNAPSHOT.tar.gz上傳到Linux伺服器，然後解壓到指定目錄/mydata/canal-admin，解壓完成後目錄結構如下；
├── bin
│   ├── restart.sh
│   ├── startup.bat
│   ├── startup.sh
│   └── stop.sh
├── conf
│   ├── application.yml
│   ├── canal_manager.sql
│   ├── canal-template.properties
│   ├── instance-template.properties
│   ├── logback.xml
│   └── public
│       ├── avatar.gif
│       ├── index.html
│       ├── logo.png
│       └── static
├── lib
└── logs
創建canal-admin需要使用的資料庫canal_manager，創建SQL腳本為/mydata/canal-admin/conf/canal_manager.sql，會創建如下表；修改配置文件conf/application.yml，按如下配置即可，主要是修改數據源配置和canal-admin的管理帳號配置，注意需要用一個有讀寫權限的資料庫帳號，比如管理帳號root:root；
server:
  port: 8089
spring:
  jackson:
    date-format: yyyy-MM-dd HH:mm:ss
    time-zone: GMT+8

spring.datasource:
  address: 127.0.0.1:3306
  database: canal_manager
  username: root
  password: root
  driver-class-name: com.mysql.jdbc.Driver
  url: jdbc:mysql://${spring.datasource.address}/${spring.datasource.database}?useUnicode=true&characterEncoding=UTF-8&useSSL=false
  hikari:
    maximum-pool-size: 30
    minimum-idle: 1

canal:
  adminUser: admin
  adminPasswd: admin
接下來對之前搭建的canal-server的conf/canal_local.properties文件進行配置，主要是修改canal-admin的配置，修改完成後使用sh bin/startup.sh local重啟canal-server：
# register ip
canal.register.ip =

# canal admin config
canal.admin.manager = 127.0.0.1:8089
canal.admin.port = 11110
canal.admin.user = admin
canal.admin.passwd = 4ACFE3202A5FF5CF467898FC58AAB1D615029441
# admin auto register
canal.admin.register.auto = true
canal.admin.register.cluster = 
使用startup.sh腳本啟動canal-admin服務；
sh bin/startup.sh
tail -f logs/admin.log
020-10-27 10:15:04.210 [main] INFO  org.apache.coyote.http11.Http11NioProtocol - Starting ProtocolHandler ["http-nio-8089"]
2020-10-27 10:15:04.308 [main] INFO  org.apache.tomcat.util.net.NioSelectorPool - Using a shared selector for servlet write/read
2020-10-27 10:15:04.534 [main] INFO  o.s.boot.web.embedded.tomcat.TomcatWebServer - Tomcat started on port(s): 8089 (http) with context path ''
2020-10-27 10:15:04.573 [main] INFO  com.alibaba.otter.canal.admin.CanalAdminApplication - Started CanalAdminApplication in 31.203 seconds (JVM running for 34.865)
訪問canal-admin的Web界面，輸入帳號密碼admin:123456即可登錄，訪問地址：http://192.168.3.101:8089登錄成功後即可使用Web界面操作canal-server。參考資料 
canal官方文檔：https://github.com/alibaba/canal/wiki
配置文件地址 
https://github.com/macrozheng/mall-learning/tree/master/document/canal-config
推薦閱讀 
歡迎關注，點個在看

相關焦點

  • Mysql數據實時同步實踐
    如何能夠做到數據的實時同步呢？：每一個mysql庫都會對應這樣一個Job，將binlog日誌完整地寫入到服務創建的Talos topic中MysqlSyncJob：同步歷史數據，消費binlog數據，過濾特定庫表數據實時同步至用戶配置的topic中服務整體依賴於Zookeeper來同步服務狀態，記錄作業調度信息和標記作業運行狀態；在kudu表中記錄作業同步進度Worker節點通過在Zookeeper上註冊告知自己可以被調度通過在
  • docker-compose logstash 同步mysql 數據 es 實現關鍵字搜索
    概述在生產業務常有將  數據同步到 ES 的需求，如果需要很高的定製化，往往需要開發同步程序用於處理數據。
  • Canal 實現 Mysql資料庫實時數據同步
    簡介1.1 canal介紹Canal是一個基於MySQL二進位日誌的高性能數據同步系統。Canal廣泛用於阿里巴巴集團（包括https://www.taobao.com），以提供可靠的低延遲增量數據管道，github地址：https://github.com/alibaba/canalCanal Server能夠解析MySQL binlog並訂閱數據更改，而Canal Client可以實現將更改廣播到任何地方，例如資料庫和Apache
  • MySQL-Canal-Kafka數據複製詳解
    摘要：MySQL被廣泛用於海量業務的存儲資料庫，在大數據時代，我們亟需對其中的海量數據進行分析，但在MySQL之上進行大數據分析顯然是不現實的，這會影響業務系統的運行穩定。如果我們要實時地分析這些數據，則需要實時地將其複製到適合OLAP的數據系統上。
  • Canal:同步mysql增量數據工具,一篇詳解核心知識點
    根據這張圖，老劉把 mysql 的主備複製原理分解為如下流程：主伺服器首先必須啟動二進位日誌 binlog，用來記錄任何修改了資料庫數據的事件。主伺服器將數據的改變記錄到二進位 binlog 日誌。從伺服器會將主伺服器的二進位日誌複製到其本地的中繼日誌（Relaylog）中。
  • Redis數據同步和數據遷移如何做?
    數據遷移 這種一般比較好做，可以直接從源redis導出rdb，再把rdb文件導入目標redis。但是如果需要實時增量同步就比較困難，有什麼好的方法解決這種需求，這裡介紹下阿里雲開源 redis-shake 工具。
  • OGG實現數據實時同步
    OGG 能夠實現大量交易數據的實時捕捉，變換和投遞，實現源資料庫與目標資料庫的數據同步，保持最少10ms的數據延遲。由於oracle資料庫佔大量磁碟空間，因此以MySQL為例。1.給/var/lib/mysql授權,否則容器無法運行chmod 777 /var/lib/mysql2.運行容器docker run --name mysql -v /mym/mysql/data:/var/lib/mysql -v /var/lib/mysql:/var/run/mysqld -e MYSQL_ROOT_PASSWORD=123456 -p 3306:3306 -itd mysql
  • 一款強大的可視化分布式數據同步工具
    這是我目前見過最好的IM聊天系統。功能完整，代碼結構清晰。值得推薦。📚 項目介紹DataX Web 是在 DataX 之上開發的分布式數據同步工具，提供簡單易用的 操作界面，降低用戶使用 DataX 的學習成本，縮短任務配置時間，避免配置過程中出錯。
  • 基於 Kafka 與 Debezium 構建實時數據同步
    （由於舊錶的設計往往非常範式化，因此拆分後的新表會增加很多來自其它表的冗餘列）如何保證數據同步的實時性？（往往會先遷移讀操作到新表，這時就要求舊錶的寫操作必須準實時地同步到新表）典型的解決方案有兩種：雙寫(dual write): 即所有寫入操作同時寫入舊錶和新表，這種方式可以完全控制應用代碼如何寫資料庫，聽上去簡單明了。
  • MySQL從零到一解讀增量同步數據到elasticsearch canal adapter方式(binlog)實現
    本文是作者在單機上面從零到一實現增量同步MySQL數據到elasticsearch canal adapter方式(binlog)實現。
  • 教你一招 MySQL誤操作後如何快速恢復數據
    （當然也可能是你同事）都會碰一個問題，MySQL誤操作後如何快速回滾？假如這還是線上環境核心業務數據，那這事就鬧大了。誤操作後，能快速回滾數據是非常重要的。傳統解法用全量備份重搭實例，再利用增量binlog備份，恢復到誤操作之前的狀態。然後跳過誤操作的SQL，再繼續應用binlog。此法費時費力，不值得再推薦。
  • 使用OGG從ORACLE到MYSQL的數據同步
    已有源端ORACLE到ORACLE的數據同步，由於業務需要，需添加源端ORACLE到目標端MYSQL的數據同步，本操作不包含源端抽取進程的配置。從http://edelivery.oracle.com選擇golden gate for non oracle database11.2.0.1，繼續後可以選擇for mysql 5.x下載。
  • 使用OGG從ORACLE到MYSQL的數據同步(二)
    在本文之前，寫過一篇使用了ORACLE GOLDENGATE DIRECT LOAD 數據初始化來進行OGG數據同步的操作文檔。在測試過程中沒有問題，但在實際生產中，當數據量上升到一定數量級，初始化速度持續下降的，根據測試160萬數據到後期每秒初始化僅不到20條，實際測試數據如下：根據測試數據，1張58萬，1張161萬的表，實際初始化時間超過15個小時，考慮到上線後如有數據問題等情況需重新初始化，根本不能滿足生產要求，因此必須考慮採用其他方式進行初始化。
  • TiDB binlog實時同步數據到下遊Kafka
    TiDB Binlog集群主要分為Pump和Drainer兩個組件，以及binlogctl工具：PumpPump用於實時記錄TiDB產生的Binlog，並將Binlog按照事務的提交時間進行排序，再提供給Drainer
  • Es 實戰之 python 編程
    聽起來是不是很 easy 呀可以在前端界面搜索城市（省市）名稱，查詢到對應的城市信息城市信息可能每天在變（新增/更新/刪除），需要每天將數據同步一次數據每天都會被（新增/更新/刪除），沒有唯一 key ，很難做部分更新、部分新增、部分刪除mysql 在寫入數據的時候，要先刪除舊數據，再把新數據寫入。
  • [210303]免費且開源的跨平臺文件同步神器 Syncthing 數據同步神器 P2P文件同步工具
    今天，分享君分享的是Syncthing，是一個免費的開源跨平臺文件同步工具。
  • Flink CDC 系列 - 實現 MySQL 數據實時寫入 Apache Doris
    同步到一個或多個數據目的 (Sink)。在在同步過程中，還可以對數據進行一定的處理，例如分組 (GROUP BY)、多表的關聯 (JOIN) 等。例如對於電商平臺，用戶的訂單會實時寫入到某個源資料庫；A 部門需要將每分鐘的實時數據簡單聚合處理後保存到 Redis 中以供查詢，B 部門需要將當天的數據暫存到 Elasticsearch 一份來做報表展示，C 部門也需要一份數據到 ClickHouse 做實時數倉。
  • Syncthing - 免費開源替代 Resilio / BT Sync 的文件夾同步神器 (搭建同步網盤)
    而今天推薦的 Syncthing 可能正是這類工具中的最佳選擇……Syncthing - 開源免費的文件夾同步神器 (Resilio Sync 的替代品)自建網盤雲儲存同步服務的軟體有很多，異次元就推薦過 Seafile、NextCloud、ownCloud、BT Sync (Resilio Sync) 等。
  • 阿里巴巴73款開源產品全向圖
    淘寶在這一領域做了有效的探索和實踐，Taobao File System（TFS）作為淘寶內部使用的分布式文件系統，針對海量小文件的隨機讀寫訪問性能做了特殊優化。AliRedis（計劃開源）：AliRedis是阿里團隊針對Redis日常維護中出現的不足而在Redis原有基礎上做出的深度改進。
  • 開源MySQL數據倉庫解決方案:Infobright
    Infobright是開源的MySQL數據倉庫解決方案，引入了列存儲方案，高強度的數據壓縮，優化的統計計算(類似sum/avg/group by之類)，infobright 是基於mysql的，但不裝mysql亦可，因為它本身就自帶了一個。