Redis migrate 數據遷移工具

在工作中可能會遇到單點Redis向Redis集群遷移數據的問題，但又不能老麻煩運維來做。為了方便研發自己遷移數據，我這裡寫了一個簡單的Redis遷移工具，希望對有需要的人有用。

本工具支持:

• 單點Redis到單點Redis遷移
• 單點Redis到Redis集群遷移
• Redis集群到Redis集群遷移
• Redis集群到單點Redis遷移

該工具已經編譯成了多平臺命令，直接從Github下載二進位文件執行就好了。 項目地址: https://github.com/icowan/redis-tool 把代碼拉下來之後直接執行命令 make 就可以編譯多個平臺可執行文件，需要依賴golang編譯器。

• Windows amd64: redis-tool-windows-amd64.exe
• MacOS amd64: redis-tool-darwin-amd64
• Linux amd64: redis-tool-linux-amd64
• Linux arm64: redis-tool-linux-arm64查看使用方法:

$ chmod a+x redis-tool-linux-amd64 $ ./redis-tool-linux-amd64 -h

支持的數據類型

• string 字符串
• hash 散列列表
• list 列表
• sorted-set 有序集合

如何使用

下載好命令並授權之後執行 ./redis-tool-linux-amd64 -h 可以查看該工具所支持的所有功能:

$ ./redis-tool-darwin-amd64 migrate -h數據遷移命令Usage:redis-tool migrate [command]Examples:支持命令:[hash, set, sorted-set, list]Available Commands:all         遷移所有hash       哈希列表遷移list       列表遷移 set         redis set 遷移sorted-set 有序集合遷移Flags: -h, --help                   help for migrate     --source-auth string     源密碼     --source-database int   源database     --source-hosts string   源redis地址, 多個ip用','隔開 (default "127.0.0.1:6379")     --source-prefix string   源redis前綴     --source-redis-cluster   源redis是否是集群     --target-auth string     目標密碼     --target-database int   目標database     --target-hosts string   目標redis地址, 多個ip用','隔開 (default "127.0.0.1:6379")     --target-prefix string   目標redis前綴     --target-redis-cluster   目標redis是否是集群Use "redis-tool migrate [command] --help" for more information about a command.

參數說明:

• --source-auth: 源redis密碼，如果有的話就填
• --source-database: 源database,默認是 0
• --source-hosts: 源redis地址, 集群的多個ip用','隔開 (default "127.0.0.1:6379")
• --source-prefix: 源redis前綴, 可不填
• --source-redis-cluster: 源redis是否是集群, 默認 false
• --target-auth: 遷移目標redis密碼，如果有的話就填
• --target-database: 遷移目標database,默認是 0
• --target-hosts: 遷移目標redis地址, 集群的多個ip用','隔開 (default "127.0.0.1:6379")
• --target-prefix: 遷移目標redis前綴, 可不填
• --target-redis-cluster: 遷移目標redis是否是集群, 默認 false

遷移單個key的數據

下面就舉兩個例子吧，其他的都差不太多。

Hash類型

可以通過命令 redis-tool migrate hash -h 查看使用說明

$ redis-tool migrate hash helloworld \  --source-hosts 127.0.0.1:6379 \  --target-redis-cluster true \  --target-hosts 127.0.0.1:6379,127.0.0.1:7379 \  --target-auth 123456

有序集合

可以通過命令 redis-tool migrate sorted-set -h 查看使用說明 有序集合的數據量可能會比較大，所以這裡按 50000 為單位進行了切割。我這裡測試過遷移近17000000萬條的數據，用時40多分鐘。

$ redis-tool migrate hash helloworld \  --source-hosts 127.0.0.1:6379 \  --target-redis-cluster true \  --target-hosts 127.0.0.1:6379,127.0.0.1:7379 \  --target-auth 123456

遷移所有key的數據支持通配符過濾

可以通過命令 redis-tool migrate all -h 查看使用說明

$ redis-tool migrate all "ipdetect:*" \     --source-hosts 127.0.0.1:6379 \    --target-redis-cluster true \    --target-hosts 127.0.0.1:6379,127.0.0.1:7379 \    --target-auth 123456

這個命令會編譯匹配到的所有類型的key,再根據key的類型進行逐步遷移。

尾巴

使用golang寫的一個比較簡單的工具, 主要用於在Redis沒有持久化或多套Redis向一套Redis遷移的情況下使用。

希望對大家有用，謝謝！

作者：宜信技術學院 王聰