還不懂MyCat？一文帶你深入剖析，實現MySQL讀寫分離

前言

系統開發中，資料庫是非常重要的一個點。除了程序的本身的優化，如：SQL語句優化、代碼優化，資料庫的處理本身優化也是非常重要的。主從、熱備、分表分庫等都是系統發展遲早會遇到的技術問題問題。Mycat是一個廣受好評的資料庫中間件，已經在很多產品上進行使用了。下面就針對Mycat的基礎知識和應用做一總結性梳理。

一、MyCat簡單介紹

MyCat是一個開源的分布式資料庫系統，是一個實現了MySQL協議的伺服器，前端用戶可以把它看作是一個資料庫代理（類似於Mysql Proxy），用MySQL客戶端工具和命令行訪問，而其後端可以用MySQL原生協議與多個MySQL伺服器通信，也可以用JDBC協議與大多數主流資料庫伺服器通信，其核心功能是分表分庫，即將一個大表水平分割為N個小表，存儲在後端MySQL伺服器裡或者其他資料庫裡。

MyCat發展到目前的版本，已經不是一個單純的MySQL代理了，它的後端可以支持MySQL、SQL Server、Oracle、DB2、PostgreSQL等主流資料庫，也支持MongoDB這種新型NoSQL方式的存儲，未來還會支持更多類型的存儲。而在最終用戶看來，無論是哪種存儲方式，在MyCat裡，都是一個傳統的資料庫表，支持標準的SQL語句進行數據的操作，這樣一來，對前端業務系統來說，可以大幅降低開發難度，提升開發速度。

Mycat可以簡單概括為

• 一個徹底開源的，面向企業應用開發的大資料庫集群
• 支持事務、ACID、可以替代MySQL的加強版資料庫
• 一個可以視為MySQL集群的企業級資料庫，用來替代昂貴的Oracle集群
• 一個融合內存緩存技術、NoSQL技術、HDFS大數據的新型SQL Server
• 結合傳統資料庫和新型分布式數據倉庫的新一代企業級資料庫產品
• 一個新穎的資料庫中間件產品

Mycat關鍵特性

• 支持SQL92標準
• 遵守Mysql原生協議，跨語言，跨平臺，跨資料庫的通用中間件代理
• 基於心跳的自動故障切換，支持讀寫分離，支持MySQL主從，以及galera cluster集群
• 支持Galera for MySQL集群，Percona Cluster或者MariaDB cluster
• 基於Nio實現，有效管理線程，高並發問題
• 支持數據的多片自動路由與聚合，支持sum,count,max等常用的聚合函數,支持跨庫分頁
• 支持單庫內部任意join，支持跨庫2表join，甚至基於caltlet的多表join
• 支持通過全局表，ER關係的分片策略，實現了高效的多表join查詢
• 支持多租戶方案
• 支持分布式事務（弱xa）
• 支持全局序列號，解決分布式下的主鍵生成問題
• 分片規則豐富，插件化開發，易於擴展
• 強大的web，命令行監控
• 支持前端作為mysq通用代理，後端JDBC方式支持Oracle、DB2、SQL Server 、 mongodb 、巨杉
• 支持密碼加密
• 支持服務降級
• 支持IP白名單
• 支持SQL黑名單、sql注入攻擊攔截
• 支持分表（1.6）
• 集群基於ZooKeeper管理，在線升級，擴容，智能優化，大數據處理（2.0開發版）

二、為什麼要用MyCat

這裡要先搞清楚Mycat和MySQL的區別（Mycat的核心作用）。我們可以把上層看作是對下層的抽象，例如作業系統是對各類計算機硬體的抽象。那麼我們什麼時候需要抽象？假如只有一種硬體的時候，我們需要開發一個作業系統嗎？再比如一個項目只需要一個人完成的時候不需要leader，但是當需要幾十人完成時，就應該有一個管理者，發揮溝通協調等作用，而這個管理者對於他的上層來說就是對項目組的抽象。

同樣的，當我們的應用只需要一臺資料庫伺服器的時候我們並不需要Mycat，而如果你需要分庫甚至分表，這時候應用要面對很多個資料庫的時候，這個時候就需要對資料庫層做一個抽象，來管理這些資料庫，而最上面的應用只需要面對一個資料庫層的抽象或者說資料庫中間件就好了，這就是Mycat的核心作用。所以可以這樣理解：資料庫是對底層存儲文件的抽象，而Mycat是對資料庫的抽象。

三、Mycat工作原理

Mycat的原理並不複雜，複雜的是代碼。Mycat的原理中最重要的一個動詞是「攔截」，它攔截了用戶發送過來的SQL語句，首先對SQL語句做了一些特定的分析：如分
片分析、路由分析、讀寫分離分析、緩存分析等，然後將此SQL發往後端的真實資料庫，並將返回的結果做適當的處理，最終再返回給用戶。

上述圖片裡，Orders表被分為三個分片datanode（簡稱dn)，這三個分片是分布在兩臺MySQL Server上(DataHost)，即datanode=database@datahost方式，因此你可以用一臺到N臺伺服器來分片，分片規則為（sharding rule)典型的字符串枚舉分片規則，一個規則的定義是分片欄位（sharding column)+分片函數(rule function)，這裡的分片欄位為prov而分片函數為字符串枚舉方式。

當Mycat收到一個SQL時，會先解析這個SQL，查找涉及到的表，然後看此表的定義，如果有分片規則，則獲取到SQL裡分片欄位的值，並匹配分片函數，得到該SQL對應的分片列表，然後將SQL發往這些分片去執行，最後收集和處理所有分片返回的結果數據，並輸出到客戶端。以select * from Orders where prov=?語句為例，查到prov=wuhan，按照分片函數，wuhan返回dn1，於是SQL就發給了MySQL1，去取DB1上的查詢結果，並返回給用戶。

如果上述SQL改為select * from Orders where prov in (『wuhan』,『beijing』)，那麼，SQL就會發給MySQL1與MySQL2去執行，然後結果集合併後輸出給用戶。但通常業務中我們的SQL會有Order By 以及Limit翻頁語法，此時就涉及到結果集在Mycat端的二次處理，這部分的代碼也比較複雜，而最複雜的則屬兩個表的Jion問題，為此，Mycat提出了創新性的ER分片、全局表、HBT（Human Brain Tech)人工智慧的Catlet、以及結合Storm/Spark引擎等十八般武藝的解決辦法，從而成為目前業界最強大的方案，這就是開源的力量！

四、Mycat應用場景

• Mycat發展到現在，適用的場景已經很豐富，而且不斷有新用戶給出新的創新性的方案，以下是幾個典型的應用場景：
• 單純的讀寫分離，此時配置最為簡單，支持讀寫分離，主從切換；
• 分表分庫，對於超過1000萬的表進行分片，最大支持1000億的單表分片；
• 多租戶應用，每個應用一個庫，但應用程式只連接Mycat，從而不改造程序本身，實現多租戶化；
• 報表系統，藉助於Mycat的分表能力，處理大規模報表的統計；
• 替代Hbase，分析大數據；
• 作為海量數據實時查詢的一種簡單有效方案，比如100億條頻繁查詢的記錄需要在3秒內查詢出來結果，除了基於主鍵的查詢，還可能存在範圍查詢或其他屬性查詢，此時Mycat可能是最簡單有效的選擇；
• Mycat長期路線圖；
• 強化分布式資料庫中間件的方面的功能，使之具備豐富的插件、強大的資料庫智能優化功能、全面的系統監控能力、以及方便的數據運維工具，實現在線數據擴容、遷移等高級功能；
• 進一步挺進大數據計算領域，深度結合Spark Stream和Storm等分布式實時流引擎，能夠完成快速的聚表關聯、排序、分組聚合等 OLAP方向的能力，併集成一些熱門常用的實時分析算法，讓工程師以及DBA們更容易用Mycat實現一些高級數據分析處理功能。
• 不斷強化Mycat開源社區的技術水平，吸引更多的IT技術專家，使得Mycat社區成為中國的Apache，並將Mycat推到Apache基金會，成為國內頂尖開源項目，最終能夠讓一部分志願者成為專職的Mycat開發者，榮耀跟實力一起提升。

五、Mycat不適合的應用場景

• 設計使用Mycat時有非分片欄位查詢，請慎重使用Mycat，可以考慮放棄！
• 設計使用Mycat時有分頁排序，請慎重使用Mycat，可以考慮放棄！
• 設計使用Mycat時如果要進行表JOIN操作，要確保兩個表的關聯欄位具有相同的數據分布，否則請慎重使用Mycat，可以考慮放棄！
• 設計使用Mycat時如果有分布式事務，得先看是否得保證事務得強一致性，否則請慎重使用Mycat，可以考慮放棄！

需要注意: 在生產環境中, Mycat節點最好使用雙節點, 即雙機熱備環境, 防止Mycat這一層出現單點故障. 可以使用的高可用集群方式有: Keepalived+Mycat+Mysql, Keepalived+LVS+Mycat+Mysql, Keepalived+Haproxy+Mycat+Mysql

六：使用mycat配置mysql讀寫分離

1、準備工作

（1）mysql節點的及mycat節點的準備

（2）拓撲結構

2、配置主從同步

（1）配置主庫

39;repl&39;192.168.16.%&39;replication&39;repl&39;192.168.16.%& 配置主庫的server-id及開啟binglog,配置完成後需要重啟mysql[mysqld]log-bin=mysql-bin server-id=1 設置字符集及需要同步的庫replicate-do-db=coursecharacter-set-server=utf8init_connect=&39; 獲取當前日誌信息mysql> SHOW MASTER STATUS\G*************************** 1. row ***************************             File: mysql-bin.000001         Position: 1594 mysqldump --all-databases --master-data -u root -p > dbdump.db~] 釋放主庫鎖mysql> unlock tables;

（2）配置從庫

設置字符集及需要同步的庫replicate-do-db=coursecharacter-set-server=utf8init_connect=&39; 在從庫上導入主庫導出的數據~] 登錄資料庫開啟主從同步mysql> reset slave;mysql> CHANGE MASTER TO    -> MASTER_HOST=&39;,    -> MASTER_PORT=3306,    -> MASTER_USER=&39;,    -> MASTER_PASSWORD=&39;,    -> MASTER_LOG_FILE=&39;,    -> MASTER_LOG_POS=194;mysql> start slave;

3、配置mycat

（1）配置schema.xml文件

Schema.xml文件的配置內容如下

<?xml version=&34;?><!DOCTYPE mycat:schema SYSTEM &34;><mycat:schema xmlns:mycat=&34;>  <!--定義邏輯庫,TESTDB一定要大寫。由於沒有對表分片，不需要定義table，並且讓語句原封不動的發往後端-->    <schema name=&34; checkSQLschema=&34; sqlMaxLimit=&34;>  </schema>  <!--數據節點dn1，對應的主機c1,對應是資料庫db1 -->    <dataNode name=&34; dataHost=&34; database=&34; />    <!-- 定義主機C1，開啟讀寫分離機制-->    <dataHost name=&34; maxCon=&34; minCon=&34; balance=&34; writeType=&34; switchType=&34; dbType=&34; dbDriver=&34;>          <!--定義心跳檢測機制-->        <heartbeat>select user()</heartbeat>        <!--定義MySQL的寫的數據，master1 -->        <writeHost host=&34; url=&34; user=&34; password=&34;>            <!--定義MySQL讀的資料庫，slave1 -->            <readHost host=&34; url=&34; user=&34; password=&34; />        </writeHost>    </dataHost></mycat:schema>

（2）配置server.xml

通過server.xml定義登錄mycat的庫以及登錄用戶，定義的邏輯庫名與schema.xml中schema標籤中的name欄位定義的庫名要相同。添加定義一個登錄用戶的配置文件如下：

<!--配置用戶名-->    <user name=&34;>          <!--配置密碼-->         <property name=&34;>dayi123</property>          <!--配置邏輯庫-->        <property name=&34;>testdb</property>    </user>

（3）使用mycat

由於沒有使用分片功能所以不用配置rule.xml，配置完成後重啟mycat後即可使用。

./mycat restart mysql -h192.168.16.155 -uroot -p -P8066   登錄mycat管理埠]# mysql -h127.0.0.1 -uuser -puser -P9066

Mycat的主要管理命令如下：

• show @@help; 查看所有的命令
• reload @@config_all; 該命令用於更新配置文件
• show @@database; 該命令用於顯示MyCAT的資料庫的列表，對應schema.xml配置文件的schema子節點。
• show @@datanode; 該命令用於顯示MyCAT的數據節點的列表，對應schema.xml配置文件的dataNode節點
• show @@heartbeat：該命令用於報告心跳狀態
• show @@connection：該命令用於獲取Mycat的前端連接狀態，即應用與mycat的連接
• kill @@connection id,id,id ：用於殺掉連接。
• show @@cache; 查看mycat緩存；SQLRouteCache為sql路由緩存。 TableID2DataNodeCache為緩存表主鍵與分片對應關係。 ER_SQL2PARENTID ：為緩存ER分片中子表與父表關係。
• show @@datasource; 查看數據源狀態，如果配置了主從，或者多主可以切換。
• switch @@datasource name:index：切換數據源，name為schema中配置的dataHost 中name。index為schema中配置的dataHost 的writeHost index 位標（按照配置順序從上到下的一次順序，從0開始）。

以上就是小編整理的MyCat簡介，只是個人的想法，有哪裡不準確的地方，還請各位大佬多多指出，咱們共同學習進步~~~

感覺文章整理的對自己有幫助的朋友，請關注小編，你們的支持就是小編最大的動力~~~