mycat垂直分片

  • ​​1.1 垂直拆分​​
  • ​​1.1.1 概述​​
  • ​​1.1.2 案例场景​​
  • ​​1.1.3 准备工作​​
  • ​​1.1.4 schema.xml的配置​​
  • ​​1.1.5 server.xml的配置​​
  • ​​1.1.6 测试​​
  • ​​1.1.7 全局表配置​​

1.1 垂直拆分

1.1.1 概述

mycat垂直分片_mycat

一种是按照不同的表（或者Schema）来切分到不同的数据库（主机）之上，这种切分可以称之为数据的垂直（纵向）切分。

1.1.2 案例场景

mycat垂直分片_ci_02

在业务系统中, 有以下表结构 ,但是由于用户与订单每天都会产生大量的数据, 单台服务器的数据存储及处理能力是有限的, 可以对数据库表进行拆分, 原有的数据库表:

mycat垂直分片_mysql_03

1.1.3 准备工作

1). 准备三台数据库实例

192.168.192.33
192.168.192.34
192.168.192.35

将准备好的三个SQL脚本, 分别导入到三台MySQL实例中 ;

登录MySQL数据库之后, 使用source命令导入 ;

192.168.159.33:

mycat垂直分片_sql_04


mycat垂直分片_ci_05


192.168.159.34

mycat垂直分片_数据库_06


mycat垂直分片_数据库_07

192.168.159.35:

mycat垂直分片_数据库_08


mycat垂直分片_mysql_09

2). 在三台数据库实例中建库建表

1.1.4 schema.xml的配置

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">

    <schema name="ITCAST_DB" checkSQLschema="false" sqlMaxLimit="100">
        <table name="tb_areas_city" dataNode="dn1" primaryKey="id" />
        <table name="tb_areas_provinces" dataNode="dn1" primaryKey="id" />
        <table name="tb_areas_region" dataNode="dn1" primaryKey="id" />
        <table name="tb_user" dataNode="dn1" primaryKey="id" />
        <table name="tb_user_address" dataNode="dn1" primaryKey="id" />
        
        <table name="tb_goods_base" dataNode="dn2" primaryKey="id" />
        <table name="tb_goods_desc" dataNode="dn2" primaryKey="goods_id" />
        <table name="tb_goods_item_cat" dataNode="dn2" primaryKey="id" />
        
        <table name="tb_order_item" dataNode="dn3" primaryKey="id" />
        <table name="tb_order_master" dataNode="dn3" primaryKey="order_id" />
        <table name="tb_order_pay_log" dataNode="dn3" primaryKey="out_trade_no" />
    </schema>
    
    
    <dataNode name="dn1" dataHost="host1" database="user_db" />
    <dataNode name="dn2" dataHost="host2" database="goods_db" />
    <dataNode name="dn3" dataHost="host3" database="order_db" />
    
    
    <dataHost name="host1" maxCon="1000" minCon="10" balance="0"
        writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
        <heartbeat>select user()</heartbeat>
        <writeHost host="hostM1" url="192.168.159.33:3306" user="root" password="123456"></writeHost>
    </dataHost>   
    
    <dataHost name="host2" maxCon="1000" minCon="10" balance="0"
        writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
        <heartbeat>select user()</heartbeat>
        <writeHost host="hostM2" url="192.168.159.34:3306" user="root" password="123456"></writeHost>
    </dataHost>   
    
    <dataHost name="host3" maxCon="1000" minCon="10" balance="0"
        writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
        <heartbeat>select user()</heartbeat>
        <writeHost host="hostM3" url="192.168.159.35:3306" user="root" password="123456"></writeHost>
    </dataHost>   

</mycat:schema>

1.1.5 server.xml的配置

<user name="root" defaultAccount="true">
    <property name="password">GO0bnFVWrAuFgr1JMuMZkvfDNyTpoiGU7n/Wlsa151CirHQnANVk3NzE3FErx8v6pAcO0ctX3xFecmSr+976QA==</property>
    <property name="schemas">ITCAST_DB</property>
            <property name="readOnly">false</property>
        <property name="benchmark">1000</property> 
    <property name="usingDecrypt">1</property>
    <!--表级DML权限设置-->
    <!--1111代表增改查删,数据库和表都设置的话取就近原则-->
    <!--
    <privileges check="true">
      <schema name="ITCAST_DB" dml="1111" >
        <table name="TB_TEST" dml="1110"></table>
      </schema>
    </privileges> 
    -->
  </user>

  <user name="user">
    <property name="password">123456</property>
    <property name="schemas">ITCAST_DB</property>
    <property name="readOnly">true</property>
  </user>

1.1.6 测试

登录mycat

mycat垂直分片_sql_10

1). 查询数据

select * from tb_goods_base;
select * from tb_user;
select * from tb_order_master;

mycat垂直分片_mysql_11


mycat垂直分片_ci_12


mycat垂直分片_mycat_13


2). 插入数据

insert  into tb_user_address(id,user_id,province_id,city_id,town_id,mobile,address,contact,is_default,notes,create_date,alias) values (null,'java00001',NULL,NULL,NULL,'13900112222','钟楼','张三','0',NULL,NULL,NULL)

mycat垂直分片_mysql_14

insert  into tb_order_item(id,item_id,goods_id,order_id,title,price,num,total_fee,pic_path,seller_id) values (100,19,149187842867954,3,'3G 6','1.00',5,'5.00',NULL,'qiandu')

mycat垂直分片_数据库_15


3). 测试跨分片的查询

SELECT order_id , payment ,receiver, province , city , area FROM tb_order_master o , tb_areas_provinces p , tb_areas_city c , tb_areas_region r
WHERE o.receiver_province = p.provinceid AND o.receiver_city = c.cityid AND o.receiver_region = r.areaid ;

当运行上述的SQL语句时, MyCat会报错, 原因是因为当前SQL语句涉及到跨域的join操作 ;
这时候我们需要将这些需要关联的字典表配置成全局表，也就是说让每个数据节点中都有这些表就不存在sql语句跨域join操作了。

1.1.7 全局表配置

1). 将数据节点user_db中的关联的字典表 tb_areas_provinces , tb_areas_city , tb_areas_region中的数据备份 ;

mysqldump -uroot -pitcast user_db tb_areas_provinces  > provinces;
mysqldump -uroot -pitcast user_db tb_areas_city > city;
mysqldump -uroot -pitcast user_db tb_areas_region > region;

2). 将备份的表结构及数据信息, 远程同步到其他两个数据节点的数据库中;

scp city root@192.168.192.34:/root
scp city root@192.168.192.35:/root

scp provinces root@192.168.192.34:/root
scp provinces root@192.168.192.35:/root

scp region root@192.168.192.34:/root
scp region root@192.168.192.35:/root

mycat垂直分片_数据库_16

3). 导入到对应的数据库中

mysql -uroot -p goods_db < city
mysql -uroot -p goods_db < provinces 
mysql -uroot -p goods_db < region

4). MyCat逻辑表中的配置

<table name="tb_areas_city" dataNode="dn1,dn2,dn3" primaryKey="id" type="global"/>
<table name="tb_areas_provinces" dataNode="dn1,dn2,dn3" primaryKey="id"  type="global"/>
<table name="tb_areas_region" dataNode="dn1,dn2,dn3" primaryKey="id"  type="global"/>

此时完整的schema.xml

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">

    <schema name="ITCAST_DB" checkSQLschema="false" sqlMaxLimit="100">
        <table name="tb_areas_city" dataNode="dn1,dn2,dn3" primaryKey="id" type="global" />
        <table name="tb_areas_provinces" dataNode="dn1,dn2,dn3" primaryKey="id" type="global"/>
        <table name="tb_areas_region" dataNode="dn1,dn2,dn3" primaryKey="id" type="global" />
        <table name="tb_user" dataNode="dn1" primaryKey="id" />
        <table name="tb_user_address" dataNode="dn1" primaryKey="id" />
        
        <table name="tb_goods_base" dataNode="dn2" primaryKey="id" />
        <table name="tb_goods_desc" dataNode="dn2" primaryKey="goods_id" />
        <table name="tb_goods_item_cat" dataNode="dn2" primaryKey="id" />
        
        <table name="tb_order_item" dataNode="dn3" primaryKey="id" />
        <table name="tb_order_master" dataNode="dn3" primaryKey="order_id" />
        <table name="tb_order_pay_log" dataNode="dn3" primaryKey="out_trade_no" />
    </schema>
    
    
    <dataNode name="dn1" dataHost="host1" database="user_db" />
    <dataNode name="dn2" dataHost="host2" database="goods_db" />
    <dataNode name="dn3" dataHost="host3" database="order_db" />
    
    
    <dataHost name="host1" maxCon="1000" minCon="10" balance="0"
        writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
        <heartbeat>select user()</heartbeat>
        <writeHost host="hostM1" url="192.168.159.33:3306" user="root" password="123456"></writeHost>
    </dataHost>   
    
    <dataHost name="host2" maxCon="1000" minCon="10" balance="0"
        writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
        <heartbeat>select user()</heartbeat>
        <writeHost host="hostM2" url="192.168.159.34:3306" user="root" password="123456"></writeHost>
    </dataHost>   
    
    <dataHost name="host3" maxCon="1000" minCon="10" balance="0"
        writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
        <heartbeat>select user()</heartbeat>
        <writeHost host="hostM3" url="192.168.159.35:3306" user="root" password="123456"></writeHost>
    </dataHost>   

</mycat:schema>

5). 重启MyCat

bin/mycat restart

mycat垂直分片_mycat_17


6). 测试

再次执行相同的连接查询 , 是可以正常查询出对应的数据的 ;

SELECT order_id , payment ,receiver, province , city , area FROM tb_order_master o , tb_areas_provinces p , tb_areas_city c , tb_areas_region r
WHERE o.receiver_province = p.provinceid AND o.receiver_city = c.cityid AND o.receiver_region = r.areaid ;

mycat垂直分片_mycat_18


当我们对Mycat全局表进行增删改的操作时, 其他节点主机上的后端MySQL数据库中的数据时会同步变化的;

修改之前：

mycat垂直分片_数据库_19


执行修改的sql​​update tb_areas_city set city = '石家庄' where id = 5;​​将city从石家庄市改为石家庄

mycat垂直分片_mycat_20


再查看三个节点中的数据是否也被修改了

192.168.159.33 192.168.159.34 192.168.159.35都是下面的结果。

mycat垂直分片_mysql_21