#本文欢迎转载,转载请注明出处和作者。

理论部分,详见:


繁星亮与鲍包包:【理论研究】业务系统高可用及负载均衡zhuanlan.zhihu.com


MySQL和tdengine数据源切换 切换mysql数据库_MySQL和tdengine数据源切换


本篇主要实现“8、Mysql读写分离”,需要在上一篇主主复制建立完成的基础上。


MySQL和tdengine数据源切换 切换mysql数据库_如何实现对modsim32从站的数据读写_02


1、安装JDK7

解压jdk7(自行下载,并且上传)


tar -zxvf jdk-7u80-linux-x64.tar.gz
mkdir /usr/java
mv jdk1.7.0_80/ /usr/java/jdk17


由于centos一般安装完会自带java,所以直接修改环境变量还是没有办法更新版本,因此需要进行多版本选择。


alternatives --install /usr/bin/java java /usr/java/jdk17/bin/java 3


将java7加入系统,如果复制粘贴不行,请先复制进文本文档再尝试


alternatives --config java


选择主用java,然后输入3,按回车。

修改环境变量,编辑环境变量文件


vi /etc/profile


在文本内容的最后面,添加如下内容:


export JAVA_7_HOME=/usr/java/jdk17 
export JAVA_HOME=$JAVA_7_HOME 
export JRE_HOME=$JAVA_HOME/jre 
export PATH=$JAVA_HOME/bin:$PATH 
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar


按wq保存退出。


source /etc/profile


重新加载环境变量


java -version
javac -version


分别测试,如果两个都显示现在版本是java1.7.0_80,则证明安装成功。如果其中1个,例如javac -version显示出错,那就证明未安装好。

2、安装Mycat

实际生产中,应该考虑采用单独的1台机器,安装MyCat,然后配置读写分离将访问数据库的流量分发到Mysql01、02。WEB服务器的配置文件指向MyCat服务器。

但是MyCat服务器会单点故障,所以可以配置2台MyCat,然后再配置Keepalived做高可用/负载均衡,将WEB服务器的配置文件指向MyCat的高可用/负载均衡集群VIP。

实际生产的Mysql可能不止2台,为了后面可以横向扩容Mysql服务器增加读的性能,所以可能会有多台数据库服务器,而如果Mycat安装在了其中2台数据库服务器上,一旦这2台数据库服务器崩溃,整个数据库集群就崩溃,是不妥当的,所以应该单独部署服务器来安装MyCat。

实验中,为了节省机器,直接将MyCat部署在2台Mysql数据库服务器中,并且之前对2台Mysql服务器已经通过keepalived做过高可用VIP设置,通过VIP对外提供Mycat的访问。

繁星亮与鲍包包:zhuanlan.zhihu.com



按照之前的grant授权,只有dqzqcw这个库可以远程登录,可以在mysql01、或者mysql02上面远程登录数据库进行测试VIP是否可以正常登录。


mysql -u dqzqcw -h 10.1.30.30 -p


下载Mycat(http://www.mycat.io/),并且上传到服务器。


tar -zxvf Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz
mv mycat /usr/local/


增加环境变量


cat >>/etc/profile<<EOF
export MYCAT_HOME=/usr/local/mycat
export PATH=$PATH:$MYCAT_HOME/bin
EOF


重新加载环境变量


source /etc/profile


3、修改MyCat配置

在Mycat/conf/下面有3个文件需要配置,server.xml,schema.xml,rule.xml。

3.1修改Server.xml


cd /usr/local/mycat/conf


修改配置文件,主要配置server.xml与schema.xml,里面有大量注释,会影响判断,可以去除。


vi server.xml


这个配置文件,主要是用于修改Mycat的用户名密码的,最下面的

(*注意,默认root密码为123456,必须要改到和实际数据库的root密码一致,否则老是访问不成功,排错排了很久。)


<user name="root">
                <property name="password">1qaz!QAZ</property>
                <property name="schemas">TESTDB</property>

                <!-- 表级 DML 权限设置 -->
                <!--
                <privileges check="false">
                        <schema name="TESTDB" dml="0110" >
                                <table name="tb01" dml="0000"></table>
                                <table name="tb02" dml="1111"></table>
                        </schema>
                </privileges>
                 -->
        </user>

        <user name="user">
                <property name="password">user</property>
                <property name="schemas">TESTDB</property>
                <property name="readOnly">true</property>
        </user>


#此处的数据库名,是用于WEB服务器访问Mycat的数据库名,而不是后端实际数据库的数据库名,可以任意修改。

3.2修改Schema.xml配置

3.2.1配置读写分离

备份原有配置


mv schema.xml schema.xml.bak


新建配置文件


vi schema.xml


内容如下


<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">

        <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="MysqlDataNode">
        </schema>

<dataNode name="MysqlDataNode" dataHost="Mycat-node" database="dqzqcw" />

    <dataHost name="Mycat-node" maxCon="1000" minCon="10" balance="1" writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
        <heartbeat>show slave status</heartbeat>
        <writeHost host="Mysql-node1" url="10.1.30.28:3306" user="root" password="1qaz!QAZ">
             <readHost host="Mysql-node2" url="10.1.30.29:3306" user="root" password="1qaz!QAZ">
             </readHost>
        </writeHost>
    </dataHost>

</mycat:schema>


*dataNode、dataHost那里上下文一致即可,不一定叫MysqlDataNode。Schema name的TESTDB要与server.xml里面的数据库名保持一致。database="dqzqcw"填写真实数据库的名称。

其中,balance指的负载均衡类型,目前的取值有4种:

1. balance="0", 不开启读写分离机制,所有读操作都发送到当前可用的writeHost上。

2. balance="1",全部的readHost与stand by writeHost参与select语句的负载均衡,简单的说,当双主双从模式(M1->S1,M2->S2,并且M1与 M2互为主备),正常情况下,M2,S1,S2都参与select语句的负载均衡。

3. balance="2",所有读操作都随机的在writeHost、readhost上分发。

4. balance="3",所有读请求随机的分发到wiriterHost对应的readhost执行,writerHost不负担读压力

switchType指的是切换的模式,目前的取值也有4种:

1. switchType='-1' 表示不自动切换

2. switchType='1' 默认值,表示自动切换

3. switchType='2' 基于MySQL主从同步的状态决定是否切换,心跳语句为 show slave status

4. switchType='3'基于MySQL galary cluster的切换机制(适合集群)(1.4.1),心跳语句为 show status like 'wsrep%'。

配置完成后,/usr/local/mycat/bin/下面执行./mycat start可以开启。./mycat stop可以停止。

上述配置完成,仅有读写分离的功能。

3.2.2测试验证读写分离

编辑mycat/conf/下面的log4j2.xml文件,改日志模式为debug。


MySQL和tdengine数据源切换 切换mysql数据库_sql_03


重启mycat服务,然后通过mycat地址链接数据库。

mysql -u root -h 10.1.30.30 -P 8066 -p,注意8066是mycat的默认服务端口,登陆后能看到Mycat标识。(注意10.1.30.30是VIP,如果无法访问请检查keepalived配置)


MySQL和tdengine数据源切换 切换mysql数据库_sql_04


能够明显看到登录后提示Mycat字样,与普通登录有明显区别。

再开一个终端窗口,打开mycat日志。tail -f /usr/local/mycat/logs/mycat.log

然后在通过mycat访问数据库的终端窗口里面,进行show databases;use XXdatabase;

select * from XXX;之类的查询操作。

注意:当前配置下执行SQL,应该到use database就很卡,甚至show tables后会报错


ERROR 3009 (HY000): java.lang.IllegalArgumentException: Invalid DataSource:0


那是因为mycat配置的使用root账号连接数据库,但是之前root仅能localhost登录有权限对数据库进行操作,所以现在mycat远程登录mysql01、02没有权限执行命令,因此报错,解决方案是登录mysql01、02的数据库,并且将root设置为%任意终端登录。


mysql -u root -p
grant all on *.* to 'root'@'%' identified by '1qaz!QAZ';
flush privileges;


然后重新测试,运行show database;select XXX等SQL命令。

然后再执行创建表格


create table test (
 test_id int auto_increment,
 test_username varchar(20) not null,
 test_number varchar(10) not null,
 primary key (test_id)
);


插入数据


insert into test (test_id,test_username,test_number)
values
(1,'tommy','3');


MySQL和tdengine数据源切换 切换mysql数据库_linux mysql服务自动关闭_05


然后exit退出,然后到一直生成日志的窗口退出日志,将日志复制下来到word,方便查看。

日志处,搜索attachment字段,会看到有很多attachment=null(证明该时间戳没有SQL命令),attachment={select * from xxx};attachment={insert into XXX}之类的标记。

可以看到所有的读操作都分配到了10.1.30.29,而insert等写操作都是分配到了30.28,证明读写分离配置生效。


MySQL和tdengine数据源切换 切换mysql数据库_sql_06


MySQL和tdengine数据源切换 切换mysql数据库_MySQL和tdengine数据源切换_07


MySQL和tdengine数据源切换 切换mysql数据库_MySQL和tdengine数据源切换_08


MySQL和tdengine数据源切换 切换mysql数据库_数据库_09


4、故障自动切换

4.1修改mycat配置文件

上面的配置仅是做了读写分离,当写入节点故障(Mysql01),那么只能提供只读服务,系统将无法进行任何写入操作。

如果需要配置写入节点自动故障切换,需要修改mycat的schema.xml配置文件。


vi schema.xml

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">

        <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="MysqlDataNode">
        </schema>

<dataNode name="MysqlDataNode" dataHost="Mycat-node" database="dqzqcw" />

    <dataHost name="Mycat-node" maxCon="1000" minCon="10" balance="1" writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
        <heartbeat>show slave status</heartbeat>
        <writeHost host="Mysql-node1" url="10.1.30.28:3306" user="root" password="1qaz!QAZ">
             <readHost host="Mysql-node2" url="10.1.30.29:3306" user="root" password="1qaz!QAZ">
             </readHost>
        </writeHost>
		<writeHost host="Mysql-node1" url="10.1.30.29:3306" user="root" password="1qaz!QAZ">
        </writeHost>
    </dataHost>

</mycat:schema>


比读写分离多增加了备用机的wirteHost配置。

主从自动切换配置后,第一个writeHost故障后,会自动切换到第二个,第二个故障后自动切换到第三个;

如果当是1主3从模式,可以把第1个从节点配置为writeHost,第2个和第3个从节点则配置为writeHost和1的readHost;

*注意:如果30.28与30.29只是配置了主从单向复制,然后mycat配置了读写分离+主从自动切换,那么30.28宕机后,mycat自动切换到30.29进行写入,但是当30.28恢复后,mycat会自动切换回30.28为主。由于28到29是单向主从复制,那么中间一段时间往29写入的数据,是不会反向同步到28的,那么28宕机到恢复中间的写入数据就会丢失。所以2台mysql服务器应该做主主复制,当29作为写入,28恢复后,可以将新写入29的数据回写到28.

4.2测试

登录10.1.30.28,然后手动停止mysql服务,service mysqld stop,然后通过mycat访问数据库,查看是否依然能够读写,如读写正常,表明切换生效。


mysql -u root -h 10.1.30.44 -P 8066 –p
insert into test (test_id,test_username,test_number)
values
(2,'candy','4');


4.3修改WEB服务器配置

修改Apache服务器连接数据库的配置文件


vi /var/www/html/config.php
$db_config['DB_HOST'] = '10.1.30.30:8066'; //数据库地址
$db_config['DB_USER'] = 'root'; //mysql帐号
$db_config['DB_PASS'] = '1qaz!QAZ'; //mysql密码
$db_config['DB_NAME'] = 'TESTDB'; //数据库名称


MySQL和tdengine数据源切换 切换mysql数据库_linux mysql服务自动关闭_10


然后重新访问业务,业务正常显示,那么证明Apache通过Mycat访问数据库正常。


MySQL和tdengine数据源切换 切换mysql数据库_sql_11