此文凝聚笔者不少心血请尊重笔者劳动,转载请注明出处http://freeze.blog.51cto.com/
一、关于读写分离
读写分离(Read/Write Splitting),基本的原理是让主数据库处理事务性增、改、删操作(INSERT、UPDATE、DELETE),而从数据库处理SELECT查询操作。数据库复制被用来把事务性操作导致的变更同步到集群中的从数据库。
二、同类产品比较
虽然大多数都是从程序里直接实现读写分离的,但对于分布式的部署和水平和垂直分割,一些代理的类似中间件的软件还是挺实用的,Amoeba for Mysql 与MySQL Proxy比较 在MySQL proxy 6.0版本 上面如果想要读写分离并且 读集群、写集群 机器比较多情况下,用mysql proxy 需要相当大的工作量,目前mysql proxy没有现成的 lua脚本。mysql proxy根本没有配置文件, lua脚本就是它的全部,当然lua是相当方便的。那么同样这种东西需要编写大量的脚本才能完成一 个复杂的配置。而Amoeba for Mysql只需要进行相关的配置就可以满足需求。
三、关于Amoeba
Amoeba(变形虫)项目,该开源框架于2008年 开始发布一款 Amoeba for Mysql软件。这个软件致力于MySQL的分布式数据库前端代理层,它主要在应用层访问MySQL的 时候充当SQL路由功能,专注于分布式数据库代理层(Database Proxy)开发。座落与 Client、DB Server(s)之间,对客户端透明。具有负载均衡、高可用性、SQL 过滤、读写分离、可路由相关的到目标数据库、可并发请求多台数据库合并结果。 通过Amoeba你能够完成多数据源的高可用、负载均衡、数据切片的功能,目前Amoeba已在很多 企业的生产线上面使用。
四、Amoeba的安装
4.1下载
wget http://nchc.dl.sourceforge.net/project/amoeba/Amoeba%20for%20mysql/2.x/amoeba-mysql-binary-2.1.0-RC5.tar.gz
4.2安装amoeba
mkdir /usr/local/amoeba #mv amoeba-mysql-binary-2.1.0-RC5.tar.gz /usr/local/amoeba #tar xvf amoeba-mysql-binary-2.1.0-RC5.tar.gz
4.3安装JDK
因为Amoeba是java开发的,需要JDK支持。 Amoeba框架是基于Java SE1.5开发的,建议使用Java SE 1.5版本。 % java -version java version "1.6.0_18" Java(TM) SE Runtime Environment (build 1.6.0_18-b07) Java HotSpot(TM) Client VM (build 16.0-b13, mixed mode, sharing) 目前Amoeba经验证在JavaTM SE 1.5和Java SE 1.6能正常运行,(可能包括其他未经验证的版本)。 如果你的机器上没有安装JavaTM环境,可以访问http://www.oracle.com/technetwork/java/javase/downloads/index.html进行下载。可以根据你的操作系统等详情安装JavaTM环境。 去oracle官网下载jdk安装包后,安装jdk # chmod 755 jdk-6u25-linux-i586.bin # ./jdk-6u25-linux-i586.bin # mv jdk1.6.0_25/ /usr/local/jdk 声明路径,修改/etc/profile,在末尾加上以下代码 export AMOEBA_HOME=/usr/local/amoeba export JAVA_HOME=/usr/local/jdk export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$AMOEBA_HOME/bin
五、Amoeba配置
cd /usr/local/amoeba/conf 主要配置以下2个配置文件: dbServers.xml #定义连接数据库信息 amoeba.xml #定义读写分离节点管理信息
5.1 配置dbServers.xml
<?xml version="1.0" encoding="gbk"?> <!DOCTYPE amoeba:dbServers SYSTEM "dbserver.dtd"> <amoeba:dbServers xmlns:amoeba="http://amoeba.meidusa.com/"> <!-- Each dbServer needs to be configured into a Pool, such as 'multiPool' dbServer --> <dbServer name="abstractServer" abstractive="true"> <factoryConfig class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory"> <property name="manager">${defaultManager}</property> <property name="sendBufferSize">64</property> <property name="receiveBufferSize">128</property> <!-- mysql port --> <property name="port">3306</property> __ ** ##后端数据库端口**__ <!-- mysql schema --> <property name="schema">test</property> __ ** ##后端数据库默认库**__ <!-- mysql password <property name="password">password</property> --> </factoryConfig> <poolConfig class="com.meidusa.amoeba.net.poolable.PoolableObjectPool"> <property name="maxActive">500</property> <property name="maxIdle">500</property> <property name="minIdle">10</property> <property name="minEvictableIdleTimeMillis">600000</property> <property name="timeBetweenEvictionRunsMillis">600000</property> <property name="testOnBorrow">true</property> <property name="testWhileIdle">true</property> </poolConfig> </dbServer> <dbServer name="master" parent="abstractServer"> __ ** ##定义主的写的节点**__ <factoryConfig> <property name="ipAddress">192.168.1.1</property> __ ** ##主masterIP**__ <property name="user">test1</property> __ ** ##与主mysql通信,连接数据库的帐号,以下是密码**__ <property name="password">test1</property> </factoryConfig> </dbServer> <dbServer name="slave" parent="abstractServer"> <factoryConfig> <property name="ipAddress">192.168.1.2</property> <property name="user">test2</property> __ ** ##与从mysql通信,连接数据库的帐号,以下是密码**__ <property name="password">test2</property> </factoryConfig> </dbServer> <dbServer name="server1" virtual="true"> <poolConfig class="com.meidusa.amoeba.server.MultipleServerPool"> __ ** ##定义写的池,把master节点加入**__ <property name="loadbalance">1</property> <property name="poolNames">master</property> </poolConfig> </dbServer> <dbServer name="server2" virtual="true"> <poolConfig class="com.meidusa.amoeba.server.MultipleServerPool"> __ ** ##定义读的池,把slave节点加入**__ <property name="loadbalance">1</property> <property name="poolNames">slave</property> </poolConfig> </dbServer> </amoeba:dbServers>
5.2 配置amoeba.xml
<?xml version="1.0" encoding="gbk"?> <amoeba:configuration xmlns:amoeba="http://amoeba.meidusa.com/"> <proxy> <!-- service class must implements com.meidusa.amoeba.service.Service --> <!-- port --> <property name="port">6666</property> __ ** ##定义amoeba读写分离proxy对外代理的端口**__ <!-- bind ipAddress --> <!-- <property name="ipAddress">127.0.0.1</property> --> <property name="manager">${clientConnectioneManager}</property> <property name="connectionFactory"> <property name="sendBufferSize">128</property> <property name="receiveBufferSize">64</property> </bean> </property> <property name="authenticator"> <property name="user">dbproxy</property> __ ** ##定义proxy的管理帐号密码,客户端和程序只需要连接proxy的帐号密码即可,相当于中间接封装**__ <property name="password">123456</property> <property name="filter"> </bean> </property> </bean> </property> </service> <!-- server class must implements com.meidusa.amoeba.service.Service --> <!-- port --> <!-- default value: random number <property name="port">9066</property> --> <!-- bind ipAddress --> <property name="ipAddress">127.0.0.1</property> <property name="daemon">true</property> <property name="manager">${clientConnectioneManager}</property> <property name="connectionFactory"> <runtime class="com.meidusa.amoeba.mysql.context.MysqlRuntimeContext"> <!-- proxy server net IO Read thread size --> <property name="readThreadPoolSize">20</property> <!-- proxy server client process thread size --> <!-- per connection cache prepared statement size --> <property name="statementCacheSize">500</property> <!-- query timeout( default: 60 second , TimeUnit:second) --> <property name="queryTimeout">60</property> </runtime> </proxy> <!-- Each ConnectionManager will start as thread manager responsible for the Connection IO read , Death Detection --> <connectionManagerList> <!-- default value is avaliable Processors <property name="processors">5</property> --> </connectionManager> <!-- default value is avaliable Processors <property name="processors">5</property> --> </connectionManager> </connectionManagerList> <!-- default using file loader --> <dbServerLoader class="com.meidusa.amoeba.context.DBServerConfigFileLoader"> <property name="configFile">${amoeba.home}/conf/dbServers.xml</property> </dbServerLoader> <queryRouter class="com.meidusa.amoeba.mysql.parser.MysqlQueryRouter"> <property name="ruleLoader"> <bean class="com.meidusa.amoeba.route.TableRuleFileLoader"> <property name="ruleFile">${amoeba.home}/conf/rule.xml</property> <property name="functionFile">${amoeba.home}/conf/ruleFunctionMap.xml</property> </bean> </property> <property name="sqlFunctionFile">${amoeba.home}/conf/functionMap.xml</property> <property name="LRUMapSize">1500</property> <property name="defaultPool">server1</property> __ ** ##定义默认的池,一些除了SELECT\UPDATE\INSERT\DELETE的语句都会在defaultPool执行。**__ <property name="writePool">server1</property> __ ** ##定义写的池**__ <property name="readPool">server2</property> __ ** ##定义读的池**__ <property name="needParse">true</property> </queryRouter> </amoeba:configuration>
六、启动Amoeba
/usr/local/amoeba/bin/amoeba start & 开机自动启动可加入到 /etc/rc.local内 echo "/usr/local/amoeba/bin/amoeba start &" >> /etc/rc.local
七、日志排错
日志文件在/usr/local/amoeba/log下
PS:amoeba虽然是JAVA写的,看似效率不高,但功能异常强大,支持读写分离,表和库级别的读写分离,数据库水平分割,垂直分割,还有集群。是淘宝的得力作品。喜欢的童鞋可以尝试下。mysql-proxy 只是轻量级的读写分离程序,虽然C写的,但是驱动是需要lua的脚本跑,而且在高并发下经常挂掉。程序还忽略了一些字符设定,如果数据库不是同一编码还会出现乱码,amoeba就不存在。就简单介绍到这里吧。
喜欢技术的朋友,也可以加QQ群进行交流,群里大神多,我们共同努力,推动开源。
QQ群:170838394
linux运维培训 http://www.magedu.com