mybatis作为流行的ORM框架,项目实际使用过程中可能会遇到分库分表的场景。mybatis在分表,甚至是同主机下的分库都可以说是完美支持的,只需要将表名或者库名作为动态参数组装sql就能够完成。但是多余分在不同主机上的库,就不太一样了,组装sql无法区分数据库主机。网上搜索了一下,对于此类情况,大都采用的动态数据源的概念,也即定义不同的数据源连接不同的主机数据库,在查询前通过动态数据源进行数据源切换,但从实现上来看,这个切换并不是单sql级别的,而可以理解为时间级别的切换,即查询前切到对应数据源,这种实现在并发场景下并不能满足分库减压需求,甚至会导致查错数据库的情况。
这里给出分库分表的实现方式,特别在分库的方案上,采用真正可并发的方案。
这里以银行卡消费记录为例子来看这个问题,银行有多个用户,通过Card( id,owner) 来标志,每个卡有消费记录,CostLog(id,time,amount) ,由于消费记录数据过多,我们对数据进行分库分表存储。
一、基本配置
首先我们来看下mybatis结合springmvc的基本配置方式(不进行分库分表)。
mybatis的配置链路可以有底层到上层解释为: DB(数据库对接信息) -》数据源(数据库连接池配置) -》session工厂(连接管理与数据访问映射关联) -》DAO(业务访问封装)
<!--定义mysql 数据源,连接数据库主机的连接信息 -->
<bean id="test1-datasource" class="org.apache.commons.dbcp.BasicDataSource">
<property name="driverClassName" value="${jdbc.driverClassName}"></property>
<property name="url" value="${jdbc.url}"></property>
<property name="username" value="${jdbc.username}"></property>
<property name="password" value="${jdbc.password}"></property>
<property name="maxActive" value="40"></property>
<property name="maxIdle" value="30"></property>
<property name="maxWait" value="30000"></property>
<property name="minIdle" value="2"/>
<property name="timeBetweenEvictionRunsMillis" value="3600000"></property>
<property name="minEvictableIdleTimeMillis" value="3600000"></property>
<property name="defaultAutoCommit" value="true"></property>
<property name="testOnBorrow" value="true"></property>
<property name="validationQuery" value="select 1"/>
</bean>
<!--定义session工厂,指定数据访问映射文件和使用的数据源-->
<bean id="test1-sqlSessionFactory" class="org.mybatis.spring.SqlSessionFactoryBean">
<property name="mapperLocations">
<list>
<value>classpath*:confMapper/*Mapper.xml</value>
</list>
</property>
<property name="dataSource" ref="test1-datasource"/>
</bean>
<!--定义session工厂和DAO扫描路径,自动进行DAO与session工厂的绑定-->
<bean class="org.mybatis.spring.mapper.MapperScannerConfigurer">
<property name="basePackage" value="com.ming.test.po"/>
<property name="sqlSessionFactoryBeanName" value="test1-sqlSessionFactory"/>
</bean>
上面配置中需要我们自己定义的 内容有
1.session工厂中的数据访问映射文件,这里需要符合配置中命名规范并放在对应路径下,以Mapper.xml结尾,可以叫做 CostLogMapper.xml
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd">
<mapper namespace="CostDao">
<resultMap id="BaseResultMap" type="CostLog">
<result property="id" column="id"/>
<result property="time" column="time"/>
<result property="amount" column="amount"/>
</resultMap>
<select id="queryCostLog" resultMap="BaseResultMap">
SELECT `id`,`time`,`amount` FROM CostLog WHERE `id` = #{id}
</select>
</mapper>
2.扫描绑定中 basePackage指定的包名下的DAO类
public interface CostDao {
CostLog queryCostLog(@Param("id") int id);
}
3.上面两项所依赖的数据对象 CostLog
@Setter
@Getter
public class CostLog {
private Integer id;
private Date time;
private Integer amount;
}
4.对应的数据库表
这里我们和 CostLog 使用同样的命名
我们可以使用如下代码访问:
@Service
public class CostLogService {
@Resource
CostDao costDao;
public CostLog queryCostDao(int id) {
return costDao.queryCostLog(id);
}
}
二、不分主机的分库表实现
对于上例,我们只需要在DAO中增加库表名参数,并适当修改SQL即可
数据访问映射配置写法:
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd">
<mapper namespace="CostDao">
<resultMap id="BaseResultMap" type="CostLog">
<result property="id" column="id"/>
<result property="time" column="time"/>
<result property="amount" column="amount"/>
</resultMap>
<select id="queryCostLog" resultMap="BaseResultMap">
SELECT `id`,`time`,`amount` FROM ${dbName}.${tbName} WHERE `id` = #{id}
</select>
</mapper>
DAO类写法:
public interface CostDao {
CostLog queryCostLog(@Param("dbName") String dbName, @Param("tbName") String tbName, @Param("id") int id);
}
调用层计算库表名称,并传递参数:
@Service
public class CostLogService {
@Resource
CostDao costDao;
public CostLog queryCostDao(int id) {
//分两库两表db1、db2,每个库中又有两个表tb1、tb2,我们根据账户id模4的取模值来分库表,0:db1.tb1 ;1:db1.tb2;2:db2.tb1;3:db2.tb2
String dbName = id % 4 < 2 ? "db1" : "db2";
String tbName = id % 2 == 0 ? "tb1" : "tb2";
return costDao.queryCostLog(dbName, tbName, id);
}
}
三、分主机的分库实现
首先通过需求确认几点:
1.我们期望不同的查询根据id自动到不同的主机上去查询,也就是db1和db2在不同的主机上
2.我们分库目的是数据库减负并且会有并发访问,因此db1和db2要能够同时提供服务
鉴于第一点,我们需要定义两个数据源,同时分别连接不同的数据库主机。
鉴于第二点,我们需要将数据源的选择细化到单个请求。
a.一种是将逻辑封装到DAO中实现,使DAO进行访问前根据请求参数按照我们定义的逻辑选择数据源。遗憾的是,DAO的具体实现是又mybatis动态代理生成的,这个功能依赖mybatis的支持,我目前并不知道mybatis有提供这么一个功能。
b.另一种是定义两个DAO,分别连接不同的数据源,但是两个DAO的查询逻辑是完全一样的。我们采用这种方式。
一种实现是我们定义两套完全相同的数据映射配置和两个DAO接口,分别连接不同的数据源,但这种方式实际上会有较多的重复配置,如果分库不止两个,而是多个,那么后续维护修改就更加困难。有没有办法让多个DAO使用同一个数据访问映射文件呢,经过测试,是有的,甚至多个DAO接口可以继承同一个DAO接口的实现(通过DAO注解直接定义访问逻辑)。
我们可以定义一个父级DAO接口A,然后为每个分库定义一个空的DAO接口,每个接口都继承接口A。如下,我们定义 Db1CostDao 和 Db2CostDao 都继承 CostDao。
子接口只需挂一个名字,而无需有额外实现
public interface Db1CostDao extends CostDao {
}
然后我们在各个数据源的MapperScannerConfigurer配置中,将各个子接口关联到不同的分库session工厂上。而在数据访问映射文件中,我们定义的DAO类型为父级DAO接口A。这样在spring启动扫描时,由于每个子DAO都是接口A的子接口,因此每个子DAO都实例化为一个bean,我们可以在数据访问业务层通过自定义逻辑返回对应的DAO。最终查询的数据库为对应的子DAO接口所对应的数据库。
<!--定义mysql 数据源,连接数据库主机的连接信息 -->
<bean id="test1-datasource" class="org.apache.commons.dbcp.BasicDataSource">
<property name="driverClassName" value="${jdbc.driverClassName}"></property>
<property name="url" value="${jdbc.url}"></property>
<property name="username" value="${jdbc.username}"></property>
<property name="password" value="${jdbc.password}"></property>
<property name="maxActive" value="40"></property>
<property name="maxIdle" value="30"></property>
<property name="maxWait" value="30000"></property>
<property name="minIdle" value="2"/>
<property name="timeBetweenEvictionRunsMillis" value="3600000"></property>
<property name="minEvictableIdleTimeMillis" value="3600000"></property>
<property name="defaultAutoCommit" value="true"></property>
<property name="testOnBorrow" value="true"></property>
<property name="validationQuery" value="select 1"/>
</bean>
<!--定义session工厂,指定数据访问映射文件和使用的数据源-->
<bean id="test1-sqlSessionFactory" class="org.mybatis.spring.SqlSessionFactoryBean">
<property name="mapperLocations">
<list>
<value>classpath*:confMapper/*Mapper.xml</value>
</list>
</property>
<property name="dataSource" ref="test1-datasource"/>
</bean>
<!--定义session工厂和DAO扫描路径,自动进行DAO与session工厂的绑定-->
<bean class="org.mybatis.spring.mapper.MapperScannerConfigurer">
<property name="basePackage" value="test.dao.db1"/>
<property name="sqlSessionFactoryBeanName" value="test1-sqlSessionFactory"/>
</bean>
<!--定义mysql 数据源,连接数据库主机的连接信息 -->
<bean id="test2-datasource" class="org.apache.commons.dbcp.BasicDataSource">
<property name="driverClassName" value="${jdbc.driverClassName}"></property>
<property name="url" value="${jdbc.url}"></property>
<property name="username" value="${jdbc.username}"></property>
<property name="password" value="${jdbc.password}"></property>
<property name="maxActive" value="40"></property>
<property name="maxIdle" value="30"></property>
<property name="maxWait" value="30000"></property>
<property name="minIdle" value="2"/>
<property name="timeBetweenEvictionRunsMillis" value="3600000"></property>
<property name="minEvictableIdleTimeMillis" value="3600000"></property>
<property name="defaultAutoCommit" value="true"></property>
<property name="testOnBorrow" value="true"></property>
<property name="validationQuery" value="select 1"/>
</bean>
<!--定义session工厂,指定数据访问映射文件和使用的数据源-->
<bean id="test2-sqlSessionFactory" class="org.mybatis.spring.SqlSessionFactoryBean">
<property name="mapperLocations">
<list>
<value>classpath*:confMapper/*Mapper.xml</value>
</list>
</property>
<property name="dataSource" ref="test1-datasource"/>
</bean>
<!--定义session工厂和DAO扫描路径,自动进行DAO与session工厂的绑定-->
<bean class="org.mybatis.spring.mapper.MapperScannerConfigurer">
<property name="basePackage" value="test.dao.db2"/>
<property name="sqlSessionFactoryBeanName" value="test2-sqlSessionFactory"/>
</bean>
映射文件 CostLogMapper.xml则无需做任何修改。
在业务层我们通过自定义逻辑选择DAO
@Service
public class CostLogService {
@Resource
Db1CostDao costDao1;
@Resource
Db2CostDao costDao2;
CostDao selectDao(int id) {
return id % 4 < 2 ? costDao1 : costDao2;
}
public CostLog queryCostDao(int id) {
//分两库两表db1、db2,每个库中又有两个表tb1、tb2,我们根据账户id模4的取模值来分库表,0:db1.tb1 ;1:db1.tb2;2:db2.tb1;3:db2.tb2
String dbName = id % 4 < 2 ? "db1" : "db2";
String tbName = id % 2 == 0 ? "tb1" : "tb2";
return selectDao(id).queryCostLog(dbName, tbName, id);
}
}
至此,在尽量少冗余代码的情况下,满足并发情况下分库需求。如果有更优方案,欢迎交流。