你的位置:首页 > Java教程

[Java教程]Spring, MyBatis 多数据源的配置和管理


同一个项目有时会涉及到多个数据库,也就是多数据源。多数据源又可以分为两种情况:

1)两个或多个数据库没有相关性,各自独立,其实这种可以作为两个项目来开发。比如在游戏开发中一个数据库是平台数据库,其它还有平台下的游戏对应的数据库;

2)两个或多个数据库是master-slave的关系,比如有mysql搭建一个 master-master,其后又带有多个slave;或者采用MHA搭建的master-slave复制;

目前我所知道的 Spring 多数据源的搭建大概有两种方式,可以根据多数据源的情况进行选择。

1. 采用spring配置文件直接配置多个数据源

比如针对两个数据库没有相关性的情况,可以采用直接在spring的配置文件中配置多个数据源,然后分别进行事务的配置,如下所示:

  <context:component-scan base-package="net.aazj.service,net.aazj.aop" />  <context:component-scan base-package="net.aazj.aop" />  <!-- 引入属性文件 -->  <context:property-placeholder location="classpath:config/db.properties" />  <!-- 配置数据源 -->  <bean name="dataSource" class="com.alibaba.druid.pool.DruidDataSource" init-method="init" destroy-method="close">    <property name="url" value="${jdbc_url}" />    <property name="username" value="${jdbc_username}" />    <property name="password" value="${jdbc_password}" />    <!-- 初始化连接大小 -->    <property name="initialSize" value="0" />    <!-- 连接池最大使用连接数量 -->    <property name="maxActive" value="20" />    <!-- 连接池最大空闲 -->    <property name="maxIdle" value="20" />    <!-- 连接池最小空闲 -->    <property name="minIdle" value="0" />    <!-- 获取连接最大等待时间 -->    <property name="maxWait" value="60000" />  </bean>    <bean id="sqlSessionFactory" class="org.mybatis.spring.SqlSessionFactoryBean">   <property name="dataSource" ref="dataSource" />   <property name="configLocation" value="classpath:config/mybatis-config.for a single JDBC DataSource -->  <bean id="transactionManager" class="org.springframework.jdbc.datasource.DataSourceTransactionManager">    <property name="dataSource" ref="dataSource" />  </bean>    <!-- 使用annotation定义事务 -->  <tx:annotation-driven transaction-manager="transactionManager" />     <bean class="org.mybatis.spring.mapper.MapperScannerConfigurer">   <property name="basePackage" value="net.aazj.mapper" />   <property name="sqlSessionFactoryBeanName" value="sqlSessionFactory"/>  </bean>
<!-- Enables the use of the @AspectJ style of Spring AOP --> <aop:aspectj-autoproxy/> <!-- ===============第二个数据源的配置=============== --> <bean name="dataSource_2" class="com.alibaba.druid.pool.DruidDataSource" init-method="init" destroy-method="close"> <property name="url" value="${jdbc_url_2}" /> <property name="username" value="${jdbc_username_2}" /> <property name="password" value="${jdbc_password_2}" /> <!-- 初始化连接大小 --> <property name="initialSize" value="0" /> <!-- 连接池最大使用连接数量 --> <property name="maxActive" value="20" /> <!-- 连接池最大空闲 --> <property name="maxIdle" value="20" /> <!-- 连接池最小空闲 --> <property name="minIdle" value="0" /> <!-- 获取连接最大等待时间 --> <property name="maxWait" value="60000" /> </bean> <bean id="sqlSessionFactory_slave" class="org.mybatis.spring.SqlSessionFactoryBean"> <property name="dataSource" ref="dataSource_2" /> <property name="configLocation" value="classpath:config/mybatis-config-2.for a single JDBC DataSource --> <bean id="transactionManager_2" class="org.springframework.jdbc.datasource.DataSourceTransactionManager"> <property name="dataSource" ref="dataSource_2" /> </bean> <!-- 使用annotation定义事务 --> <tx:annotation-driven transaction-manager="transactionManager_2" /> <bean class="org.mybatis.spring.mapper.MapperScannerConfigurer"> <property name="basePackage" value="net.aazj.mapper2" /> <property name="sqlSessionFactoryBeanName" value="sqlSessionFactory_2"/> </bean>

如上所示,我们分别配置了两个 dataSource,两个sqlSessionFactory,两个transactionManager,以及关键的地方在于MapperScannerConfigurer 的配置——使用sqlSessionFactoryBeanName属性,注入不同的sqlSessionFactory的名称,这样的话,就为不同的数据库对应的 mapper 接口注入了对应的 sqlSessionFactory。

需要注意的是,多个数据库的这种配置是不支持分布式事务的,也就是同一个事务中,不能操作多个数据库。这种配置方式的优点是很简单,但是却不灵活。对于master-slave类型的多数据源配置而言不太适应,master-slave性的多数据源的配置,需要特别灵活,需要根据业务的类型进行细致的配置。比如对于一些耗时特别大的select语句,我们希望放到slave上执行,而对于update,delete等操作肯定是只能在master上执行的,另外对于一些实时性要求很高的select语句,我们也可能需要放到master上执行——比如一个场景是我去商城购买一件兵器,购买操作的很定是master,同时购买完成之后,需要重新查询出我所拥有的兵器和金币,那么这个查询可能也需要防止master上执行,而不能放在slave上去执行,因为slave上可能存在延时,我们可不希望玩家发现购买成功之后,在背包中却找不到兵器的情况出现。

所以对于master-slave类型的多数据源的配置,需要根据业务来进行灵活的配置,哪些select可以放到slave上,哪些select不能放到slave上。所以上面的那种所数据源的配置就不太适应了。

2. 基于 AbstractRoutingDataSource 和 AOP 的多数据源的配置

基本原理是,我们自己定义一个DataSource类ThreadLocalRountingDataSource,来继承AbstractRoutingDataSource,然后在配置文件中向ThreadLocalRountingDataSource注入 master 和 slave 的数据源,然后通过 AOP 来灵活配置,在哪些地方选择  master 数据源,在哪些地方需要选择 slave数据源。下面看代码实现:

1)先定义一个enum来表示不同的数据源:

package net.aazj.enums;/** * 数据源的类别:master/slave */public enum DataSources {  MASTER, SLAVE}

2)通过 TheadLocal 来保存每个线程选择哪个数据源的标志(key):

package net.aazj.util;import net.aazj.enums.DataSources;public class DataSourceTypeManager {  private static final ThreadLocal<DataSources> dataSourceTypes = new ThreadLocal<DataSources>(){    @Override    protected DataSources initialValue(){      return DataSources.MASTER;    }  };    public static DataSources get(){    return dataSourceTypes.get();  }    public static void set(DataSources dataSourceType){    dataSourceTypes.set(dataSourceType);  }    public static void reset(){    dataSourceTypes.set(DataSources.MASTER0);  }}

3)定义 ThreadLocalRountingDataSource,继承AbstractRoutingDataSource:

package net.aazj.util;import org.springframework.jdbc.datasource.lookup.AbstractRoutingDataSource;public class ThreadLocalRountingDataSource extends AbstractRoutingDataSource {  @Override  protected Object determineCurrentLookupKey() {    return DataSourceTypeManager.get();  }}

4)在配置文件中向 ThreadLocalRountingDataSource 注入 master 和 slave 的数据源:

  <context:component-scan base-package="net.aazj.service,net.aazj.aop" />  <context:component-scan base-package="net.aazj.aop" />  <!-- 引入属性文件 -->  <context:property-placeholder location="classpath:config/db.properties" />    <!-- 配置数据源Master -->  <bean name="dataSourceMaster" class="com.alibaba.druid.pool.DruidDataSource" init-method="init" destroy-method="close">    <property name="url" value="${jdbc_url}" />    <property name="username" value="${jdbc_username}" />    <property name="password" value="${jdbc_password}" />    <!-- 初始化连接大小 -->    <property name="initialSize" value="0" />    <!-- 连接池最大使用连接数量 -->    <property name="maxActive" value="20" />    <!-- 连接池最大空闲 -->    <property name="maxIdle" value="20" />    <!-- 连接池最小空闲 -->    <property name="minIdle" value="0" />    <!-- 获取连接最大等待时间 -->    <property name="maxWait" value="60000" />  </bean>    <!-- 配置数据源Slave -->  <bean name="dataSourceSlave" class="com.alibaba.druid.pool.DruidDataSource" init-method="init" destroy-method="close">    <property name="url" value="${jdbc_url_slave}" />    <property name="username" value="${jdbc_username_slave}" />    <property name="password" value="${jdbc_password_slave}" />    <!-- 初始化连接大小 -->    <property name="initialSize" value="0" />    <!-- 连接池最大使用连接数量 -->    <property name="maxActive" value="20" />    <!-- 连接池最大空闲 -->    <property name="maxIdle" value="20" />    <!-- 连接池最小空闲 -->    <property name="minIdle" value="0" />    <!-- 获取连接最大等待时间 -->    <property name="maxWait" value="60000" />  </bean>    <bean id="dataSource" class="net.aazj.util.ThreadLocalRountingDataSource">    <property name="defaultTargetDataSource" ref="dataSourceMaster" />    <property name="targetDataSources">      <map key-type="net.aazj.enums.DataSources">        <entry key="MASTER" value-ref="dataSourceMaster"/>        <entry key="SLAVE" value-ref="dataSourceSlave"/>        <!-- 这里还可以加多个dataSource -->      </map>    </property>  </bean>    <bean id="sqlSessionFactory" class="org.mybatis.spring.SqlSessionFactoryBean">   <property name="dataSource" ref="dataSource" />   <property name="configLocation" value="classpath:config/mybatis-config.for a single JDBC DataSource -->  <bean id="transactionManager" class="org.springframework.jdbc.datasource.DataSourceTransactionManager">    <property name="dataSource" ref="dataSource" />  </bean>    <!-- 使用annotation定义事务 -->  <tx:annotation-driven transaction-manager="transactionManager" />   <bean class="org.mybatis.spring.mapper.MapperScannerConfigurer">   <property name="basePackage" value="net.aazj.mapper" />   <!-- <property name="sqlSessionFactoryBeanName" value="sqlSessionFactory"/> -->  </bean>    

上面spring的配置文件中,我们针对master数据库和slave数据库分别定义了dataSourceMaster和dataSourceSlave两个dataSource,然后注入到<bean id="dataSource" > 中,这样我们的dataSource就可以来根据 key 的不同来选择dataSourceMaster和 dataSourceSlave了。

5)使用Spring AOP 来指定 dataSource 的 key ,从而dataSource会根据key选择 dataSourceMaster 和 dataSourceSlave:

package net.aazj.aop;import net.aazj.enums.DataSources;import net.aazj.util.DataSourceTypeManager;import org.aspectj.lang.JoinPoint;import org.aspectj.lang.annotation.Aspect;import org.aspectj.lang.annotation.Before;import org.aspectj.lang.annotation.Pointcut;import org.springframework.stereotype.Component;@Aspect  // for aop@Component // for auto scanpublic class DataSourceInterceptor {    @Pointcut("execution(public * net.aazj.service..*.getUser(..))")  public void dataSourceSlave(){};    @Before("dataSourceSlave()")  public void before(JoinPoint jp) {    DataSourceTypeManager.set(DataSources.SLAVE);  }
// ... ...}

这里我们定义了一个 Aspect 类,我们使用 @Before 来在符合 @Pointcut("execution(public * net.aazj.service..*.getUser(..))") 中的方法被调用之前,调用 DataSourceTypeManager.set(DataSources.SLAVE) 设置了 key 的类型为 DataSources.SLAVE,所以 dataSource 会根据key=DataSources.SLAVE 选择 dataSourceSlave 这个dataSource。所以该方法对于的sql语句会在slave数据库上执行。

我们可以不断的扩充 DataSourceInterceptor  这个 Aspect,在中进行各种各样的定义,来为某个service的某个方法指定合适的数据源对应的dataSource。

这样我们就可以使用 Spring AOP 的强大功能来,十分灵活进行配置了。

3. 总结

从本文中我们可以体会到AOP的强大和灵活。

本文使用的是mybatis,其实使用Hibernate也应该是相似的配置。