Springboot通過AOP整合多資料來源，分析@Transaction切換資料來源不生效問題

weixin_34249678發表於2019-02-22
Spring Boot

Springboot通過AOP整合多資料來源原理

關於資料來源的控制，在Spring中留了AbstractRoutingDataSource介面供使用者控制，其determineCurrentLookupKey方法關聯對應的datasource即可。

AbstractRoutingDataSource

Abstract javax.sql.DataSource implementation that routes getConnection() calls to one of various target DataSources based on a lookup key.The latter is usually (but not necessarily) determined through some thread-bound transaction context.

將資料來源放入Spring容器中管理,通過@Configuration @Bean的定義將datasource1，datasource2加入容器中
並且在每個執行緒中定義ThreadLocal，控制每個執行緒的在決定使用哪個資料來源時不產生衝突 （記住必須在使用用對ThreadLocal進行clear，不然重複使用執行緒時有可能導致獲取到舊的資料來源配置）

Springboot的整合

每次構建工程時如果感覺很多重複工作，建議使用自定義模板偷個懶！地址飛過去！

pom.xml引入mybatis
<project xmlns="http://maven.apache.org/POM/4.0.0"
    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">

    <modelVersion>4.0.0</modelVersion>
    <groupId>com.hugui</groupId>
    <artifactId>springboot-mutil-database</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <packaging>jar</packaging>

    <name>springboot-mutil-database</name>
    <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    </properties>

    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>1.5.2.RELEASE</version>
    </parent>

    <dependencies>
        <!-- spring mvc -->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        
        <!-- mybatis -->
        <dependency>
            <groupId>org.mybatis.spring.boot</groupId>
            <artifactId>mybatis-spring-boot-starter</artifactId>
            <version>1.3.0</version>
        </dependency>
        
        <!-- mysql-->
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>8.0.11</version><!--$NO-MVN-MAN-VER$ -->
        </dependency>

        <!-- lombok util -->
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <optional>true</optional>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-configuration-processor</artifactId>
            <optional>true</optional>
        </dependency>
    </dependencies>

    <build>
        <finalName>springboot-mutil-database</finalName>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-archetype-plugin</artifactId>
                <version>2.2</version>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <configuration>
                    <source>1.8</source>
                    <target>1.8</target>
                </configuration>
            </plugin>
        </plugins>
    </build>
</project>
application.yml定義
mybatis:
  mapper-locations: classpath:com/hugui/*/mapper/*/*.xml
  
server:
  port: 8080
spring:
  datasource:
    db1:
      driver-class-name: com.mysql.cj.jdbc.Driver
      initial-size: 5
      max-idle: 10
      max-wait: 10000
      min-idle: 5
      password: 1234
      url: jdbc:mysql://127.0.0.1:3306/user?characterEncoding=utf-8&serverTimezone=GMT&useSSL=false
      username: root
    db2:
      driver-class-name: com.mysql.cj.jdbc.Driver
      initial-size: 5
      max-idle: 10
      max-wait: 10000
      min-idle: 5
      password: 1234
      url: jdbc:mysql://127.0.0.1:3306/user1?characterEncoding=utf-8&serverTimezone=GMT&useSSL=false
      username: root
定義啟動類

注意要禁用資料來源的自動配置類DataSourceAutoConfiguration

@SpringBootApplication(exclude = { DataSourceAutoConfiguration.class })
public class SpringbootMutiDatabaseApplication {

    public static void main(String[] args) {
        SpringApplication.run(SpringbootMutiDatabaseApplication.class, args);
    }

}
自定義多資料來源配置類
@Configuration
public class DatabaseConfig {

    @Bean(name = "datasource1")
    @ConfigurationProperties(prefix = "spring.datasource.db1")
    public DataSource dataSource1() {
        return DataSourceBuilder.create().build();
    }

    @Bean(name = "datasource2")
    @ConfigurationProperties(prefix = "spring.datasource.db2")
    public DataSource dataSource2() {
        return DataSourceBuilder.create().build();
    }

    
    /**
     * 動態資料來源
     * @return
     */
    @SuppressWarnings({ "rawtypes", "unchecked" })
    @Primary
    @Bean(name = "dynamicDataSource")
    public DataSource dynamicDataSource() {
        DynamicDatabase dynamicDataSource = new DynamicDatabase();
        // 預設資料來源
        dynamicDataSource.setDefaultTargetDataSource(dataSource1());
        // 配置多資料來源
        Map<Object, Object> dsMap = new HashMap();
        dsMap.put("datasource1", dataSource1());
        dsMap.put("datasource2", dataSource2());

        dynamicDataSource.setTargetDataSources(dsMap);
        return dynamicDataSource;
    }

    @Bean
    public PlatformTransactionManager transactionManager() {
        return new DataSourceTransactionManager(dynamicDataSource());
    }

}
通過ThreadLocal定義上下文資料來源標識
public class DatabaseHolder {

    // ThreadLocal每個執行緒都獨有的儲存其執行緒所屬的變數值
    private static ThreadLocal<String> holder = new ThreadLocal<>();

    public static void setDatabaseSource(String ds) {
        holder.set(ds);
    }

    public static String getDatabaseSource() {
        return holder.get();
    }

    public static void clearDatabaseSource() {
        holder.remove();
    }
}
繼承AbstractRoutingDataSource定義資料來源標識
public class DynamicDatabase extends AbstractRoutingDataSource {

    @Override
    protected Object determineCurrentLookupKey() {
        return DatabaseHolder.getDatabaseSource();
    }

}
多資料來源註解MyDataSource
@Target(ElementType.METHOD)
@Documented
@Retention(RetentionPolicy.RUNTIME)
public @interface MyDataSource {

    String value() default "datasource1";

}
定義MyDataSource註解切片類
@Aspect
@Component
@Order(1)
public class DatasourceAspect {

    @Pointcut("@annotation(com.hugui.mutildatabase.annotation.MyDataSource)")
    public void annotationPointCut() {
        // APSECT POINT CUT FUNCTION
    }

    @Before(value = "annotationPointCut()&&@annotation(datasource)")
    public void beforeSwitchDS(JoinPoint point, MyDataSource datasource) {
        DatabaseHolder.setDatabaseSource(datasource.value());
    }

    /**
     * 
     * AOP資料來源呼叫 
     * repository@Annotation(AOP)-->
     * DefaultSqlSession-->
     * SimpleExecutor-->
     * BaseExecutor.getConnection()-->
     * SpringManagedTransaction.getConnection()--->連線為空-->
     * AbstractRoutingDataSource.getConnection()-->
     * 拿到beforeAOP中注入的datasource的key,所以每次都會動態切換資料來源
     * 
     * 資料庫事務呼叫 service註解上@transactional-->
     * TransactionInterceptor.interpter()-->
     * TransactionAspectSupport.createTransactionIfNecessary()-->
     * AbstractPlatformTransactionManager.getTransaction()-->
     * DataSourceTransactionManager.doBegin()-->
     * AbstractRoutingDataSource.determineTargetDataSource()[lookupKey==null去拿預設的Datasource,不為空則使用獲取到的連線]-->
     * DataSourceTransactionManager.setTransactional()[將連線設定到TransactionUtils的threadLocal中]--->
     * Repository@Annotation-->執行AOP資料來源呼叫鏈,
     * 問題在於SpringManagedTransaction.getConnection()-->openConnection()-->
     * DataSourceUtils.getConnection()-->
     * TransactionSynchronizationManager.getResource(dataSource)不為空[從TransactionUtils的threadLocal中獲取資料來源],
     * 所以不會再去呼叫DynamicDataSource去獲取資料來源
     * 
     * ① 加入Transaction註解時預設是先執行transaction的doBegin，然後再去找AbstractRoutingDataSource.determineTargetDataSource發現是null
     * 然後就會設定預設的資料來源，所以必須在執行transaction的doBegin前通過AOP把切換的資料來源進行注入，所以在本過濾器中定義Order的優先順序為1
     * ② 在每次切換資料來源之後再次清除ThreadLocal中的資料來源定義，防止執行緒重複使用時獲取舊的資料來源定義。
     * @param point
     */

    @After(value = "annotationPointCut()")
    public void afterSwitchDS(JoinPoint point) {
        DatabaseHolder.clearDatabaseSource();
    }
}
定義Mybatis Mapper、Service、Entity
@Data
@Builder
@NoArgsConstructor
@AllArgsConstructor
@EqualsAndHashCode(callSuper = false)
public class User {

    private Long id;
    private String password;
    private String username;

}

@Mapper
public interface UserMapper {

    List<User> findAll();

    Long add(@Param("password") String password, @Param("username") String username);
}

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd">
<mapper namespace="com.hugui.mutildatabase.mapper.UserMapper">

    <!-- 通用查詢對映結果 -->
    <resultMap id="BaseResultMap"
        type="com.hugui.mutildatabase.entity.User">
        <id column="id" property="id" />
        <result column="password" property="password" />
        <result column="username" property="username" />
    </resultMap>

    <select id="findAll" resultMap="BaseResultMap">
        select * from user
    </select>

    <insert id="add" useGeneratedKeys="true">
        insert into
        user(password,username) values (#{password},#{username})
    </insert>
</mapper>

public interface IUserService{

    List<User> findAll1();
    
    List<User> findAll2();
    
    Long add1(String password , String username);
    
    Long add2(String password , String username);
}


@Service
public class UseServiceImpl implements IUserService {

    @Autowired
    private UserMapper mapper;

    @MyDataSource("datasource2")
    @Transactional
    @Override
    public List<User> findAll2() {
        return mapper.findAll();
    }

    @MyDataSource
    @Transactional
    @Override
    public List<User> findAll1() {
        return mapper.findAll();
    }

    @SuppressWarnings("unused")
    @MyDataSource("datasource2")
    @Transactional
    @Override
    public Long add2(String password, String username) {
        Long id = mapper.add(password, username);
        throw new RuntimeErrorException(new Error("error!!!!!"));
    }

    @SuppressWarnings("unused")
    @MyDataSource
    @Override
    public Long add1(String password, String username) {
        Long id = mapper.add(password, username);
        throw new RuntimeErrorException(new Error("error!!!!!"));
    }
}

問題

加入@Transaction後多資料來源切換失敗？先看下文的呼叫過程
呼叫過程
無Transaction的AOP呼叫過程

repository@Annotation(AOP)-->
DefaultSqlSession-->
SimpleExecutor-->
BaseExecutor.getConnection()-->SpringManagedTransaction.getConnection()--->連線為空-->
AbstractRoutingDataSource.getConnection()-->
拿到beforeAOP中注入的datasource的key,所以每次都會動態切換資料來源

有Transaction的AOP呼叫過程

TransactionInterceptor.interpter()-->
TransactionAspectSupport.createTransactionIfNecessary()-->
AbstractPlatformTransactionManager.getTransaction()-->
DataSourceTransactionManager.doBegin()-->
AbstractRoutingDataSource.determineTargetDataSource()[lookupKey==null去拿預設的Datasource,不為空則使用獲取到的連線]-->
DataSourceTransactionManager.setTransactional()[將連線設定到TransactionUtils的threadLocal中]--->
Repository@Annotation-->執行AOP資料來源呼叫鏈,
問題在於SpringManagedTransaction.getConnection()-->openConnection()-->
DataSourceUtils.getConnection()-->
TransactionSynchronizationManager.getResource(dataSource)不為空[從TransactionUtils的threadLocal中獲取資料來源],
這樣發現不會再去呼叫DynamicDataSource去獲取配置的動態資料來源

解決辦法是：

在transaction interpter執行之前就把動態資料來源配置好，所以在動態資料來源的配置的AOP切片上加入Order(1),讓其先執行即可。

完整程式碼

Git路徑：https://github.com/TrimGHU/springboot-mutil-database

啟動服務測試多資料來源以及@Transaction

正常訪問
1115848-10d392872c122860.png
資料來源1

1115848-481b216bad75c5b9.png
資料來源2
事務訪問

資料來源1未加事務


1115848-eea8b43c02ab818e.png
資料來源1新增使用者強制出錯

1115848-153aef70b7d47a48.png
資料來源1資料新增成功

資料來源2加了事務


1115848-f943e154dfe66832.png
資料來源2新增使用者強制出錯

1115848-ac3fc79e57424e20.png
資料來源2資料正常回滾

相關文章