SpringBoot資料庫管理 - 用Liquibase對資料庫管理和遷移？

pdai發表於2022-07-19
Spring Boot資料庫UI

Liquibase是一個用於用於跟蹤、管理和應用資料庫變化的開源工具，通過日誌檔案(changelog)的形式記錄資料庫的變更(changeset)，然後執行日誌檔案中的修改，將資料庫更新或回滾(rollback)到一致的狀態。它的目標是提供一種資料庫型別無關的解決方案，通過執行schema型別的檔案來達到遷移。本文主要介紹SpringBoot與Liquibase的整合。@pdai

知識準備

需要理解什麼是Liquibase，它的出現是要解決什麼問題。

什麼是Liquibase？這類工具要解決什麼問題？

Liquibase是一個用於用於跟蹤、管理和應用資料庫變化的開源工具，通過日誌檔案(changelog)的形式記錄資料庫的變更(changeset)，然後執行日誌檔案中的修改，將資料庫更新或回滾(rollback)到一致的狀態。它的目標是提供一種資料庫型別無關的解決方案，通過執行schema型別的檔案來達到遷移。

其優點主要有以下：

  • 支援幾乎所有主流的資料庫，目前支援包括 Oracle/Sql Server/DB2/MySql/Sybase/PostgreSQL等 各種資料庫，這樣在資料庫的部署和升級環節可幫助應用系統支援多資料庫；
  • 支援版本控制，這樣就能支援多開發者的協作維護；
  • 日誌檔案支援多種格式，如XML, YAML, JSON, SQL等；
  • 提供變化應用的回滾功能，可按時間、數量或標籤（tag）回滾已應用的變化。通過這種方式，開發人員可輕易的還原資料庫在任何時間點的狀態
  • 支援多種執行方式，如命令列、Spring整合、Maven外掛、Gradle外掛等。

為何會出現Liquibase這類工具呢？

在實際上線的應用中，隨著版本的迭代，經常會遇到需要變更資料庫表和欄位，必然會遇到需要對這些變更進行記錄和管理，以及回滾等等；同時只有指令碼化且版本可管理，才能在讓資料庫實現真正的DevOps（自動化執行 + 回滾等）。在這樣的場景下Liquibase等工具的出現也就成為了必然。

Liquibase有哪些概念？是如何工作的？

工作流程：將SQL變更記錄到changeset，多個changeset變更組成了日誌檔案(changelog)，liquibase將changelog更新日誌檔案同步到指定的RDBMS中。

日誌檔案(databaseChangeLog)支援多種格式，如XML, YAML, JSON, SQL; 我們以xml為例，看下相關配置

<?xml version="1.0" encoding="UTF-8"?> 
<databaseChangeLog
	xmlns="http://www.liquibase.org/xml/ns/dbchangelog"
	xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xmlns:ext="http://www.liquibase.org/xml/ns/dbchangelog-ext"
	xmlns:pro="http://www.liquibase.org/xml/ns/pro"
	xsi:schemaLocation="http://www.liquibase.org/xml/ns/dbchangelog
		http://www.liquibase.org/xml/ns/dbchangelog/dbchangelog-4.9.0.xsd
		http://www.liquibase.org/xml/ns/dbchangelog-ext http://www.liquibase.org/xml/ns/dbchangelog/dbchangelog-ext.xsd
		http://www.liquibase.org/xml/ns/pro http://www.liquibase.org/xml/ns/pro/liquibase-pro-4.9.0.xsd">
    <changeSet id="1" author="bob">  
        <comment>A sample change log</comment>  
        <createTable/> 
    </changeSet>  
    <changeSet id="2" author="bob" runAlways="true">  
        <alterTable/>  
    </changeSet>  
    <changeSet id="3" author="alice" failOnError="false" dbms="oracle">
        <alterTable/>  
    </changeSet>  
    <changeSet id="4" author="alice" failOnError="false" dbms="!oracle">
        <alterTable/>  
    </changeSet>  
</databaseChangeLog>

簡單示例

這裡主要介紹基於SpringBoot整合liquibase來管理資料庫的變更。

POM依賴

Maven 包的依賴，主要包含mysql驅動, JDBC(這裡spring-boot-starter-data-jpa包含了jdbc包，當然直接引入jdbc包也行)，以及liquibase包。

<dependency>
    <groupId>mysql</groupId>
    <artifactId>mysql-connector-java</artifactId>
    <version>8.0.28</version>
</dependency>
<dependency>
    <groupId>com.github.wenhao</groupId>
    <artifactId>jpa-spec</artifactId>
    <version>3.1.0</version>
</dependency>
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-data-jpa</artifactId>
</dependency>

<dependency>
    <groupId>org.liquibase</groupId>
    <artifactId>liquibase-core</artifactId>
    <version>4.9.1</version>
</dependency>

yml配置

SpringBoot AutoConfig預設已經包含了對liquibase的配置，在spring.liquibase配置下。

基礎的配置，可以直接使用如下（主要是指定change-log的位置，預設的位置是classpath:/db/changelog/db.changelog-master.yaml）：

spring:
  datasource:
    url: jdbc:mysql://localhost:3306/test_db_liquibase?useSSL=false&autoReconnect=true&characterEncoding=utf8
    driver-class-name: com.mysql.cj.jdbc.Driver
    username: root
    password: bfXa4Pt2lUUScy8jakXf
  liquibase:
    enabled: true
    # 如下配置是被spring.datasource賦值的，所以可以不配置
#    url: jdbc:mysql://localhost:3306/test_db_liquibase?useSSL=false&autoReconnect=true&characterEncoding=utf8
#    user: root
#    password: bfXa4Pt2lUUScy8jakXf
    change-log: classpath:/db/changelog/db.changelog-master.yaml

在開發時，更多的配置可以從如下SpringBoot AutoConfig中找到。

新增changelog

XML方式固然OK，不過依然推薦使用yml格式。

databaseChangeLog:
  - changeSet:
      id: 20220412-01
      author: pdai
      changes:
        - createTable:
            tableName: person
            columns:
              - column:
                  name: id
                  type: int
                  autoIncrement: true
                  constraints:
                    primaryKey: true
                    nullable: false
              - column:
                  name: firstname
                  type: varchar(50)
              - column:
                  name: lastname
                  type: varchar(50)
                  constraints:
                    nullable: false
              - column:
                  name: state
                  type: char(2)

  - changeSet:
      id: 20220412-02
      author: pdai
      changes:
        - addColumn:
            tableName: person
            columns:
              - column:
                  name: username
                  type: varchar(8)

  - changeSet:
      id: 20220412-03
      author: pdai
      changes:
        - addLookupTable:
            existingTableName: person
            existingColumnName: state
            newTableName: state
            newColumnName: id
            newColumnDataType: char(2)

測試

啟動springBootApplication, 我們可以看到如下的幾個changeSet被依次執行

2022-04-12 20:41:20.591  INFO 8476 --- [           main] liquibase.lockservice                    : Successfully acquired change log lock
2022-04-12 20:41:20.737  INFO 8476 --- [           main] liquibase.changelog                      : Creating database history table with name: test_db_liquibase.DATABASECHANGELOG
2022-04-12 20:41:20.783  INFO 8476 --- [           main] liquibase.changelog                      : Reading from test_db_liquibase.DATABASECHANGELOG
Running Changeset: classpath:/db/changelog/db.changelog-master.yaml::20220412-01::pdai
2022-04-12 20:41:20.914  INFO 8476 --- [           main] liquibase.changelog                      : Table person created
2022-04-12 20:41:20.914  INFO 8476 --- [           main] liquibase.changelog                      : ChangeSet classpath:/db/changelog/db.changelog-master.yaml::20220412-01::pdai ran successfully in 53ms
Running Changeset: classpath:/db/changelog/db.changelog-master.yaml::20220412-02::pdai
2022-04-12 20:41:20.952  INFO 8476 --- [           main] liquibase.changelog                      : Columns username(varchar(8)) added to person
2022-04-12 20:41:20.952  INFO 8476 --- [           main] liquibase.changelog                      : ChangeSet classpath:/db/changelog/db.changelog-master.yaml::20220412-02::pdai ran successfully in 31ms
Running Changeset: classpath:/db/changelog/db.changelog-master.yaml::20220412-03::pdai
2022-04-12 20:41:21.351  INFO 8476 --- [           main] liquibase.changelog                      : Lookup table added for person.state
2022-04-12 20:41:21.351  INFO 8476 --- [           main] liquibase.changelog                      : ChangeSet classpath:/db/changelog/db.changelog-master.yaml::20220412-03::pdai ran successfully in 389ms
2022-04-12 20:41:21.382  INFO 8476 --- [           main] liquibase.lockservice                    : Successfully released change log lock

檢視資料庫，你會發現資料已經變更

那我們如果重新啟動這個SpringBootApplication，會怎麼呢？

很顯然，因為databasechangelog表中已經有相關執行記錄了，所以將不再執行變更

2022-04-12 20:49:01.566  INFO 9144 --- [           main] liquibase.lockservice                    : Successfully acquired change log lock
2022-04-12 20:49:01.761  INFO 9144 --- [           main] liquibase.changelog                      : Reading from test_db_liquibase.DATABASECHANGELOG
2022-04-12 20:49:01.812  INFO 9144 --- [           main] liquibase.lockservice                    : Successfully released change log lock

進一步理解

通過幾個問題，進一步理解。

比較好的changelog的實踐？

簡單而言：yml格式 + sql-file方式

執行sqlFile格式的changeSet，如下

執行的日誌如下

2022-04-12 21:00:28.198  INFO 17540 --- [           main] liquibase.lockservice                    : Successfully acquired change log lock
2022-04-12 21:00:28.398  INFO 17540 --- [           main] liquibase.changelog                      : Reading from test_db_liquibase.DATABASECHANGELOG
Running Changeset: classpath:/db/changelog/db.changelog-master.yaml::20220412-04::pdai
2022-04-12 21:00:28.516  INFO 17540 --- [           main] liquibase.changelog                      : SQL in file classpath:/db/changelog/db.changelog-20220412-04.sql executed
2022-04-12 21:00:28.516  INFO 17540 --- [           main] liquibase.changelog                      : ChangeSet classpath:/db/changelog/db.changelog-master.yaml::20220412-04::pdai ran successfully in 83ms
2022-04-12 21:00:28.532  INFO 17540 --- [           main] liquibase.lockservice                    : Successfully released change log lock

執行後，檢視變更記錄

資料表user表已經建立並插入一條資料

除了addColumn,addTable還有哪些changeType呢？

除了addColumn,addTable還有哪些changeType呢?

與此同時，還支援如下changeType：

此外，還支援執行command

changeSet:  
  id:  executeCommand-example  
  author:  liquibase-docs  
  changes:  
  -  executeCommand:  
      args:  
      -  arg:  
          value:  -out  
      -  arg:  
          value:  -param2  
      executable:  mysqldump  
      os:  Windows 7  
      timeout:  10s

比如，回滾的操作可以通過如下command進行

再比如，我們可以通過Liquibase來生成相關差異，再製作成changeSet，最後部署。

示例原始碼

https://github.com/realpdai/tech-pdai-spring-demos

參考文章

https://docs.liquibase.com

相關文章