線上體驗:Seata實驗室
一. 前言
相信 youlai-mall 的實驗室大家有曾在專案中見到過,但應該都還處於陌生的階段,畢竟在此之前實驗室多是以概念般的形式存在,所以我想借著此次的機會,對其進行一個詳細的說明。
實驗室模組的建立初衷和開源專案的成立一致的,都是為了提升開發成員的技術能力,只不過開源專案是從技術棧廣度上(全棧),而實驗室則是從技術棧深度方面切入,更重要的它是一種更深刻而又高效的學習方式。為什麼能夠這麼說?因為實驗室是結合真實的業務場景把中介軟體的作用視覺化出來,達到透過現象去看本質(原理和原始碼)的目的,再也不是被動式輸入的短期記憶學習。
實驗室未來計劃是將工作和麵試常見的中介軟體(Spring、MyBatis、Redis、Seata、MQ、MySQL、ES等)做進來,本篇就以 Seata 為例正式為有來實驗室拉開一個序幕。
二. Seata 概念
Seata 是一款開源的分散式事務解決方案,致力於提供高效能和簡單易用的分散式事務服務。Seata 將為使用者提供了 AT、TCC、SAGA 和 XA 事務模式,為使用者打造一站式的分散式解決方案。
術語 | |
---|---|
TC (Transaction Coordinator) - 事務協調者 | 維護全域性和分支事務的狀態,驅動全域性事務提交或回滾。 |
TM (Transaction Manager) - 事務管理器 | 定義全域性事務的範圍:開始全域性事務、提交或回滾全域性事務。 |
RM (Resource Manager) - 資源管理器 | 管理分支事務處理的資源,與TC交談以註冊分支事務和報告分支事務的狀態,並驅動分支事務提交或回滾。 |
三. Seata 服務端部署
中介軟體宣告
中介軟體 | 版本 | 伺服器IP | 埠 |
---|---|---|---|
Seata | 1.5.2 | 192.168.10.100 | 8091、7091 |
Nacos | 2.0.3 | 192.168.10.99 | 8848 |
MySQL | 8.0.27 | 192.168.10.98 | 3306 |
官方連結
Seata 資料庫
Seata 表結構MySQL指令碼線上地址: https://github.com/seata/seata/blob/1.5.2/script/server/db/mysql.sql
執行以下指令碼完成 Seata 資料庫建立和表的初始化:
-- 1. 執行語句建立名為 seata 的資料庫
CREATE DATABASE seata DEFAULT CHARACTER SET utf8mb4 DEFAULT COLLATE utf8mb4_general_ci;
-- 2.執行指令碼完成 Seata 表結構的建立
use seata;
-- the table to store GlobalSession data
CREATE TABLE IF NOT EXISTS `global_table`
(
`xid` VARCHAR(128) NOT NULL,
`transaction_id` BIGINT,
`status` TINYINT NOT NULL,
`application_id` VARCHAR(32),
`transaction_service_group` VARCHAR(32),
`transaction_name` VARCHAR(128),
`timeout` INT,
`begin_time` BIGINT,
`application_data` VARCHAR(2000),
`gmt_create` DATETIME,
`gmt_modified` DATETIME,
PRIMARY KEY (`xid`),
KEY `idx_status_gmt_modified` (`status` , `gmt_modified`),
KEY `idx_transaction_id` (`transaction_id`)
) ENGINE = InnoDB
DEFAULT CHARSET = utf8mb4;
-- the table to store BranchSession data
CREATE TABLE IF NOT EXISTS `branch_table`
(
`branch_id` BIGINT NOT NULL,
`xid` VARCHAR(128) NOT NULL,
`transaction_id` BIGINT,
`resource_group_id` VARCHAR(32),
`resource_id` VARCHAR(256),
`branch_type` VARCHAR(8),
`status` TINYINT,
`client_id` VARCHAR(64),
`application_data` VARCHAR(2000),
`gmt_create` DATETIME(6),
`gmt_modified` DATETIME(6),
PRIMARY KEY (`branch_id`),
KEY `idx_xid` (`xid`)
) ENGINE = InnoDB
DEFAULT CHARSET = utf8mb4;
-- the table to store lock data
CREATE TABLE IF NOT EXISTS `lock_table`
(
`row_key` VARCHAR(128) NOT NULL,
`xid` VARCHAR(128),
`transaction_id` BIGINT,
`branch_id` BIGINT NOT NULL,
`resource_id` VARCHAR(256),
`table_name` VARCHAR(32),
`pk` VARCHAR(36),
`status` TINYINT NOT NULL DEFAULT '0' COMMENT '0:locked ,1:rollbacking',
`gmt_create` DATETIME,
`gmt_modified` DATETIME,
PRIMARY KEY (`row_key`),
KEY `idx_status` (`status`),
KEY `idx_branch_id` (`branch_id`),
KEY `idx_xid_and_branch_id` (`xid` , `branch_id`)
) ENGINE = InnoDB
DEFAULT CHARSET = utf8mb4;
CREATE TABLE IF NOT EXISTS `distributed_lock`
(
`lock_key` CHAR(20) NOT NULL,
`lock_value` VARCHAR(20) NOT NULL,
`expire` BIGINT,
primary key (`lock_key`)
) ENGINE = InnoDB
DEFAULT CHARSET = utf8mb4;
INSERT INTO `distributed_lock` (lock_key, lock_value, expire) VALUES ('AsyncCommitting', ' ', 0);
INSERT INTO `distributed_lock` (lock_key, lock_value, expire) VALUES ('RetryCommitting', ' ', 0);
INSERT INTO `distributed_lock` (lock_key, lock_value, expire) VALUES ('RetryRollbacking', ' ', 0);
INSERT INTO `distributed_lock` (lock_key, lock_value, expire) VALUES ('TxTimeoutCheck', ' ', 0);
Seata 配置
這裡採用 Nacos 作為配置中心的方式,所以需要把 Seata 的外接配置 放置在Nacos上
1. 獲取 Seata 外接配置
獲取Seata 配置線上地址:https://github.com/seata/seata/blob/1.5.2/script/config-center/config.txt
完整配置如下:
#For details about configuration items, see https://seata.io/zh-cn/docs/user/configurations.html
#Transport configuration, for client and server
transport.type=TCP
transport.server=NIO
transport.heartbeat=true
transport.enableTmClientBatchSendRequest=false
transport.enableRmClientBatchSendRequest=true
transport.enableTcServerBatchSendResponse=false
transport.rpcRmRequestTimeout=30000
transport.rpcTmRequestTimeout=30000
transport.rpcTcRequestTimeout=30000
transport.threadFactory.bossThreadPrefix=NettyBoss
transport.threadFactory.workerThreadPrefix=NettyServerNIOWorker
transport.threadFactory.serverExecutorThreadPrefix=NettyServerBizHandler
transport.threadFactory.shareBossWorker=false
transport.threadFactory.clientSelectorThreadPrefix=NettyClientSelector
transport.threadFactory.clientSelectorThreadSize=1
transport.threadFactory.clientWorkerThreadPrefix=NettyClientWorkerThread
transport.threadFactory.bossThreadSize=1
transport.threadFactory.workerThreadSize=default
transport.shutdown.wait=3
transport.serialization=seata
transport.compressor=none
#Transaction routing rules configuration, only for the client
service.vgroupMapping.default_tx_group=default
#If you use a registry, you can ignore it
service.default.grouplist=127.0.0.1:8091
service.enableDegrade=false
service.disableGlobalTransaction=false
#Transaction rule configuration, only for the client
client.rm.asyncCommitBufferLimit=10000
client.rm.lock.retryInterval=10
client.rm.lock.retryTimes=30
client.rm.lock.retryPolicyBranchRollbackOnConflict=true
client.rm.reportRetryCount=5
client.rm.tableMetaCheckEnable=true
client.rm.tableMetaCheckerInterval=60000
client.rm.sqlParserType=druid
client.rm.reportSuccessEnable=false
client.rm.sagaBranchRegisterEnable=false
client.rm.sagaJsonParser=fastjson
client.rm.tccActionInterceptorOrder=-2147482648
client.tm.commitRetryCount=5
client.tm.rollbackRetryCount=5
client.tm.defaultGlobalTransactionTimeout=60000
client.tm.degradeCheck=false
client.tm.degradeCheckAllowTimes=10
client.tm.degradeCheckPeriod=2000
client.tm.interceptorOrder=-2147482648
client.undo.dataValidation=true
client.undo.logSerialization=jackson
client.undo.onlyCareUpdateColumns=true
server.undo.logSaveDays=7
server.undo.logDeletePeriod=86400000
client.undo.logTable=undo_log
client.undo.compress.enable=true
client.undo.compress.type=zip
client.undo.compress.threshold=64k
#For TCC transaction mode
tcc.fence.logTableName=tcc_fence_log
tcc.fence.cleanPeriod=1h
#Log rule configuration, for client and server
log.exceptionRate=100
#Transaction storage configuration, only for the server. The file, DB, and redis configuration values are optional.
store.mode=file
store.lock.mode=file
store.session.mode=file
#Used for password encryption
store.publicKey=
#If `store.mode,store.lock.mode,store.session.mode` are not equal to `file`, you can remove the configuration block.
store.file.dir=file_store/data
store.file.maxBranchSessionSize=16384
store.file.maxGlobalSessionSize=512
store.file.fileWriteBufferCacheSize=16384
store.file.flushDiskMode=async
store.file.sessionReloadReadSize=100
#These configurations are required if the `store mode` is `db`. If `store.mode,store.lock.mode,store.session.mode` are not equal to `db`, you can remove the configuration block.
store.db.datasource=druid
store.db.dbType=mysql
store.db.driverClassName=com.mysql.jdbc.Driver
store.db.url=jdbc:mysql://127.0.0.1:3306/seata?useUnicode=true&rewriteBatchedStatements=true
store.db.user=username
store.db.password=password
store.db.minConn=5
store.db.maxConn=30
store.db.globalTable=global_table
store.db.branchTable=branch_table
store.db.distributedLockTable=distributed_lock
store.db.queryLimit=100
store.db.lockTable=lock_table
store.db.maxWait=5000
#These configurations are required if the `store mode` is `redis`. If `store.mode,store.lock.mode,store.session.mode` are not equal to `redis`, you can remove the configuration block.
store.redis.mode=single
store.redis.single.host=127.0.0.1
store.redis.single.port=6379
store.redis.sentinel.masterName=
store.redis.sentinel.sentinelHosts=
store.redis.maxConn=10
store.redis.minConn=1
store.redis.maxTotal=100
store.redis.database=0
store.redis.password=
store.redis.queryLimit=100
#Transaction rule configuration, only for the server
server.recovery.committingRetryPeriod=1000
server.recovery.asynCommittingRetryPeriod=1000
server.recovery.rollbackingRetryPeriod=1000
server.recovery.timeoutRetryPeriod=1000
server.maxCommitRetryTimeout=-1
server.maxRollbackRetryTimeout=-1
server.rollbackRetryTimeoutUnlockEnable=false
server.distributedLockExpireTime=10000
server.xaerNotaRetryTimeout=60000
server.session.branchAsyncQueueSize=5000
server.session.enableBranchAsyncRemove=false
server.enableParallelRequestHandle=false
#Metrics configuration, only for the server
metrics.enabled=false
metrics.registryType=compact
metrics.exporterList=prometheus
metrics.exporterPrometheusPort=9898
2. 匯入配置至 Nacos
在 Nacos 預設的 public 名稱空間下 ,新建配置 Data ID 為 seataServer.properties ,Group 為 SEATA_GROUP 的配置
3. 修改 Seata 外接配置
把預設 Seata 全量配置匯入 Nacos 之後,本篇這裡僅需修儲存模式為db以及對應的db連線配置
# 修改store.mode為db,配置資料庫連線
store.mode=db
store.db.dbType=mysql
store.db.driverClassName=com.mysql.cj.jdbc.Driver
store.db.url=jdbc:mysql://192.168.10.98:3306/seata?useUnicode=true&rewriteBatchedStatements=true
store.db.user=root
store.db.password=123456
- **store.mode=db **儲存模式選擇為資料庫
- 192.168.10.98 MySQL主機地址
- store.db.user=root 資料庫使用者名稱
- store.db.password=123456 資料庫密碼
Seata 部署
Seata 官方部署文件:https://seata.io/zh-cn/docs/ops/deploy-by-docker.html
1. 獲取應用配置
按照官方文件描述使用自定義配置檔案的部署方式,需要先建立臨時容器把配置copy到宿主機
建立臨時容器
docker run -d --name seata-server -p 8091:8091 -p 7091:7091 seataio/seata-server:1.5.2
建立掛載目錄
mkdir -p /mnt/seata/config
複製容器配置至宿主機
docker cp seata-server:/seata-server/resources/ /mnt/seata/config
注意複製到宿主機的目錄,下文啟動容器需要做宿主機和容器的目錄掛載
過河拆橋,刪除臨時容器
docker rm -f seata-server
2. 修改啟動配置
在獲取到 seata-server 的應用配置之後,因為這裡採用 Nacos 作為 seata 的配置中心和註冊中心,所以需要修改 application.yml 裡的配置中心和註冊中心地址,詳細配置我們可以從 application.example.yml 拿到。
application.yml 原配置
修改後的配置(參考 application.example.yml 示例檔案),以下是需要調整的部分,其他配置預設即可
seata:
config:
type: nacos
nacos:
server-addr: 192.168.10.99:8848
namespace:
group: SEATA_GROUP
data-id: seataServer.properties
registry:
type: nacos
preferred-networks: 30.240.*
nacos:
application: seata-server
server-addr: 192.168.10.99:8848
namespace:
group: SEATA_GROUP
cluster: default
# 儲存模式在外接配置(Nacos)中,Nacos 配置載入優先順序大於application.yml,會被application.yml覆蓋,所以此處註釋
#store:
#mode: file
- **192.168.10.99 ** 是Nacos宿主機的IP地址,Docker部署別錯填 localhost 或Docker容器的IP(172.17. * . *)
- namespace nacos名稱空間id,不填預設是public名稱空間
- data-id: seataServer.properties Seata外接檔案所處Naocs的Data ID,參考上小節的 匯入配置至 Nacos
- group: SEATA_GROUP 指定註冊至nacos註冊中心的分組名
- cluster: default 指定註冊至nacos註冊中心的叢集名
3. 啟動容器
docker run -d --name seata-server --restart=always \
-p 8091:8091 \
-p 7091:7091 \
-e SEATA_IP=192.168.10.100 \
-v /mnt/seata/config:/seata-server/resources \
seataio/seata-server:1.5.2
-
/mnt/seata/config Seata應用配置掛載在宿主機的目錄
-
192.168.10.100 Seata 宿主機IP地址
在 nacos 控制檯 的 public 名稱空間下服務列表裡有 seata-server 說明部署啟動成功
如果啟動失敗或者未註冊到 nacos , 基本是粗心的結果,請仔細檢查下自己 application.yml 的註冊中心配置或檢視日誌
docker logs -f --tail=100 seata-server
以上就完成對 Seata 服務端的部署和配置,接下來就是 SpringBoot 與 Seata 客戶端的整合。
四. Seata 客戶端搭建
1. Maven 依賴
<dependency>
<groupId>com.alibaba.cloud</groupId>
<artifactId>spring-cloud-starter-alibaba-seata</artifactId>
<!-- 預設seata客戶端版本比較低,排除後重新引入指定版本-->
<exclusions>
<exclusion>
<groupId>io.seata</groupId>
<artifactId>seata-spring-boot-starter</artifactId>
</exclusion>
</exclusions>
</dependency>
<dependency>
<groupId>io.seata</groupId>
<artifactId>seata-spring-boot-starter</artifactId>
<version>1.5.2</version>
</dependency>
2. undo_log 表
undo_log表指令碼: https://github.com/seata/seata/blob/1.5.2/script/client/at/db/mysql.sql
-- for AT mode you must to init this sql for you business database. the seata server not need it.
CREATE TABLE IF NOT EXISTS `undo_log`
(
`branch_id` BIGINT NOT NULL COMMENT 'branch transaction id',
`xid` VARCHAR(128) NOT NULL COMMENT 'global transaction id',
`context` VARCHAR(128) NOT NULL COMMENT 'undo_log context,such as serialization',
`rollback_info` LONGBLOB NOT NULL COMMENT 'rollback info',
`log_status` INT(11) NOT NULL COMMENT '0:normal status,1:defense status',
`log_created` DATETIME(6) NOT NULL COMMENT 'create datetime',
`log_modified` DATETIME(6) NOT NULL COMMENT 'modify datetime',
UNIQUE KEY `ux_undo_log` (`xid`, `branch_id`)
) ENGINE = InnoDB
AUTO_INCREMENT = 1
DEFAULT CHARSET = utf8mb4 COMMENT ='AT transaction mode undo table';
AT模式兩階段提交協議的演變:
- 一階段:業務資料和回滾日誌記錄在同一個本地事務中提交,釋放本地鎖和連線資源。
- 二階段:
- 提交非同步化,非常快速地完成。
- 回滾透過一階段的回滾日誌進行反向補償。
Seata的AT模式下之所以在第一階段直接提交事務,依賴的是需要在每個RM建立一張undo_log表,記錄業務執行前後的資料快照。
如果二階段需要回滾,直接根據undo_log表回滾,如果執行成功,則在第二階段刪除對應的快照資料。
3. 客戶端配置
# Seata配置
seata:
enabled: true
# 指定事務分組至叢集對映關係,叢集名default需要與seata-server註冊到Nacos的cluster保持一致
service:
vgroup-mapping:
mall_tx_group: default
# 事務分組配置
tx-service-group: mall_tx_group
registry:
type: nacos
nacos:
application: seata-server
# nacos 服務地址
server-addr: 192.168.10.99:8848
namespace:
group: SEATA_GROUP
以上3點就是 Seata 客戶端需要做的事項,下面就 Seata 如何實戰應用進行展開詳細說明。
五. Seata 實戰
Seata 官網示例: http://seata.io/zh-cn/docs/user/quickstart.html
需求
使用者購買商品訂單支付的業務邏輯。整個業務邏輯由3個微服務提供支援:
- 商品服務:扣減商品庫存。
- 訂單服務:修改訂單狀態【已支付】。
- 會員服務:扣減賬戶餘額。
架構圖
- TM:事務管理器(有來實驗室:laboratory)
- RM:資源管理器(商城服務:mall-pms;會員服務:mall-ums;訂單服務:mall-oms)
- TC :事務協調者(Seata服務端:seata-server)
程式碼實現
有來實驗室
實驗室在“訂單支付”案例中扮演的是【事務管理器】的角色,其工作內容是開始全域性事務、提交或回滾全域性事務。
按照 【第三節-Seata客戶端搭建 】 在 laboratory 模組新增 Maven 依賴和客戶端的配置。
訂單支付關鍵程式碼片段(SeataServiceImpl#payOrderWithGlobalTx),透過註解 GlobalTransactional 開啟全域性事務,透過對商品 Feign 客戶端和訂單 Feign 客戶端的呼叫完成訂單支付的流程,這是全域性事務開始的地方。
/**
* 訂單支付(全域性事務)
*/
@GlobalTransactional
public boolean payOrderWithGlobalTx(SeataForm seataForm) {
log.info("========扣減商品庫存========");
skuFeignClient.deductStock(skuId, 1);
log.info("========訂單支付========");
orderFeignClient.payOrder(orderId, ...);
return true;
}
商品服務
按照 【第三節-Seata客戶端搭建 】 在 mall-pms 模組新增 Maven 依賴和客戶端的配置,在 mall-pms 資料庫建立 undo_log 表。
扣減庫存關鍵程式碼:
/**
* 「實驗室」扣減商品庫存
*/
public boolean deductStock(Long skuId, Integer num) {
boolean result = this.update(new LambdaUpdateWrapper<PmsSku>()
.setSql("stock_num = stock_num - " + num)
.eq(PmsSku::getId, skuId)
);
return result;
}
訂單服務
按照 【第三節-Seata客戶端搭建 】 在 mall-oms 模組新增 Maven 依賴和客戶端的配置,在 mall-oms 資料庫建立 undo_log 表。
訂單支付關鍵程式碼:
/**
* 「實驗室」訂單支付
*/
public Boolean payOrder(Long orderId, SeataOrderDTO orderDTO) {
Long memberId = orderDTO.getMemberId();
Long amount = orderDTO.getAmount();
// 扣減賬戶餘額
memberFeignClient.deductBalance(memberId, amount);
// 【關鍵】如果開啟異常,全域性事務將會回滾
Boolean openEx = orderDTO.getOpenEx();
if (openEx) {
int i = 1 / 0;
}
// 修改訂單【已支付】
boolean result = this.update(new LambdaUpdateWrapper<OmsOrder>()
.eq(OmsOrder::getId, orderId)
.set(OmsOrder::getStatus, OrderStatusEnum.WAIT_SHIPPING.getValue())
);
return result;
}
會員服務
按照 【第三節-Seata客戶端搭建 】 在 mall-ums 模組新增 Maven 依賴和客戶端的配置,在 mall-ums 資料庫建立 undo_log 表。
扣減餘額關鍵程式碼:
@ApiOperation(value = "「實驗室」扣減會員餘額")
@PutMapping("/{memberId}/balances/_deduct")
public Result deductBalance(@PathVariable Long memberId, @RequestParam Long amount) {
boolean result = memberService.update(new LambdaUpdateWrapper<UmsMember>()
.setSql("balance = balance - " + amount)
.eq(UmsMember::getId, memberId));
return Result.judge(result);
}
測試
以上就基於 youlai-mall 商城訂單支付的業務簡單實現的 Seata 實驗室,接下來透過測試來看看 Seata 分散式事務的能力。
未開啟事務
未開啟事務前提: 訂單狀態因為異常修改失敗,但這並未影響到商品庫存扣減和餘額扣減成功的結果,明顯這不是希望的結果。
開啟事務
開啟事務前提:訂單狀態修改發生異常,同時也回滾了扣減庫存、扣減餘額的行為,可見 Seata 分散式事務生效。
六. Seata 原始碼
因為 Seata 原始碼牽涉角色比較多,需要在本地搭建 seata-server 然後和 Seata 客戶端互動除錯,後面整理出來會單獨拿一篇文章進行進行具體分析。
七. 結語
本篇透過 Seata 1.5.2 版本部署到實戰講述了 Seata 分散式事務AT模式在商城訂單支付業務場景的應用,相信大家對 Seata 和有來實驗室有個初步的認知,但這裡還只是一個開始,後續會有更多的熱門中介軟體登上實驗室舞臺。當然,可見這個舞臺很大,所以也希望有興趣或者有想法同學加入有來實驗室的開發。
附. 原始碼
本文原始碼已推送至gitee和github倉庫
gitee | github | |
---|---|---|
後端工程 | https://gitee.com/youlaitech/youlai-mall | https://github.com/youlaitech/youlai-mall |
前端工程 | https://gitee.com/youlaiorg/mall-admin | https://github.com/youlaitech/mall-admin |