使用強大的DBPack處理分散式事務（PHP使用教程）

Scott Lewis發表於2022-07-01

主流的分散式事務的處理方案

近些年，隨著微服務的廣泛使用，業務對系統的分散式事務處理能力的要求越來越高。

早期的基於XA協議的二階段提交方案，將分散式事務的處理放在資料庫驅動層，實現了對業務的無侵入，但是對資料的鎖定時間很長，效能較低。

現在主流的TCC事務方案和SAGA事務方案，都是基於業務補償機制，雖然沒有全域性鎖，效能很高，但是一定程度上入侵了業務邏輯，增加了業務開發人員的開發時間和系統維護成本。

新興的AT事務解決方案，例如Seata和Seata-golang，通過資料來源代理層的資源管理器RM記錄SQL回滾日誌，跟隨本地事務一起提交，大幅減少了資料的鎖定時間，效能好且對業務幾乎沒有侵入。其缺點是支援的語言比較單一，例如Seata只支援Java語言型別的微服務，Seata-golang只支援Go語言型別的微服務。

為了突破AT事務對業務程式語言的限制，現在業界正在往DB Mesh的方向發展，通過將事務中介軟體部署在SideCar的方式，達到任何程式語言都能使用分散式事務中介軟體的效果。

DBPack是一個處理分散式事務的資料庫代理，其能夠攔截MySQL流量，生成對應的事務回滾映象，通過與ETCD協調完成分散式事務，效能很高，且對業務沒有入侵，能夠自動補償SQL操作，支援接入任何程式語言。DBPack還支援TCC事務模式，能夠自動補償HTTP請求。目前其demo已經有Java、Go、Python和PHP，TCC的sample也已經在路上了，demo示例可以關注dbpack-samples。

最新版DBPack不僅支援預處理的sql語句，還支援text型別的sql。DBPack最新版還相容了php8的pdo_mysql擴充套件。Mysql 客戶端在給使用者傳送 sql 執行結果時，如果執行沒有異常，傳送的第一個包為 OKPacket，該包中有一個標誌位可以標識 sql 請求是否在一個事務中。如下圖所示

這個包的內容為：

07 00 00 // 前 3 個位元組表示 payload 的長度為 7 個位元組
01 // sequence 響應的序號，前 4 個位元組一起構成了 OKPacket 的 header
00 // 標識 payload 為 OKPacket
00 // affected row
00 // last insert id
03 00 // 狀態標誌位
00 00 // warning 數量

dbpack 之前的版本將標誌位設定為 0，java、golang、.net core、php 8.0 之前的 mysql driver 都能正確協調事務，php 8.0 的 pdo driver 會對標誌位進行校驗，所以 php 8.0 以上版本在使用 dbpack 協調分散式事務時，會丟擲 transaction not active 異常。最新版本已經修復了這個問題。

下圖是具體的DBPack事務流程圖。

其事務流程簡要描述如下：

客戶端向聚合層服務的DBPack代理髮起HTTP請求。
DBPack生成全域性唯一的XID，儲存到ETCD中。注意請求的地址和埠指向DBPack，並不直接指向實際API。
如果開啟全域性事務成功（如果失敗則直接結束事務），聚合層服務就可以通過HTTP header（X-Dbpack-Xid）拿到XID了。此時，聚合服務呼叫服務1並傳遞XID。
服務1拿到XID，通過DBPack代理，註冊分支事務（生成BranchID等資訊，並儲存到ETCD）。
服務1的分支事務註冊成功後，生成本地事務的回滾映象，隨著本地事務一起commit。
服務2進行與服務1相同的步驟4和5。
聚合層服務根據服務1和服務2的結果，決議是全域性事務提交還是回滾，如果是成功，則返回HTTP 200給DBPack（除200以外的狀態碼都會被DBPack認為是失敗）。DBPack更新ETCD中的全域性事務狀態為全域性提交中或回滾中。
服務1和服務2的DBPack，通過ETCD的watch機制，得知本地的分支事務是該提交還是回滾（如果是提交，則刪除回滾日誌；如果是回滾，則執行通過回滾日誌回滾到事務前映象）。
所有的分支事務提交或回滾完成後，聚合層服務的DBPack的協程會檢測到事務已經完成，將從ETCD刪除XID和BranchID等事務資訊。

本文將以PHP語言為例，詳細介紹如何使用PHP對接DBPack完成分散式事務。實際使用其他語言時，對接過程也是類似的。

使用PHP對接DBPack實現分散式事務

前置條件

業務資料庫為mysql資料庫
業務資料表為innodb型別
業務資料表必須有主鍵

Step0: 安裝ETCD

ETCD_VER=v3.5.3

# choose either URL
GOOGLE_URL=https://storage.googleapis.com/etcd
GITHUB_URL=https://github.com/etcd-io/etcd/releases/download
DOWNLOAD_URL=${GOOGLE_URL}

rm -f /tmp/etcd-${ETCD_VER}-linux-amd64.tar.gz
rm -rf /tmp/etcd-download-test && mkdir -p /tmp/etcd-download-test

curl -L ${DOWNLOAD_URL}/${ETCD_VER}/etcd-${ETCD_VER}-linux-amd64.tar.gz -o /tmp/etcd-${ETCD_VER}-linux-amd64.tar.gz
tar xzvf /tmp/etcd-${ETCD_VER}-linux-amd64.tar.gz -C /tmp/etcd-download-test --strip-components=1
rm -f /tmp/etcd-${ETCD_VER}-linux-amd64.tar.gz

/tmp/etcd-download-test/etcd --version
/tmp/etcd-download-test/etcdctl version
/tmp/etcd-download-test/etcdutl version

Step1: 在業務資料庫中建立undo_log表

undo_log表用於儲存本地事務的回滾映象。

-- ----------------------------
-- Table structure for undo_log
-- ----------------------------
DROP TABLE IF EXISTS `undo_log`;
CREATE TABLE `undo_log` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT,
  `branch_id` bigint(20) NOT NULL,
  `xid` varchar(100) NOT NULL,
  `context` varchar(128) NOT NULL,
  `rollback_info` longblob NOT NULL,
  `log_status` int(11) NOT NULL,
  `log_created` datetime NOT NULL,
  `log_modified` datetime NOT NULL,
  `ext` varchar(100) DEFAULT NULL,
  PRIMARY KEY (`id`),
  KEY `idx_unionkey` (`xid`,`branch_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

Step2: 編寫配置檔案，對接DBPack

aggregation-service指的是微服務的聚合層，負責呼叫各業務介面。business-service指的是具體的業務介面。
完整的aggregation-service配置可以參考sample裡的config-aggregation配置。
完整的business-service配置可以參考sample裡的config-order配置

# 更新distributed_transaction.etcd_config.endpoints
# 更新listeners配置項，調整為實際聚合層服務的地址和埠
# 更新filters配置項，配置聚合層服務的API endpoint
vim /path/to/your/aggregation-service/config-aggregation.yaml

# 更新distributed_transaction.etcd_config.endpoints
# 更新listeners配置項，配置業務資料庫資訊，包括dbpack代理的埠
# 更新data_source_cluster.dsn
vim /path/to/your/business-service/config-service.yaml

Step3: 執行DBPack

git clone git@github.com:cectc/dbpack.git

cd dbpack
# build on local env
make build-local
# build on production env
make build

./dist/dbpack start --config /path/to/your/config-aggregation.yaml

./dist/dbpack start --config /path/to/your/config-service.yaml

Step4: 配置vhost，監聽php專案埠

以Nginx為例，配置如下

server {
    listen 3001; # 暴露的服務埠
    index index.php index.html;
    root /var/www/code/; # 業務程式碼根目錄

    location / {
        try_files $uri /index.php?$args;
    }

    location ~ \.php$ {
        fastcgi_split_path_info ^(.+\.php)(/.+)$;
        fastcgi_pass order-svc-app:9000; # php-fpm 埠
        fastcgi_index index.php;
        include fastcgi_params;
        fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
        fastcgi_param PATH_INFO $fastcgi_path_info;
    }
}

Step5: 編寫應用程式

aggregation service example

<?php

class AggregationSvc
{

    public function CreateSo(string $xid, bool $rollback): bool
    {
        $createSoSuccess = $this->createSoRequest($xid);
        if (!$createSoSuccess) {
            return false;
        }
        $allocateInventorySuccess = $this->allocateInventoryRequest($xid);
        if (!$allocateInventorySuccess) {
            return false;
        }
        if ($rollback) {
            return false;
        }
        return true;
    }

    // private function createSoRequest(string $xid) ...
    // private function allocateInventoryRequest(string $xid) ...
}

$reqPath = strtok($_SERVER["REQUEST_URI"], '?');
$reaHeaders = getallheaders();

$xid = $reaHeaders['X-Dbpack-Xid'] ?? '';

if (empty($xid)) {
    die('xid is not provided!');
}

$aggregationSvc = new AggregationSvc();

if ($_SERVER['REQUEST_METHOD'] === 'POST') {
    switch ($reqPath) {
        case '/v1/order/create':
            if ($aggregationSvc->CreateOrder($xid, false)) {
                responseOK();
            } else {
                responseError();
            }
        case '/v1/order/create2':
            if ($aggregationSvc->CreateSo($xid, true)) {
                responseOK();
            } else {
                responseError();
            }
            break;
        default:
            die('api not found');
    }
}

function responseOK() {
    http_response_code(200);
    echo json_encode([
        'success' => true,
        'message' => 'success',
    ]);
}

function responseError() {
    http_response_code(400);
    echo json_encode([
        'success' => false,
        'message' => 'fail',
    ]);
}

order service example

<?php

class OrderDB
{
    private PDO $_connection;
    private static OrderDB $_instance;
    private string $_host = 'dbpack-order';
    private int $_port = 13308;
    private string $_username = 'dksl';
    private string $_password = '123456';
    private string $_database = 'order';

    const insertSoMaster = "INSERT /*+ XID('%s') */ INTO order.so_master (sysno, so_id, buyer_user_sysno, seller_company_code, 
		receive_division_sysno, receive_address, receive_zip, receive_contact, receive_contact_phone, stock_sysno, 
        payment_type, so_amt, status, order_date, appid, memo) VALUES (?,?,?,?,?,?,?,?,?,?,?,?,?,now(),?,?)";

    const insertSoItem = "INSERT /*+ XID('%s') */ INTO order.so_item(sysno, so_sysno, product_sysno, product_name, cost_price, 
		original_price, deal_price, quantity) VALUES (?,?,?,?,?,?,?,?)";

    public static function getInstance(): OrderDB
    {
        if (empty(self::$_instance)) {
            self::$_instance = new self();
        }
        return self::$_instance;
    }

    private function __construct()
    {
        try {
            $this->_connection = new PDO(
                "mysql:host=$this->_host;port=$this->_port;dbname=$this->_database;charset=utf8",
                $this->_username,
                $this->_password,
                [
                    PDO::ATTR_PERSISTENT => true,
                    PDO::ATTR_EMULATE_PREPARES => false, // to let DBPack handle prepread sql
                ]
            );
        } catch (PDOException $e) {
            die($e->getMessage());
        }
    }

    private function __clone()
    {
    }

    public function getConnection(): PDO
    {
        return $this->_connection;
    }

    public function createSo(string $xid, array $soMasters): bool
    {
        $this->getConnection()->setAttribute(PDO::ATTR_ERRMODE, PDO::ERRMODE_EXCEPTION);
        try {
            $this->getConnection()->beginTransaction();
            foreach ($soMasters as $master) {
                if (!$this->insertSo($xid, $master)) {
                    throw new PDOException("failed to insert soMaster");
                }
            }
            $this->getConnection()->commit();
        } catch (PDOException $e) {
            $this->getConnection()->rollBack();
            return false;
        }
        return true;
    }

    private function insertSo(string $xid, array $soMaster): bool
    {
        // insert into so_master, so_item ...
    }
}

$reqPath = strtok($_SERVER["REQUEST_URI"], '?');
$reqHeaders = getallheaders();

$xid = $reqHeaders['Xid'] ?? '';

if (empty($xid)) {
    die('xid is not provided!');
}

if ($_SERVER['REQUEST_METHOD'] === 'POST') {
    if ($reqPath === '/createSo') {
        $reqBody = file_get_contents('php://input');
        $soMasters = json_decode($reqBody, true);

        $orderDB = OrderDB::getInstance();
        $result = $orderDB->createSo($xid, $soMasters);

        if ($result) {
            responseOK();
        } else {
            responseError();
        }
    }
}

function responseOK() {
    http_response_code(200);
    echo json_encode([
        'success' => true,
        'message' => 'success',
    ]);
}

function responseError() {
    http_response_code(400);
    echo json_encode([
        'success' => false,
        'message' => 'fail',
    ]);
}

Step6: 訪問聚合層業務介面

curl -X{HTTP Method} http://localhost:{DBPack監聽的聚合層服務埠}/{聚合層服務的API endpoint}

注意的點

無論是使用mysqli驅動、pdo_mysql驅動，還是通過mysql_connect()連線資料庫(<=php5.4)，在start transaction;開始之後，後續的業務操作必須在同一個資料庫連線上進行。
DBPack通過xid（全域性事務唯一ID）在事務上下文中傳播，業務資料庫執行的業務SQL語句中，需要加入xid註釋，這樣DBPack才能根據xid處理對應的事務。例如insert /*+ XID('%s') */ into xx ...;

參考連結

dbpack: https://github.com/CECTC/dbpack
dbpack-samples: https://github.com/CECTC/dbpack-samples
dbpack-doc: https://github.com/CECTC/dbpack-doc
Seata-gplang: https://github.com/opentrx/seata-golang
Seata: https://github.com/seata/seata
AT事務模型設計：https://seata.io/zh-cn/blog/seata-at-mode-design.html

作者簡介

卜賀賀。就職於日本楽天Rakuten CNTD，任Application Engineer，熟悉AT事務、Seata-golang和DBPack。GitHub：https://github.com/bohehe

分散式事務處理方案，微服事務處理方案
2019-05-04
分散式
Laravel 分散式事務處理
2018-11-11
Laravel分散式
分散式事務故障處理
2012-09-10
分散式
DBPack 賦能 python 微服務協調分散式事務
2022-06-24
Python微服務分散式
CECTC/dbpack: 用Golang編寫的分散式事務中介軟體
2022-07-05
Golang分散式
阿里是如何處理分散式事務的
2019-05-20
阿里分散式
springcloud分散式事務處理 LCN
2019-02-28
SpringGCCloud分散式
Oracle分散式事務典型案例處理
2022-10-27
Oracle分散式
SQL Server分散式事務處理(MS DTC)
2014-02-12
SQLServer分散式
請教分散式事務的具體處理：急！！！！
2004-08-08
分散式
PHP 微服務之【分散式事務】
2019-05-18
PHP微服務分散式
PHP 微服務之 [分散式事務]
2019-05-18
PHP微服務分散式
php事務處理方法
2016-06-17
PHP
ORACLE懸疑分散式事務問題處理
2020-03-23
Oracle分散式
SpringCloud Alibaba Seata處理分散式事務
2021-11-12
SpringGCCloud分散式
SQL Server分散式事務處理(MS DTC)-續
2014-02-14
SQLServer分散式
事務使用中如何避免誤用分散式事務
2021-09-09
分散式
分散式系列七: 分散式事務理論
2019-04-03
分散式
分散式事務 | 使用DTM 的Saga 模式
2023-02-08
分散式模式
使用JOTM實現分散式事務的例子
2009-04-15
分散式
分散式事務保姆級教程
2023-09-27
分散式
搞懂分散式技術19：使用RocketMQ事務訊息解決分散式事務
2019-11-20
分散式MQ
.NET開源的處理分散式事務的解決方案
2023-11-30
分散式
分散式事務（一）—分散式事務的概念
2021-10-19
分散式
lms框架分散式事務使用簡介
2021-04-13
框架分散式
TX-LCN分散式事務使用方案
2020-11-13
分散式
TCC和兩階段分散式事務處理的區別
2020-04-05
分散式
有關分散式資料庫事務處理的問題
2003-12-05
分散式資料庫
分散式事務(2)---強一致性分散式事務解決方案
2021-12-02
分散式
分散式事務(2）---TCC理論
2019-07-11
分散式
分散式事務，強一致性方案有哪些？｜分散式事務系列（二）
2023-03-28
分散式
Feacar分散式事務框架簡單使用
2019-03-16
分散式框架
分散式事務對於兩階段提交的錯誤處理
2022-01-17
分散式
dx幫忙::跨異構平臺的分散式事務處理.
2003-06-07
分散式
PHP 微服務之 [分散式事務] 閱讀提示
2019-05-24
PHP微服務分散式
PHP 微服務之【分散式事務】閱讀提示
2019-05-24
PHP微服務分散式
一次ORACLE分散式事務鎖異常處理分析
2022-04-15
Oracle分散式
分散式事務處理兩階段提交機制和原理
2022-01-17
分散式