【工作篇】介面冪等問題探究

【工作篇】介面冪等問題探究

前言

最近遇到一些問題，表單重複提交，導致插入重複資料到資料庫，這裡查詢一些通用的方案，自己都實踐一下，以後好回顧。

實踐程式碼專案 Github： https://github.com/h-dj/Spring-Learning/tree/master/repeat-submit

一、什麼是介面冪等性？

冪等含義

冪等（idempotent、idempotence）是一個數學與計算機學概念，常見於抽象代數中。

在程式設計中一個冪等操作的特點是其任意多次執行所產生的影響均與一次執行的影響相同。冪等函式，或冪等方法，是指可以使用相同引數重複執行，並能獲得相同結果的函式。這些函式不會影響系統狀態，也不用擔心重複執行會對系統造成改變。--- 百科

簡單理解：就是針對一個操作，不管做多少次，產生的效果都是一樣的。

舉例：

• 前端對同一表單資料的重複提交，後臺應該只會產生一條記錄
• 我們發起一筆付款請求，應該只扣使用者賬戶一次錢，當遇到網路重發或系統 bug 重發，也應該只扣一次錢
• 傳送訊息，也應該只發一次，同樣的簡訊如果多次發給使用者，使用者會崩潰
• 建立業務訂單，一次業務請求只能建立一個，不能出現建立多個訂單

二、那些情況下會需要介面冪等性?

對於業務中需要考慮冪等性的地方一般都是介面的重複請求，重複請求是指同一個請求因為某些原因被多次提交。導致這個情況會有以下幾種場景：

• 前端重複提交：提交訂單，使用者快速重複點選多次，造成後端生成多個內容重複的訂單。
• 介面超時重試：對於給第三方呼叫的介面，為了防止網路抖動或其他原因造成請求丟失，這樣的介面一般都會設計成超時重試多次。
• 訊息重複消費：MQ 訊息中介軟體，訊息重複消費。

三、介面冪等性解決方案

3.1、一般解決方案瞭解

前端方面：

• 控制操作次數，例如：提交按鈕僅可操作一次（提交動作後按鈕置灰）
• 及時重定向，例如：下單/支付成功後跳轉到成功提示頁面，這樣消除了瀏覽器前進或後退造成的重複提交問題。

後臺方面：

• 資料庫去重表(唯一索引)：

  • 利用資料庫的唯一索引特性，保證唯一的邏輯
  • 使用唯一索引，可以是在原來的業務表新增唯一索引，也可以新建一個特定的去重表

• 使用分散式鎖：

  • 藉助中介軟體：Redis 、Zookeeper
  • 注意要保證中介軟體的高可用

• Token 機制：

  • 進入頁面時先申請 Token，提交表單時再使用 Token 請求，後臺根據 Token 判斷是否重複請求
  • 前端申請 Token 和 攜帶 Token 的行為需要進行封裝，不然每個頁面都需要手動，比較繁瑣，後臺的話可以使用 註解+ AOP 統一攔截

• 分散式專案，依然需要藉助中介軟體：Redis

注意：

• 一般推薦前端後臺一起組合介面冪等方案，這樣比較安全高效。

以下準備使用加入購物車為例，實現各個方案

3.2、資料庫去重表(唯一索引)

• 操作步驟

  • 1、通過請求的業務引數，組成唯一 ID
  • 2、通過 ID 查詢去重表中是否存在記錄，存在則丟擲 重複請求異常（是否丟擲異常，根據具體業務決定）
  • 3、否則，向去重表插入記錄，如果插入異常，說明有多個請求同時執行，丟擲重複請求異常
  • 4、去重表插入記錄成功後，執行加入購物車操作
  • 5、執行加入購物車操作成功後，刪除去重表記錄
  • 注意： 去重表操作 和 業務處理要在同一個事物中，方式業務處理失敗後，沒有回滾去重表記錄，導致商品加入購物車後，不能在增加數量

• 建立表

DROP TABLE IF EXISTS `cart`;
CREATE TABLE `cart` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT,
  `product_id` bigint(20) DEFAULT NULL,
  `product_name` varchar(500) DEFAULT NULL COMMENT '商品名稱',
  `product_sku_id` bigint(20) DEFAULT NULL,
  `member_id` bigint(20) DEFAULT NULL,
  `quantity` int(11) DEFAULT NULL COMMENT '購買數量',
  `price` decimal(10,2) DEFAULT NULL COMMENT '新增到購物車的價格',
  PRIMARY KEY (`id`)
)
ENGINE=InnoDB
DEFAULT CHARSET=utf8mb4
COLLATE=utf8mb4_0900_ai_ci
COMMENT='購物車表';

DROP TABLE IF EXISTS `deduplicate`;
CREATE TABLE `deduplicate` (
	id BIGINT(20) auto_increment NOT NULL,
	unique_id varchar(100) NULL COMMENT '唯一ID',
	CONSTRAINT deduplicate_PK PRIMARY KEY (id),
	CONSTRAINT deduplicate_UN UNIQUE KEY (unique_id)  -- 唯一索引
)
ENGINE=InnoDB
DEFAULT CHARSET=utf8mb4
COLLATE=utf8mb4_0900_ai_ci
COMMENT='去重表';

• 新增到購物車邏輯

@RestController
@RequestMapping("/cart")
public class CartController {
    @Autowired
    private ICartService iCartService;

    @ApiRepeatUniqueIdSubmit(keyExpression = "@cartController.getUserId()+'_'+#cartPO.getProductId() +'_'+#cartPO.getProductSkuId()")
    @PostMapping(value = "/add")
    public String add(@RequestBody CartPO cartPO) throws InterruptedException {
        cartPO.setMemberId(getUserId());
        iCartService.addCart(cartPO);
        return "ok";
    }
    /**
     * 獲取當前登入使用者ID
     *
     * @return
     */
    public Long getUserId() {
        return 1001L;
    }
}

@Transactional(rollbackFor = Exception.class)
@Override
public void addCart(CartPO cartPO) throws InterruptedException {

    LambdaQueryWrapper<CartPO> queryWrapper = Wrappers.<CartPO>lambdaQuery()
        .eq(CartPO::getMemberId, cartPO.getMemberId())
        .eq(CartPO::getProductId, cartPO.getProductId())
        .eq(CartPO::getProductSkuId, cartPO.getProductSkuId());
    //查詢商品，已新增到購物車的，就增加數量即可(業務邏輯冪等)
    //因為 select 和 save 操作不是序列執行的，可能有兩個執行緒同時查詢到商品沒有新增到購物車
    //然後同一個商品被兩個執行緒分別入庫了，導致購物車出現相同商品的兩條記錄
    List<CartPO> list = this.list(queryWrapper);
    //模擬耗時
    TimeUnit.SECONDS.sleep(1);
    if (list == null || list.isEmpty()) {
        //新增到購物車
        this.save(cartPO);
    } else {
        CartPO updateCartPO = list.get(0);
        //數量加一
        LambdaUpdateWrapper<CartPO> updateWrapper = Wrappers.<CartPO>lambdaUpdate()
            .eq(CartPO::getId, updateCartPO.getId())
            .setSql("quantity = quantity + 1");

        this.update(updateWrapper);
    }
}

• 編寫 AOP 攔截處理

@Target(ElementType.METHOD)
@Retention(RetentionPolicy.RUNTIME)
@Documented
@Inherited
public @interface ApiRepeatUniqueIdSubmit {

    /**
     * 唯一key，支援Spring EL 表示式
     *
     * @return
     * @ 符號引用 Spring 註冊的bean
     * # 符合引用方法上的引數
     * param?.id  其中? 是避免param為空時，發生空指標異常
     * @see <a>https://docs.spring.io/spring-framework/docs/3.0.x/reference/expressions.html</a>
     */
    String keyExpression();
}

@Component
@Aspect
public class ApiRepeatSubmitUniqueIdAspect {

    @Autowired
    private ApplicationContext applicationContext;

    @Autowired
    private IDeduplicateService iDeduplicateService;

    @Pointcut("@annotation(cn.hdj.repeatsubmit.aspect.ApiRepeatUniqueIdSubmit)")
    public void pointCut() {
    }
    @Transactional(rollbackFor = Exception.class)
    @Around("pointCut()")
    public Object around(ProceedingJoinPoint joinPoint) throws Throwable {

        Signature signature = joinPoint.getSignature();
        MethodSignature msig = (MethodSignature) signature;
        Method targetMethod = msig.getMethod();
        ApiRepeatUniqueIdSubmit apiRepeatSubmit = targetMethod.getAnnotation(ApiRepeatUniqueIdSubmit.class);
        String keyExpression = apiRepeatSubmit.keyExpression();

        Map<String, Object> argMap = SpringElUtil.getArgMap(joinPoint);
        //獲取業務引數，組成唯一ID
        String uniqueId = SpringElUtil.<String>createElBuilder()
                .setArgMap(argMap)
                .setBeanFactory(applicationContext)
                .setTarget(String.class)
                .setKeyExpression(keyExpression)
                .build();

        LambdaQueryWrapper<DeduplicatePO> queryWrapper = Wrappers.<DeduplicatePO>lambdaQuery()
                .eq(DeduplicatePO::getUniqueId, uniqueId);

        long count = this.iDeduplicateService.count(queryWrapper);
        if (count > 0) {
            throw new DuplicateKeyException("不要重複提交!");
        }

        //插入去重表
        DeduplicatePO deduplicatePO = new DeduplicatePO();
        deduplicatePO.setUniqueId(uniqueId);
        try {
            this.iDeduplicateService.save(deduplicatePO);
        } catch (Exception e) {
            throw new DuplicateKeyException("不要重複提交!");
        }

        Object proceed = joinPoint.proceed();

        //執行完刪除
        this.iDeduplicateService.removeById(deduplicatePO);

        return proceed;
    }
}

3.3、分散式鎖

分散式鎖可以使用 Redis 和 Zookeeper ，更多關於 Redis 和 Zookeeper 的使用 請自行查閱資料。以下使用 Redis 來實現分散式鎖

• 引入依賴

<dependency>
    <groupId>org.redisson</groupId>
    <artifactId>redisson-spring-boot-starter</artifactId>
    <version>3.16.6</version>
</dependency>

• 配置

spring:
  redis:
    # https://github.com/redisson/redisson/wiki/2.-Configuration
    database: '0'
    host: '127.0.0.1'
    port: '6379'
    #password: '123456'
#    ssl:
#    timeout:
#    cluster:
#      nodes:
#    sentinel:
#      master:
#      nodes:

• 在 AOP 獲取鎖的邏輯

//建立鎖
RLock lock = this.redissonClient.getLock(LOCK_PREFIX + uniqueId);

//判斷是否被搶佔了鎖
if (lock.isLocked()) {
    throw new DuplicateKeyException("不要重複提交!");
}

//嘗試獲取鎖， 預設30秒會超時過期， 並啟動執行緒監聽，自動續簽
//當客戶端異常，終止了續簽執行緒，超時後會刪除鎖，避免發生死鎖
//如果自己手動設定了超時過期時間，則不會啟動執行緒監聽，自動續簽
if (lock.tryLock()) {
    try {
        return joinPoint.proceed();
    } finally {
        //釋放鎖
        lock.unlock();
    }
}
throw new DuplicateKeyException("不要重複提交!");

3.4、使用 Token 機制

• 操作步驟

  • 1、在訪問頁面時，先獲取 Token ，保持到指定的地方
  • 2、在點選加入購物車時，把 Token 放到 Header 或請求引數中，帶給後臺
  • 3、後臺驗證 Token 並刪除，表示該 Token 已使用
  • 4、執行加入購物車邏輯
  • 5、成功響應前端（看業務需求，是否需要重新獲取 Token）

• 建立 Token 生成和驗證服務

@Service
public class TokenServiceImpl implements TokenService {

    public static final String TOKEN_PREFIX = "token_idempotent";
    public static final String TOKEN_HEADER_NAME = "x-token";
    public static final Long TOKEN_EXPIRE_TIME = 5 * 60L;

    @Autowired
    private RedissonClient redissonClient;

    @Override
    public String createToken() {
        String ID = UUID.randomUUID().toString();
        RBucket<String> bucket = this.redissonClient.<String>getBucket(String.format("%s:%s", TOKEN_PREFIX, ID), StringCodec.INSTANCE);
        //預設超時5分鐘
        bucket.trySet(ID, TOKEN_EXPIRE_TIME, TimeUnit.SECONDS);
        return ID;
    }
    @Override
    public boolean checkToken(HttpServletRequest request) {
        // 從請求頭中獲取token資訊
        String token = request.getHeader(TOKEN_HEADER_NAME);
        if (!StringUtils.hasLength(token)) {
            //從引數中獲取token值
            token = request.getParameter(TOKEN_HEADER_NAME);
        }
        if (!StringUtils.hasLength(token)) {
            throw new DuplicateKeyException("重複提交，提交失敗");
        }

        RBucket<String> bucket = this.redissonClient.getBucket(String.format("%s:%s", TOKEN_PREFIX, token), StringCodec.INSTANCE);

        //獲取，並刪除
        String ID = bucket.getAndDelete();
        //不存在，則重複提交
        if (ID == null) {
            throw new DuplicateKeyException("重複提交，提交失敗");
        }
        return true;
    }
}

• 在 AOP 中檢查

@Component
@Aspect
public class ApiRepeatSubmitTokenAspect {
    @Autowired
    private TokenService tokenService;

    @Autowired
    private HttpServletRequest request;

    @Pointcut("@annotation(cn.hdj.repeatsubmit.aspect.ApiRepeatTokenSubmit)")
    public void pointCut() {
    }
    @Before("pointCut()")
    public void Before(JoinPoint joinPoint) {
        tokenService.checkToken(request);
    }
}

• 前端進入頁面時是先獲取 Token

$.ajax({
    type: "GET",
    url: "/token/create",
    contentType:'application/json',
    success: function(token){
        sessionStorage.setItem('x-token',token);
    }
});

• 請求時帶上 Token

$("#addCart").click(function(){
    //按鈕置灰
    $("#addCart").attr('disabled','disabled');
    $.ajax({
        type: "POST",
        url: "/cart/add",
        headers:{
            //攜帶token
            'x-token':sessionStorage.getItem('x-token')
        },
        data: JSON.stringify({
            productId: $('input[name=product_id]').val(),
            productSkuId: $('input[name=product_sku_id]').val(),
            productName: $('input[name=product_name]').val(),
            price: $('input[name=price]').val(),
            quantity: $('input[name=quantity]').val()
        }),
        contentType:'application/json',
        success: function(msg){
            console.log(msg)
        },
        complete: function(msg){
            $("#addCart").removeAttr('disabled');
        }
    });
});

總結

以上是較為常見通用的冪等方案，但實際業務可能比較個性化，需要跟業務結合進行考慮，採用合適的方法或結合使用，例如：

• 如果該業務是存在狀態流轉，可以採用狀態機策略進行業務冪等判斷
• 如果該業務是更新資料，可以採用多版本策略，在需要更新的業務表上加上版本號

參考

• https://myprojectt.readthedocs.io/zh_CN/latest/專案實戰04請求冪等性.html
• https://xie.infoq.cn/article/107fd263605e9d184b78bf093
• https://segmentfault.com/a/1190000023555975