作者 | 浪漫先生
來源 | juejin.im/post/5f159cd8f265da22e425f71d

前言

基於Redis使用分散式鎖在當今已經不是什麼新鮮事了。本篇文章主要是基於我們實際專案中因為redis分散式鎖造成的事故分析及解決方案。
背景：我們專案中的搶購訂單採用的是分散式鎖來解決的。有一次，運營做了一個飛天茅臺的搶購活動，庫存100瓶，但是卻超賣了！要知道，這個地球上飛天茅臺的稀缺性啊！！！事故定為P0級重大事故…只能坦然接受。整個專案組被扣績效了~~事故發生後，CTO指名點姓讓我帶頭衝鋒來處理，好吧，衝~

事故現場

經過一番瞭解後，得知這個搶購活動介面以前從來沒有出現過這種情況，但是這次為什麼會超賣呢？原因在於：之前的搶購商品都不是什麼稀缺性商品，而這次活動居然是飛天茅臺，通過埋點資料分析，各項資料基本都是成倍增長，活動熱烈程度可想而知！話不多說，直接上核心程式碼，機密部分做了虛擬碼處理。。。

public SeckillActivityRequestVO seckillHandle(SeckillActivityRequestVO request) {
SeckillActivityRequestVO response;
    String key = "key:" + request.getSeckillId;
    try {
        Boolean lockFlag = redisTemplate.opsForValue().setIfAbsent(key, "val", 10, TimeUnit.SECONDS);
        if (lockFlag) {
            // HTTP請求使用者服務進行使用者相關的校驗
            // 使用者活動校驗
            
            // 庫存校驗
            Object stock = redisTemplate.opsForHash().get(key+":info", "stock");
            assert stock != null;
            if (Integer.parseInt(stock.toString()) <= 0) {
                // 業務異常
            } else {
                redisTemplate.opsForHash().increment(key+":info", "stock", -1);
                // 生成訂單
                // 釋出訂單建立成功事件
                // 構建響應VO
            }
        }
    } finally {
        // 釋放鎖
        stringRedisTemplate.delete("key");
        // 構建響應VO
    }
    return response;
}

以上程式碼，通過分散式鎖過期時間有效期10s來保障業務邏輯有足夠的執行時間；採用try-finally語句塊保證鎖一定會及時釋放。業務程式碼內部也對庫存進行了校驗。看起來很安全啊~ 別急，繼續分析。。。

事故原因

飛天茅臺搶購活動吸引了大量新使用者下載註冊我們的APP，其中，不乏很多羊毛黨，採用專業的手段來註冊新使用者來薅羊毛和刷單。當然我們的使用者系統提前做好了防備，接入阿里雲人機驗證、三要素認證以及自研的風控系統等各種十八般武藝，擋住了大量的非法使用者。此處不禁點個贊~
但也正因如此，讓使用者服務一直處於較高的執行負載中。
搶購活動開始的一瞬間，大量的使用者校驗請求打到了使用者服務。導致使用者服務閘道器出現了短暫的響應延遲，有些請求的響應時長超過了10s，但由於HTTP請求的響應超時我們設定的是30s，這就導致介面一直阻塞在使用者校驗那裡，10s後，分散式鎖已經失效了，此時有新的請求進來是可以拿到鎖的，也就是說鎖被覆蓋了。這些阻塞的介面執行完之後，又會執行釋放鎖的邏輯，這就把其他執行緒的鎖釋放了，導致新的請求也可以競爭到鎖~這真是一個極其惡劣的迴圈。
這個時候只能依賴庫存校驗，但是偏偏庫存校驗不是非原子性的，採用的是get and compare 的方式，超賣的悲劇就這樣發生了~~~

事故分析

仔細分析下來，可以發現，這個搶購介面在高併發場景下，是有嚴重的安全隱患的，主要集中在三個地方：

沒有其他系統風險容錯處理
由於使用者服務吃緊，閘道器響應延遲，但沒有任何應對方式，這是超賣的導火索。
看似安全的分散式鎖其實一點都不安全
雖然採用了set key value [EX seconds] [PX milliseconds] [NX|XX]的方式，但是如果執行緒A執行的時間較長沒有來得及釋放，鎖就過期了，此時執行緒B是可以獲取到鎖的。當執行緒A執行完成之後，釋放鎖，實際上就把執行緒B的鎖釋放掉了。這個時候，執行緒C又是可以獲取到鎖的，而此時如果執行緒B執行完釋放鎖實際上就是釋放的執行緒C設定的鎖。這是超賣的直接原因。
非原子性的庫存校驗
非原子性的庫存校驗導致在併發場景下，庫存校驗的結果不準確。這是超賣的根本原因。

通過以上分析，問題的根本原因在於庫存校驗嚴重依賴了分散式鎖。因為在分散式鎖正常set、del的情況下，庫存校驗是沒有問題的。但是，當分散式鎖不安全可靠的時候，庫存校驗就沒有用了。

解決方案

知道了原因之後，我們就可以對症下藥了。

實現相對安全的分散式鎖

相對安全的定義：set、del是一一對映的，不會出現把其他現成的鎖del的情況。從實際情況的角度來看，即使能做到set、del一一對映，也無法保障業務的絕對安全。因為鎖的過期時間始終是有界的，除非不設定過期時間或者把過期時間設定的很長，但這樣做也會帶來其他問題。故沒有意義。
要想實現相對安全的分散式鎖，必須依賴key的value值。在釋放鎖的時候，通過value值的唯一性來保證不會勿刪。我們基於LUA指令碼實現原子性的get and compare，如下：

public void safedUnLock(String key, String val) {
    String luaScript = "local in = ARGV[1] local curr=redis.call('get', KEYS[1]) if in==curr then redis.call('del', KEYS[1]) end return 'OK'"";
    RedisScript<String> redisScript = RedisScript.of(luaScript);
    redisTemplate.execute(redisScript, Collections.singletonList(key), Collections.singleton(val));
}

我們通過LUA指令碼來實現安全地解鎖。

實現安全的庫存校驗

如果我們對於併發有比較深入的瞭解的話，會發現想 get and compare/ read and save 等操作，都是非原子性的。如果要實現原子性，我們也可以藉助LUA指令碼來實現。但就我們這個例子中，由於搶購活動一單隻能下1瓶，因此可以不用基於LUA指令碼實現而是基於redis本身的原子性。原因在於：

// redis會返回操作之後的結果，這個過程是原子性的
Long currStock = redisTemplate.opsForHash().increment("key", "stock", -1);

發現沒有，程式碼中的庫存校驗完全是“畫蛇添足”。

改進之後的程式碼

經過以上的分析之後，我們決定新建一個DistributedLocker類專門用於處理分散式鎖。

public SeckillActivityRequestVO seckillHandle(SeckillActivityRequestVO request) {
SeckillActivityRequestVO response;
    String key = "key:" + request.getSeckillId();
    String val = UUID.randomUUID().toString();
    try {
        Boolean lockFlag = distributedLocker.lock(key, val, 10, TimeUnit.SECONDS);
        if (!lockFlag) {
            // 業務異常
        }

        // 使用者活動校驗
        // 庫存校驗，基於redis本身的原子性來保證
        Long currStock = stringRedisTemplate.opsForHash().increment(key + ":info", "stock", -1);
        if (currStock < 0) { // 說明庫存已經扣減完了。
            // 業務異常。
            log.error("[搶購下單] 無庫存");
        } else {
            // 生成訂單
            // 釋出訂單建立成功事件
            // 構建響應
        }
    } finally {
        distributedLocker.safedUnLock(key, val);
        // 構建響應
    }
    return response;
}

深度思考

分散式鎖有必要麼

改進之後，其實可以發現，我們藉助於redis本身的原子性扣減庫存，也是可以保證不會超賣的。對的。但是如果沒有這一層鎖的話，那麼所有請求進來都會走一遍業務邏輯，由於依賴了其他系統，此時就會造成對其他系統的壓力增大。這會增加的效能損耗和服務不穩定性，得不償失。基於分散式鎖可以在一定程度上攔截一些流量。

分散式鎖的選型

有人提出用RedLock來實現分散式鎖。RedLock的可靠性更高，但其代價是犧牲一定的效能。在本場景，這點可靠性的提升遠不如效能的提升帶來的價效比高。如果對於可靠性極高要求的場景，則可以採用RedLock來實現。

再次思考分散式鎖有必要麼

由於bug需要緊急修復上線，因此我們將其優化並在測試環境進行了壓測之後，就立馬熱部署上線了。實際證明，這個優化是成功的，效能方面略微提升了一些，並在分散式鎖失效的情況下，沒有出現超賣的情況。
然而，還有沒有優化空間呢？有的！
由於服務是叢集部署，我們可以將庫存均攤到叢集中的每個伺服器上，通過廣播通知到叢集的各個伺服器。閘道器層基於使用者ID做hash演算法來決定請求到哪一臺伺服器。這樣就可以基於應用快取來實現庫存的扣減和判斷。效能又進一步提升了！

// 通過訊息提前初始化好，藉助ConcurrentHashMap實現高效執行緒安全
private static ConcurrentHashMap<Long, Boolean> SECKILL_FLAG_MAP = new ConcurrentHashMap<>();
// 通過訊息提前設定好。由於AtomicInteger本身具備原子性，因此這裡可以直接使用HashMap
private static Map<Long, AtomicInteger> SECKILL_STOCK_MAP = new HashMap<>();

...

public SeckillActivityRequestVO seckillHandle(SeckillActivityRequestVO request) {
SeckillActivityRequestVO response;

    Long seckillId = request.getSeckillId();
    if(!SECKILL_FLAG_MAP.get(requestseckillId)) {
        // 業務異常
    }
     // 使用者活動校驗
     // 庫存校驗
    if(SECKILL_STOCK_MAP.get(seckillId).decrementAndGet() < 0) {
        SECKILL_FLAG_MAP.put(seckillId, false);
        // 業務異常
    }
    // 生成訂單
    // 釋出訂單建立成功事件
    // 構建響應
    return response;
}

通過以上的改造，我們就完全不需要依賴redis了。效能和安全性兩方面都能進一步得到提升！
當然，此方案沒有考慮到機器的動態擴容、縮容等複雜場景，如果還要考慮這些話，則不如直接考慮分散式鎖的解決方案。

總結

稀缺商品超賣絕對是重大事故。如果超賣數量多的話，甚至會給平臺帶來非常嚴重的經營影響和社會影響。經過本次事故，讓我意識到對於專案中的任何一行程式碼都不能掉以輕心，否則在某些場景下，這些正常工作的程式碼就會變成致命殺手！對於一個開發者而言，則設計開發方案時，一定要將方案考慮周全。怎樣才能將方案考慮周全？唯有持續不斷地學習！

作者：浪漫先生 連結：https://juejin.cn/post/6854573212831842311
來源：掘金
著作權歸作者所有。商業轉載請聯絡作者獲得授權，非商業轉載請註明出處。