python版：單機redis實現秒殺，防止超限

ilyq69發表於2018-11-06
PythonRedis

測試環境

  • ubuntu 16.04
  • python 3.6.6
  • redis 3.0.6

簡單描述

搶購、秒殺是一個很常見的應用場景，主要需要解決的問題有兩個：

  • 1 高併發
  • 2 如何解決庫存的正確減少（"超賣"問題）

redis 命令說明

exists

返回key是否存在

# 原型
EXISTS key [key ...]
# 示例
EXISTS key1
複製程式碼

incrby

將key對應的數字加decrement。如果key不存在，操作之前，key就會被置為0

# 原型
INCRBY key increment
# 示例
INCRBY mykey 5
複製程式碼

setnx

將key設定值為value，如果key不存在，這種情況下等同SET命令。 當key存在時，什麼也不做。SETNX是”SET if Not eXists”的簡寫。

# 原型
SETNX key value
# 示例
SETNX mykey "Hello"
複製程式碼

流程圖

流程.png

流程要點說明：

  1. 這裡要使用setnx初始化資料，這樣可以避免key值遇到併發時被多次set
  2. incrby後才判斷是否超限，注意如果amount最大為100, 這裡incrby後可能會大於100, 但不影響判斷

python程式碼實現

import logging
from logging import handlers

import redis
from flask import Flask

# 為了方便檢視新增日誌
rf_handler = handlers.TimedRotatingFileHandler(
    'redis.log', when='midnight', interval=1, backupCount=7)
rf_handler.setFormatter(
    logging.Formatter(
        "%(asctime)s %(filename)s line:%(lineno)d [%(levelname)s] %(message)s")
)
logging.getLogger().setLevel(logging.INFO)
logging.getLogger().addHandler(rf_handler)

app = Flask(__name__)

# connect redis
pool = redis.ConnectionPool(host='localhost', port=6379, decode_responses=True)
r = redis.Redis(connection_pool=pool)


def limit_handler():
    """
    return True: 允許; False: 拒絕
    """
    amount_limit = 100  # 限制數量
    keyname = 'limit'  # redis key name
    incr_amount = 1  # 每次增加數量

    # 判斷key是否存在
    if not r.exists(keyname):
        # 為了方便測試，這裡設定預設初始值為95
        # setnx可以防止併發時多次設定key
        r.setnx(keyname, 95)

    # 資料插入後再判斷是否大於限制數
    if r.incrby(keyname, incr_amount) <= amount_limit:
        return True

    return False


@app.route("/limit")
def v2():
    if limit_handler():
        logging.info("successful")
    else:
        logging.info("failed")
    return 'limit'


if __name__ == '__main__':
    app.run(debug=True)

複製程式碼

簡單測試

測試工具 ab

  • 安裝
sudo apt install apache2-utils
複製程式碼
  • 測試命令
ab -c 100 -n 200 http://127.0.0.1:5000/limit
# －c表示併發數, －n表示請求數
複製程式碼

測試結果

  • 通過日誌可以看到最多隻有5個successful
    result.png

部署測試

方案: supervisor + gunicorn + gevent

  1. 安裝依賴
apt-get install supervisor
pip install gevent
pip install gunicorn
複製程式碼

2.生成配置

echo_supervisord_conf > supervisord.conf
複製程式碼

3.修改配置, 在supervisord.conf最後新增

[program:redis-limit]
directory = /home/dong/projects/py ; 程式的啟動目錄
command = gunicorn -k gevent -w 4 -b 0.0.0.0:5000 app:app  ; 啟動命令, 使用gevent, 開啟4個程式
autostart = true     ; 在 supervisord 啟動的時候也自動啟動
startsecs = 5        ; 啟動 5 秒後沒有異常退出，就當作已經正常啟動了
autorestart = true   ; 程式異常退出後自動重啟
startretries = 3     ; 啟動失敗自動重試次數，預設是 3
redirect_stderr = true  ; 把 stderr 重定向到 stdout，預設 false
stdout_logfile_maxbytes = 20MB  ; stdout 日誌檔案大小，預設 50MB
stdout_logfile_backups = 20     ; stdout 日誌檔案備份數
stdout_logfile = /home/dong/projects/py/limit_stdout.log
複製程式碼

4.啟動supervisor服務

supervisord -c ./supervisord.conf
複製程式碼

5.檢視supervisor應用

# 如果沒有啟動可以手動start redis-limit
supervisorctl -c ./supervisord.conf
複製程式碼

6.測試

ab -c 100 -n 200 http://127.0.0.1:5000/limit
複製程式碼

參考

相關文章