laravelS使用redis stream完成每日億級別資料儲存

環境背景

某廣告系統日誌上報服務，每天接受億級別接受資料，常用訊息佇列有 aws sqs kiness，rabbitmq，kafka，還有雞肋版本的redis stream，個人事後建議使用（rabbitmq，kafka）、但是由於對訊息佇列的不瞭解為了快速開發用了redis 簡單輕小

非同步訊息佇列redis stream
資料庫 tidb儲存，tidb是個好東西不用分表分庫，但是對高可用這方面還是差點需要對tidb搗鼓好長時間調優才可用
laravelS 自定義程式
laravelS HTTP服務

<?php

namespace App\Processes;

use Hhxsv5\LaravelS\Swoole\Process\CustomProcessInterface;
use Illuminate\Support\Facades\Redis;
use Swoole\Http\Server;
use Swoole\Process;

/**
 * 初始佇列
 *
 * Class LoggerProcess
 * @package App\Processes
 */
class LoggerProcess implements CustomProcessInterface
{

    /**
     * @var bool 退出標記，用於Reload更新
     */
    private static $quit = false;

    /**
     * @var string 分組名稱
     */
    public static $group_name = '';

    public static $consumer_name = '';

    /**
     * 執行回撥
     *
     * @param Server $swoole
     * @param Process $process
     * @throws \Exception
     */
    public static function callback(Server $swoole, Process $process){
        self::$group_name = "logger";
        self::$consumer_name = "logger_".rand(1,100);
        // 初始化分組
        self::groupInit();
        // 資料落庫
        self::handle();
    }

    /**
     * LaravelS >= v3.4.0 並且 callback() 必須是非同步非阻塞程式。
     *
     * @param Server $swoole
     * @param Process $process
     */
    public static function onReload(Server $swoole, Process $process)
    {
        self::$quit = true;
    }

    /**
     * 要求：LaravelS >= v3.7.4 並且 callback() 必須是非同步非阻塞程式。
     *
     * @param Server $swoole
     * @param Process $process
     */
    public static function onStop(Server $swoole, Process $process)
    {
        self::$quit = true;
    }

    /**
     * 資料處理
     */
    public static function handle(){
        $cache_key = 'LOGGER_STREAM';
        $cache_retry_key = 'LOGGER_RETRY_STREAM';
        while (!self::$quit){
            $data = [];
            try {
                // 獲取佇列裡面的1000條資訊
                $get_result = Redis::xReadGroup(self::$group_name,self::$consumer_name,[$cache_key=>">"],1000,1000);
                if(!$get_result || !isset($get_result[$cache_key])){
                    continue;
                }
                $data = $get_result[$cache_key];
                // 存庫
                self::insertData($data);
                // 消費成功、刪除訊息
                Redis::xAck($cache_key,self::$group_name,array_keys($data));
                Redis::xDel($cache_key,array_keys($data));
            }catch (\Exception $exception){
                // 存入重試佇列
                if ($data){
                    foreach ($data as $item){
                        Redis::xAdd($cache_retry_key,"*",$item);
                    }
                    Redis::xAck($cache_key,self::$group_name,array_keys($data));
                }
                // 釘釘報警通知
                $str = "[".date('Y-m-d H:i:s')."] ".class_basename(__CLASS__).":系統異常,".catchErr($exception);
            }
        }
    }



    /**
     * 初始化 group分組
     */
    public static function groupInit(){
        $cache_key = 'LOGGER_STREAM';
        $group_result = Redis::xInfo('GROUPS', $cache_key);
        $exist_group=false;
        if ($group_result){
            // 判斷分組是否存在
            foreach($group_result as $group){
                if($group['name'] === self::$group_name) {
                    $exist_group = true;
                    break;
                }
            }
        }
        //判斷組是否存在  如果不存在 則建立組  xGroup('CREATE',stream的名稱,組的名稱,0表示從頭開始讀)
        if(!$exist_group){
            //從0開始
            Redis::xGroup('CREATE', $cache_key,self::$group_name, "0");
        }
    }
}

本作品採用《CC 協議》，轉載必須註明作者和本文連結

laravelS使用redis stream完成每日億級別資料儲存

環境背景

相關文章