Mix XWP V1.1 - Go 通用動態協程池 WorkerPool

OpenMix 出品：https://openmix.org

Mix XWP

通用動態工作池、協程池

A common worker pool

Github

https://github.com/mix-go/xwp

Installation

go get github.com/mix-go/xwp

單次排程

適合處理資料計算、轉換等場景

先建立一個結構體用來處理任務，使用型別斷言轉換任務資料型別，例如：i := data.(int)

type Foo struct {
}

func (t *Foo) Do(data interface{}) {
    // do something
}

排程任務

• 也可以使用 RunF 採用閉包來處理任務
• 如果不想阻塞執行，可以使用 p.Start() 啟動

jobQueue := make(chan interface{}, 200)
p := &xwp.WorkerPool{
    JobQueue:       jobQueue,
    MaxWorkers:     1000,
    InitWorkers:    100,
    MaxIdleWorkers: 100,
    RunI:           &Foo{},
}

go func() {
    // 投放任務
    for i := 0; i < 10000; i++ {
        jobQueue <- i
    }

    // 投放完停止排程
    p.Stop()
}()

p.Run() // 阻塞等待

常駐排程

適合處理 MQ 佇列的非同步消費

以 Redis 作為 MQ 為例：

jobQueue := make(chan interface{}, 200)
p := &xwp.WorkerPool{
    JobQueue:       jobQueue,
    MaxWorkers:     1000,
    InitWorkers:    100,
    MaxIdleWorkers: 100,
    RunI:           &Foo{},
}

ch := make(chan os.Signal)
signal.Notify(ch, syscall.SIGHUP, syscall.SIGINT, syscall.SIGTERM)
go func() {
    <-ch
    p.Stop()
}()

go func() {
    for {
        res, err := redis.BRPop(context.Background(), 3*time.Second, "foo").Result()
        if err != nil {
            if strings.Contains(err.Error(), "redis: nil") {
                continue
            }
            fmt.Println(fmt.Sprintf("Redis Error: %s", err))
            p.Stop()
            return
        }
        // brPop命令最後一個鍵才是值
        jobQueue <- res[1]
    }
}()

p.Run() // 阻塞等待

異常處理

Do 方法中執行的程式碼，可能會出現 panic 異常，我們可以通過 recover 獲取異常資訊記錄到日誌或者執行其他處理

func (t *Foo) Do(data interface{}) {
    defer func() {
        if err := recover(); err != nil {
            // handle error
        }
    }()
    // do something
}

執行狀態

Stat() 可以返回 Workers 實時執行狀態，通常可以使用一個定時器，定時列印或者告警處理

go func() {
    ticker := time.NewTicker(1000 * time.Millisecond)
    for {
        <-ticker.C
        log.Printf("%+v", p.Stat()) // 2021/04/26 14:32:53 &{Active:5 Idle:95 Total:100}
    }
}()

License

Apache License Version 2.0, http://www.apache.org/licenses/