使用 chunkById 方法的時候請不要進行排序

Epona發表於2020-10-30
排序

最近在做開發任務的時候碰到了個詭異的問題，於是分享給大家

問題說明

由於需要批量處理資料，並且這個資料的量很大，一次全部取出然後執行是不現實的，幸運的是 Laravel 為我們提供了 chunkById 方法來讓我們方便的處理。虛擬碼如下

Student::query()
    ->where('is_delete', false)
    ->orderBy('id', 'DESC')
    ->chunkById(200, function($students) {
            // 在這裡進行邏輯處理
    });

咋一眼看上去，並沒有什麼問題，但是實際執行程式碼的時候會發現chunkById只會執行第一次，第二次以後由於某種原因會停止執行。

查詢原因

Laravel的原始碼中 chunkById 程式碼如下

    public function chunkById($count, callable $callback, $column = null, $alias = null)
    {
        $column = is_null($column) ? $this->getModel()->getKeyName() : $column;

        $alias = is_null($alias) ? $column : $alias;

        $lastId = null;

        do {
            $clone = clone $this;


            $results = $clone->forPageAfterId($count, $lastId, $column)->get();

            $countResults = $results->count();

            if ($countResults == 0) {
                break;
            }


            if ($callback($results) === false) {
                return false;
            }

            $lastId = $results->last()->{$alias};

            unset($results);


        } while ($countResults == $count);

        return true;
    }

看起來沒什麼問題，由於while 迴圈是根據 $countResults == $count 來判斷的，那麼我們 dump 一下這兩個變數就會發現， 第一次這兩個是一致的，第二次由於資料不一致導致程式停止。

在上面的程式碼中， $count 是由$results = $clone->forPageAfterId($count, $lastId, $column)->get(); 來獲得的，

繼續檢視 forPageAfterId方法

public function forPageAfterId($perPage = 15, $lastId = 0, $column = 'id')
{
    $this->orders = $this->removeExistingOrdersFor($column);

    if (! is_null($lastId)) {
        $this->where($column, '>', $lastId);
    }

    return $this->orderBy($column, 'asc')
                ->take($perPage);
}

我們可以看到，在這裡返回的結果是 orderBy 進行升序排列的， 而我們的原始程式碼是進行降序排列，就會導致count不一致，從而使chunkById結束執行。

解決方案

把之前的orderBy('id', 'desc')移除即可。

Student::query()
    ->where('is_delete', false)
    ->chunkById(200, function($students) {
            // 在這裡進行邏輯處理
    });

總結

  • 以後使用 chunkById 或者 chunk 方法的時候不要新增自定義的排序
  • 騷到老，學到老。。。
本作品採用《CC 協議》，轉載必須註明作者和本文連結
There's nothing wrong with having a little fun.

相關文章