關於 PHP 記憶體溢位的思考

pikalu發表於2019-09-26
PHP記憶體溢位

背景

最近做大批量資料匯出和資料匯入的時候，經常會遇到PHP記憶體溢位的問題，在解決了問題之後，總結了一些經驗，整理成文章記錄下。

優化點

  1. 優化SQL語句，避免慢查詢，合理的建立索引，查詢指定的欄位，sql優化這塊在此就不展開了。
  2. 查詢的結果集為大物件時轉陣列處理，框架中一般有方法可以轉，如Laravel中有toArray(),Yii2中有asArray()。
  3. 對於大陣列進行資料切割處理，PHP函式有array_chunk()、array_slice()。
  4. 對於大型的字串和物件，使用引用傳遞&。
  5. 用過的變數及時unset。
  6. 匯出的檔案格式由excel改為csv
  7. ini_set('memory_limit','')，設定程式可以使用的記憶體(不建議這樣做)。

思考

記憶體管理

PHP的記憶體什麼怎麼管理的呢？
在學C語言時，開發者是需要手動管理記憶體。在PHP中，Zend引擎提供為了處理請求相關資料提供了一種特殊的記憶體管理器。請求相關資料是隻需要服務單個請求，最遲會在請求結束時釋放資料。

Laravel

上圖是來自於官網的描述截圖

防止記憶體洩漏並儘可能快地釋放所有記憶體是記憶體管理的重要組成部分。因為安全原因，Zend引擎會釋放所有上面提到的API鎖分配的記憶體。

垃圾回收機制

簡單說下:

PHP5.3之前，採用引用計數的方式管理。PHP中的變數存在zval的變數容器中，變數被引用的時，引用計數+1，變數引用計數為0時，PHP將在記憶體中銷燬這個變數。但是在引用計數迴圈引用時，引用計數就不會消減為0，導致記憶體洩漏。

PHP5.3之後做了優化，並不是每次引用計數減少都進入回收週期，只有根緩衝區滿額後才開始進行垃圾回收，這樣可以解決迴圈引用的問題，也可以將總記憶體洩漏保持在一個閾值之下。

程式碼

由於使用phpexcel時經常會遇到記憶體溢位，下面分享一段生成csv檔案的程式碼：

<?php

namespace api\service;

class ExportService
{

    public static $outPutFile = '';

    /**
     * 匯出檔案
     * @param string $fileName
     * @param $data
     * @param array $formFields
     * @return mixed
     */
    public static function exportData($fileName = '', $data, $formFields = [])
    {
        $fileArr = [];
        $tmpPath = \Yii::$app->params['excelSavePath'];

        foreach (array_chunk($data, 10000) as $key => $value) {
            self::$outPutFile = '';
            $subject          = !empty($fileName) ? $fileName : 'data_';
            $subject          .= date('YmdHis');
            if (empty($value) || empty($formFields)) {
                continue;
            }

            self::$outPutFile = $tmpPath . $subject . $key . '.csv';
            if (!file_exists(self::$outPutFile)) {
                touch(self::$outPutFile);
            }
            $index  = array_keys($formFields);
            $header = array_values($formFields);
            self::outPut($header);

            foreach ($value as $k => $v) {
                $tmpData = [];
                foreach ($index as $item) {
                    $tmpData[] = isset($v[$item]) ? $v[$item] : '';
                }
                self::outPut($tmpData);
            }
            $fileArr[] = self::$outPutFile;
        }

        $zipFile = $tmpPath . $fileName . date('YmdHi') . '.zip';
        $zipRes = self::zipFile($fileArr, $zipFile);
        return $zipRes;
    }

    /**
     * 向檔案寫入資料
     * @param array $data
     */
    public static function outPut($data = [])
    {
        if (is_array($data) && !empty($data)) {
            $data = implode(',', $data);
            file_put_contents(self::$outPutFile, iconv("UTF-8", "GB2312//IGNORE", $data) . PHP_EOL, FILE_APPEND);
        }
    }

    /**
     * 壓縮檔案
     * @param $sourceFile
     * @param $distFile
     * @return mixed
     */
    public static function zipFile($sourceFile, $distFile)
    {
        $zip = new \ZipArchive();
        if ($zip->open($distFile, \ZipArchive::CREATE) !== true) {
            return $sourceFile;
        }

        $zip->open($distFile, \ZipArchive::CREATE);
        foreach ($sourceFile as $file) {
            $fileContent = file_get_contents($file);
            $file        = iconv('utf-8', 'GBK', basename($file));
            $zip->addFromString($file, $fileContent);
        }
        $zip->close();
        return $distFile;
    }

        /**
     * 下載檔案
     * @param $filePath
     * @param $fileName
     */
    public static function download($filePath, $fileName)
    {
        if (!file_exists($filePath . $fileName)) {
            header('HTTP/1.1 404 NOT FOUND');
        } else {
            //以只讀和二進位制模式開啟檔案
            $file = fopen($filePath . $fileName, "rb");

            //告訴瀏覽器這是一個檔案流格式的檔案
            Header("Content-type: application/octet-stream");
            //請求範圍的度量單位
            Header("Accept-Ranges: bytes");
            //Content-Length是指定包含於請求或響應中資料的位元組長度
            Header("Accept-Length: " . filesize($filePath . $fileName));
            //用來告訴瀏覽器，檔案是可以當做附件被下載，下載後的檔名稱為$file_name該變數的值
            Header("Content-Disposition: attachment; filename=" . $fileName);

            //讀取檔案內容並直接輸出到瀏覽器
            echo fread($file, filesize($filePath . $fileName));
            fclose($file);
            exit();
        }
    }
}

呼叫處程式碼

$fileName = "庫存匯入模板";
$stockRes = []; // 匯出的資料
$formFields = [
    'store_id'  => '門店ID',
    'storeName' => '門店名稱',
    'sku'       => 'SKU編碼',
    'name'      => 'SKU名稱',
    'stock'     => '庫存',
    'reason'    => '原因'
];
$fileRes    = ExportService::exportData($fileName, $stockRes, $formFields);
$tmpPath    = \Yii::$app->params['excelSavePath']; // 檔案路徑
$fileName   = str_replace($tmpPath, '', $fileRes);

// 下載檔案
ExportService::download($tmpPath, $fileName);

原文地址：https://tsmliyun.github.io/2019/09/26/關於PHP記憶體溢位的思考
歡迎交流。如有錯誤，請指出，謝謝。

相關文章