大檔案傳輸解決方案：分片上傳 / 下載限速

請叫我菜鳥猿發表於2020-12-15

前言
不少專案中會遇到上傳下載視訊、更新包、應用程式等檔案，此類檔案的共同點就是十分巨大，我在專案中遇到過 4G 左右的檔案同時 100 多臺機器下載，此時如果用 post 上傳和下載想一下都不可能，但百度查的話都是說調整 php.ini 的 post 的限制，但這是一個可笑的解決方法，由此就需要用另一種解決方法 – 分片上傳和下載限速

在此帶大家用 php 實現一下，各種語言和框架同時適用，本次用到的是 php 的 laravel, 語言和實現的思路是一樣的

如果專案中用到的分片上傳，個人建議找相對應的包如 (AetherUpload-Laravel)、有條件直接用 7 牛雲、阿里雲等大公司的分片上傳服務

分片上傳
原理
將需要上傳的檔案按照一定的分割規則，分割成相同大小的資料塊；
初始化一個分片上傳任務，返回本次分片上傳唯一標識；
按照一定的策略（序列或並行）傳送各個分片資料塊；
傳送完成後，服務端根據判斷資料上傳是否完整，如果完整，則進行資料塊合成得到原始檔案。
實現
h5
h5 實現部分，h5 部分實現了把檔案的分割，在上傳中，告訴服務端檔案的總片數和當前是第幾片，各個臨時檔案通過 http 請求傳送出去

<!doctype html>

Document

服務端 服務端接收上傳的檔案片，並判斷是否為最後一塊，如果是就合併檔案，刪除上傳的檔案塊

/**
* @Desc: 切片上傳
*
* @param Request $request
* @return mixed
*/
public function sliceUpload(Request $request)
{
$file = $request->file(‘file’);
$blob_num = $request->get(‘blob_num’);
$total_blob_num = $request->get(‘total_blob_num’);
$file_name = $request->get(‘file_name’);

    $realPath = $file->getRealPath(); //臨時檔案的絕對路徑

    // 儲存地址
    $path = 'slice/'.date('Ymd')  ;
    $filename = $path .'/'. $file_name . '_' . $blob_num;

    //上傳
    $upload = Storage::disk('admin')->put($filename, file_get_contents($realPath));

    //判斷是否是最後一塊，如果是則進行檔案合成並且刪除檔案塊
    if($blob_num == $total_blob_num){
        for($i=1; $i<= $total_blob_num; $i++){
            $blob = Storage::disk('admin')->get($path.'/'. $file_name.'_'.$i);

// Storage::disk(‘admin’)->append( p a t h . ′ / ′ . path.'/'. path.′/′.file_name, KaTeX parse error: Undefined control sequence: \n at position 42: …在的檔案裡新增0X0A，也就是\̲n̲換行符 …path.’/’. f i l e n a m e , file_name, filen​ame,blob,FILE_APPEND);

        }
       //合併完刪除檔案塊
        for($i=1; $i<= $total_blob_num; $i++){
            Storage::disk('admin')->delete($path.'/'. $file_name.'_'.$i);
        }
    }

    if ($upload){
        return $this->json(200, '上傳成功');
    }else{
        return $this->json(0, '上傳失敗');
    }

}

下載限速
原理
通過每秒限制輸出的位元組
關閉 buffer 快取
實現
public function sliceDownload()
{

    $path = 'slice/'.date('Ymd')  ;

    $filename = $path .'/'. '周杰倫 - 黑色幽默 [mqms2].mp3' ;

    //獲取檔案資源
    $file = Storage::disk('admin')->readStream($filename);

    //獲取檔案大小
    $fileSize = Storage::disk('admin')->size($filename);

    header("Content-type:application/octet-stream");//設定header頭為下載
    header("Accept-Ranges:bytes");
    header("Accept-Length:".$fileSize);//響應大小
    header("Content-Disposition: attachment; filename=周杰倫 - 黑色幽默 [mqms2].mp3");//檔名

    //不設定的話要等緩衝區滿之後才會響應
    ob_end_clean();//緩衝區結束
    ob_implicit_flush();//強制每當有輸出的時候,即刻把輸出傳送到瀏覽器\
    header('X-Accel-Buffering: no'); // 不緩衝資料

    $limit=1024*1024;
    $count=0;

    //限制每秒的速率
    while($fileSize-$count>0){//迴圈讀取檔案資料
        $data=fread($file,$limit);
        $count+=$limit;
        echo $data;//輸出檔案
        sleep(1);
    }

}

大檔案傳輸解決方案：分片上傳 / 下載限速 / 斷點續傳
當你需要更大速度的時候調整 $limit 的數值即可

總結
至此關於分片上傳和下載限速的原理和簡單實現 Demo 已經說完，大應該瞭解怎麼實現分片上傳了吧，希望對大家有幫助，因為大檔案上傳和下載是實現中經常遇到的事情

生活步步是坎坷，笑到最後是大哥。

相關文章