Node JS Buffer使用理解

at_1發表於2021-09-09

JavaScript 起初為瀏覽器而設計,沒有讀取或操作二進位制資料流的機制。Buffer類的引入,則讓NodeJS擁有操作檔案流或網路二進位制流的能力。

Buffer基本概念

Buffer 物件的記憶體分配不是在V8的堆記憶體中,而是Node在C++層面進行記憶體申請,可以理解為在記憶體中單獨開闢了一部分空間,但是使用時分配記憶體則是由Node層面完成的,釋放也是由Node中v8的gc機制自動控制。Buffer基本操作,這裡不在贅述,官方文件很詳細。

Buffer效能對比

通常,網路傳輸中,都需要將資料轉換為Buffer。下面做一個效能對比實驗。

1.使用純字串返回給客戶端

const http = require('http');

let hello = ''
for (var i = 0; i < 10240; i++) {
  hello += "a";
}

console.log(`Hello:${hello.length}`)
// hello = Buffer.from(hello);

http.createServer((req, res) => {
  res.writeHead(200);
  res.end(hello);
}).listen(8001);
複製程式碼

使用ab -c 200 -t 100 http://127.0.0.1:8001/命令來進行效能測試,發起200個併發客戶端

string-200

使用字串,QPS可以達到4019.70,傳輸率為40491.45KB每秒。

2.使用Buffer。將字串轉換為Buffer物件,再發給客戶端。

const http = require('http');

let hello = ''
for (var i = 0; i < 10240; i++) {
  hello += "a";
}

console.log(`Hello:${hello.length}`)
hello = Buffer.from(hello);

http.createServer((req, res) => {
  res.writeHead(200);
  res.end(hello);
}).listen(8001);
複製程式碼

取消Buffer轉換的註釋,同樣使用ab -c 200 -t 100 http://127.0.0.1:8001/測試,同樣發起200個併發客戶端。

buffer-200

使用Buffer,QPS達到7130.05,傳輸率為71822.74KB每秒。 效能是原來的177%,極大的節省了伺服器資源。 上面這個對比示例參考於《深入淺出Node JS》。

那麼問題來了,為什麼會有這麼大的效能提升呢?

道理其實很簡單,在NodeJS中,進行http傳輸時,若返回的型別為string,則會將string型別的引數,轉換為Buffer,通過NodeJS中的Stream流,一點點的返回給客戶端。如果我們直接返回Buffer型別,就沒有了轉換操作,直接返回,減少了CPU的重複使用率。這一部分邏輯見Node原始碼github.com/nodejs/node…

在上面效能對比示例中,返回string時,每次請求都需要將string裝換成Buffer返回;而直接返回Buffer時,這個Buffer是我們啟動服務時就存放在記憶體中的,每次請求直接返回記憶體中的Buffer即可,因此Buffer使用前後QPS提升了很多。

因此,我們在寫業務程式碼時,部分資源可以預先轉換為Buffer型別(如js、css等靜態資原始檔),直接返回buffer給客戶端,再比如一些檔案轉發的場景,將獲取到的內容儲存為Buffer直接轉發,避免額外的轉換操作。

參考資料:

相關文章