極簡 Node.js 入門 - 4.3 可讀流

謙行發表於2020-09-27
Node.js

極簡 Node.js 入門系列教程：https://www.yuque.com/sunluyong/node

本文更佳閱讀體驗：https://www.yuque.com/sunluyong/node/readable

可讀流是生產資料用來供程式消費的流。常見的資料生產方式有讀取磁碟檔案、讀取網路請求內容等，看一下前面介紹什麼是流用的例子：

const rs = fs.createReadStream(filePath);

rs 就是一個可讀流，其生產資料的方式是讀取磁碟的檔案，控制檯 process.stdin 也是一個可讀流：

process.stdin.pipe(process.stdout);

通過簡單的一句話可以把控制檯的輸入列印出來，process.stdin 生產資料的方式是讀取使用者在控制檯的輸入。
回頭再看一下對可讀流的定義：可讀流是生產資料用來供程式消費的流。

自定義可讀流

除了系統提供的_** fs.CreateReadStream**_ 使用過 gulp 或者 vinyl-fs 提供的 src 方法時候也在使用可讀流

gulp.src(['*.js', 'dist/**/*.scss'])

如果希望自己以某種特定的方式生產資料，交給程式消費，那麼改如何開始呢？
簡單兩步即可

  1. 繼承 sream 模組的 Readable 類
  2. 重寫 _read 方法，呼叫 this.push 將生產的資料放入待讀取佇列


Readable 類已經把可讀流要做的大部分工作完成，只需要繼承它，然後把生產資料的方式寫在 _read 方法裡就可以實現一個自定義的可讀流。


舉個例子：實現一個每 100 毫秒生產一個隨機數的流（沒什麼用處）

const Readable = require('stream').Readable;
class RandomNumberStream extends Readable {
    constructor(max) {
        super()
    }
    _read() {
        const ctx = this;
        setTimeout(() => {
            const randomNumber = parseInt(Math.random() * 10000);
            // 只能 push 字串或 Buffer，為了方便顯示打一個回車
            ctx.push(`${randomNumber}\n`);
        }, 100);
    }
}
module.exports = RandomNumberStream;

類繼承部分程式碼很簡單，主要看一下 _read 方法的實現，有幾個值得注意的地方

  1. Readable 類中預設有 _read 方法的實現，不過什麼都沒有做，我們做的是覆蓋重寫
  2. _read 方法有一個引數 size，用來向 read 方法指定應該讀取多少資料返回，不過只是一個參考資料，很多實現忽略此引數，我們這裡也忽略了，後面會詳細提到
  3. 通過 this.push 向緩衝區推送資料，緩衝區概念後面會提到，暫時理解為擠到了水管中可消費了
  4. push 的內容只能是字串或者 Buffer，不能是數字
  5. push 方法有第二個引數 encoding，用於第一個引數是字串時指定 encoding


執行一下看看效果

const RandomNumberStream = require('./RandomNumberStream');
const rns = new RandomNumberStream();
rns.pipe(process.stdout);

這樣可以看到數字源源不斷的顯示到了控制檯上，實現了一個產生隨機數的可讀流，還有幾個小問題待解決

如何停下來

每隔 100 毫秒向緩衝區推送一個數字，那麼就像讀取一個本地檔案總有讀完的時候，如何停下來標識資料讀取完畢？
向緩衝區 push 一個 null 就可以，修改一下程式碼，允許消費者定義需要多少個隨機數字：

const Readable = require('stream').Readable;
class RandomNumberStream extends Readable {
    constructor(max) {
        super()
        this.max = max;
    }
    _read() {
        const ctx = this;
        setTimeout(() => {
            if (ctx.max) {
                const randomNumber = parseInt(Math.random() * 10000);
                // 只能 push 字串或 Buffer，為了方便顯示打一個回車
                ctx.push(`${randomNumber}\n`);
                ctx.max -= 1;
            } else {
                ctx.push(null);
            }
        }, 100);
    }
}
module.exports = RandomNumberStream;

程式碼中使用了一個 max 的標識，允許消費者指定需要的字元數，在例項化的時候指定即可

const RandomNumberStream = require('./RandomNumberStream');
const rns = new RandomNumberStream(5);
rns.pipe(process.stdout);

這樣可以看到控制檯只列印了 5 個字元

為什麼是 setTimeout 而不是 setInterval

細心的同學可能注意到，每隔 100 毫秒生產一個隨機數並不是呼叫的 setInterval，而是使用的 setTimeout，為什麼僅僅是延時了一下並沒有重複生產，結果卻是正確的呢？
這就需要了解流的兩種工作方式

  1. 流動模式：資料由底層系統讀出，並儘可能快地提供給應用程式
  2. 暫停模式：必須顯示地呼叫 read() 方法來讀取若干資料塊


流在預設狀態下是處於暫停模式的，也就是需要程式顯式的呼叫 read() 方法，可上面例子中並沒有呼叫就可以得到資料，因為流通過 pipe() 方法切換成了流動模式，這樣 _read() 方法會自動被反覆呼叫，直到資料讀取完畢，所以每次 _read() 方法裡面只需要讀取一次資料即可

流動模式和暫停模式切換

流從預設的暫停模式切換到流動模式可以使用以下幾種方式：

  1. 通過新增 data 事件監聽器來啟動資料監聽
  2. 呼叫 resume() 方法啟動資料流
  3. 呼叫 pipe() 方法將資料轉接到另一個可寫流


從流動模式切換為暫停模式又兩種方法：

  1. 在流沒有 pipe() 時，呼叫 pause() 方法可以將流暫停
  2. pipe() 時移除所有 data 事件的監聽，再呼叫 unpipe() 方法

data 事件

使用了 pipe() 方法後資料就從可讀流進入了可寫流，但對使用者好像是個黑盒，資料究竟是怎麼流向的呢？切換流動模式和暫停模式的時候有兩個重要的名詞

  1. 流動模式對應的 data 事件
  2. 暫停模式對應的 read() 方法


這兩個機制是程式能夠驅動資料流動的原因，先來看一下流動模式 data 事件，一旦監聽了可讀流的 data 事件，流就進入了流動模式，可以改寫一下上面呼叫流的程式碼

const RandomNumberStream = require('./RandomNumberStream');
const rns = new RandomNumberStream(5);
rns.on('data', chunk => {
  console.log(chunk);
});

這樣可以看到控制檯列印出了類似下面的結果

<Buffer 39 35 37 0a>
<Buffer 31 30 35 37 0a>
<Buffer 38 35 31 30 0a>
<Buffer 33 30 35 35 0a>
<Buffer 34 36 34 32 0a>

當可讀流生產出可供消費的資料後就會觸發 data 事件，data 事件監聽器繫結後，資料會被儘可能地傳遞。data 事件的監聽器可以在第一個引數收到可讀流傳遞過來的 Buffer 資料，這也就是控制檯列印的 chunk，如果想顯示為數字，可以呼叫 Buffer 的 toString() 方法


當資料處理完成後還會觸發一個 end 事件，因為流的處理不是同步呼叫，所以如果希望完事後做一些事情就需要監聽這個事件，在程式碼最後追加一句：

rns.on('end', () => {
  console.log('done');
});

這樣可以在資料接收完了顯示 done ，當然資料處理過程中出現了錯誤會觸發 error 事件，可以監聽做異常處理：

rns.on('error', (err) => {
  console.log(err);
});

read(size)

流在暫停模式下需要程式顯式呼叫 read() 方法才能得到資料，read() 方法會從內部緩衝區中拉取並返回若干資料，當沒有更多可用資料時，會返回null


使用 read() 方法讀取資料時，如果傳入了 size 引數，那麼它會返回指定位元組的資料；當指定的size位元組不可用時，則返回null。如果沒有指定size引數，那麼會返回內部緩衝區中的所有資料


現在有一個矛盾，在流動模式下流生產出了資料，然後觸發 data 事件通知給程式，這樣很方便。在暫停模式下需要程式去讀取，那麼就有一種可能是讀取的時候還沒生產好，如果使用輪詢的方式未免效率有些低


NodeJS 提供了一個 readable 的事件，事件在可讀流準備好資料的時候觸發，也就是先監聽這個事件，收到通知有資料了再去讀取就好了：

const rns = new RandomNumberStream(5);
rns.on('readable', () => {
  let chunk;
  while((chunk = rns.read()) !== null){
    console.log(chunk);
  }
});

這樣可以讀取到資料，值得注意的一點是並不是每次呼叫 read() 方法都可以返回資料，前面提到了如果可用的資料沒有達到 size 那麼返回 null，所以在程式中加了個判斷

資料會不會漏掉

const stream = fs.createReadStream('/dev/input/event0');
stream.on('readable', callback);

在流動模式會不會有這樣的問題：可讀流在建立好的時候就生產資料了，如果在繫結 readable 事件之前就生產了某些資料，觸發了 readable 事件，在極端情況下會造成資料丟失嗎？


事實並不會，按照 NodeJS event loop 程式建立流和呼叫事件監聽在一個事件佇列裡面，生產資料和事件監聽都是非同步操作，而 on 監聽事件使用了 process.nextTick 會保證在資料生產之前被繫結好，相關知識可以看定時器章節中對 event loop 的解讀


到這裡可能對 data事件、readable事件觸發時機， read() 方法每次讀多少資料，什麼時候返回 null 還有一定的疑問，在後續可寫流章節會在 back pressure 部分結合原始碼介紹相關機制

相關文章