Node 進階：express 預設日誌元件 morgan 從入門使用到原始碼剖析

weixin_34239169發表於2016-12-12
Express元件原始碼

本文摘錄自個人總結《Nodejs學習筆記》，更多章節及更新，請訪問 github主頁地址。歡迎加群交流，群號 197339705。

章節概覽

morgan是express預設的日誌中介軟體，也可以脫離express，作為node.js的日誌元件單獨使用。本文由淺入深，內容主要包括：

  • morgan使用入門例子
  • 如何將日誌儲存到本地檔案
  • 核心API使用說明及例子
  • 進階使用：1、日誌分割 2、將日誌寫入資料庫
  • 原始碼剖析：morgan的日誌格式以及預編譯

入門例子

首先，初始化專案。

npm install express morgan複製程式碼

然後，在basic.js中新增如下程式碼。

var express = require('express');
var app = express();
var morgan = require('morgan');

app.use(morgan('short'));
app.use(function(req, res, next){
    res.send('ok');
});

app.listen(3000);複製程式碼

node basic.js執行程式，並在瀏覽器裡訪問 http://127.0.0.1:3000 ，列印日誌如下

➜  2016.12.11-advanced-morgan git:(master) ✗ node basic.js
::ffff:127.0.0.1 - GET / HTTP/1.1 304 - - 3.019 ms
::ffff:127.0.0.1 - GET /favicon.ico HTTP/1.1 200 2 - 0.984 ms複製程式碼

將日誌列印到本地檔案

morgan支援stream配置項，可以通過它來實現將日誌落地的效果，程式碼如下：

var express = require('express');
var app = express();
var morgan = require('morgan');
var fs = require('fs');
var path = require('path');

var accessLogStream = fs.createWriteStream(path.join(__dirname, 'access.log'), {flags: 'a'});

app.use(morgan('short', {stream: accessLogStream}));
app.use(function(req, res, next){
    res.send('ok');
});

app.listen(3000);複製程式碼

使用講解

核心API

morgan的API非常少，使用頻率最高的就是morgan()，作用是返回一個express日誌中介軟體。

morgan(format, options)複製程式碼

引數說明如下：

  • format：可選，morgan與定義了幾種日誌格式，每種格式都有對應的名稱，比如combined、short等，預設是default。不同格式的差別可參考這裡。下文會講解下，如果自定義日誌格式。
  • options：可選，配置項，包含stream（常用）、skip、immediate。
    • stream：日誌的輸出流配置，預設是process.stdout。
    • skip：是否跳過日誌記錄，使用方式可以參考這裡。
    • immediate：布林值，預設是false。當為true時，一收到請求，就記錄日誌；如果為false，則在請求返回後，再記錄日誌。

自定義日誌格式

首先搞清楚morgan中的兩個概念：format 跟 token。非常簡單：

  • format：日誌格式，本質是代表日誌格式的字串，比如 :method :url :status :res[content-length] - :response-time ms。
  • token：format的組成部分，比如上面的:method、:url即使所謂的token。

搞清楚format、token的區別後，就可以看下morgan中，關於自定義日誌格式的關鍵API。

morgan.format(name, format);  // 自定義日誌格式
morgan.token(name, fn);  // 自定義token複製程式碼

自定義format

非常簡單，首先通過morgan.format()定義名為joke的日誌格式，然後通過morgan('joke')呼叫即可。

var express = require('express');
var app = express();
var morgan = require('morgan');

morgan.format('joke', '[joke] :method :url :status');

app.use(morgan('joke'));

app.use(function(req, res, next){
    res.send('ok');
});

app.listen(3000);複製程式碼

我們來看下執行結果

➜  2016.12.11-advanced-morgan git:(master) ✗ node morgan.format.js
[joke] GET / 304
[joke] GET /favicon.ico 200複製程式碼

自定義token

程式碼如下，通過morgan.token()自定義token，然後將自定義的token，加入自定義的format中即可。

var express = require('express');
var app = express();
var morgan = require('morgan');

// 自定義token
morgan.token('from', function(req, res){
    return req.query.from || '-';
});

// 自定義format，其中包含自定義的token
morgan.format('joke', '[joke] :method :url :status :from');

// 使用自定義的format
app.use(morgan('joke'));

app.use(function(req, res, next){
    res.send('ok');
});

app.listen(3000);複製程式碼

執行程式，並在瀏覽器裡先後訪問 http://127.0.0.1:3000/hello?from=app 和 http://127.0.0.1:3000/hello?from=pc

➜  2016.12.11-advanced-morgan git:(master) ✗ node morgan.token.js 
[joke] GET /hello?from=app 200 app
[joke] GET /favicon.ico 304 -
[joke] GET /hello?from=pc 200 pc
[joke] GET /favicon.ico 304 -複製程式碼

高階使用

日誌切割

一個線上應用，如果所有的日誌都落地到同一個本地檔案，時間久了，檔案會變得非常大，既影響效能，又不便於檢視。這時候，就需要用到日誌分割了。

藉助file-stream-rotator外掛，可以輕鬆完成日誌分割的工作。除了file-stream-rotator相關的配置程式碼，其餘跟之前的例子差不多，這裡不贅述。

var FileStreamRotator = require('file-stream-rotator')
var express = require('express')
var fs = require('fs')
var morgan = require('morgan')
var path = require('path')

var app = express()
var logDirectory = path.join(__dirname, 'log')

// ensure log directory exists
fs.existsSync(logDirectory) || fs.mkdirSync(logDirectory)

// create a rotating write stream
var accessLogStream = FileStreamRotator.getStream({
  date_format: 'YYYYMMDD',
  filename: path.join(logDirectory, 'access-%DATE%.log'),
  frequency: 'daily',
  verbose: false
})

// setup the logger
app.use(morgan('combined', {stream: accessLogStream}))

app.get('/', function (req, res) {
  res.send('hello, world!')
})複製程式碼

日誌寫入資料庫

有的時候，我們會有這樣的需求，將訪問日誌寫入資料庫。這種需求常見於需要實時查詢統計的日誌系統。

在morgan裡該如何實現呢？從文件上，並沒有看到適合的擴充套件介面。於是查閱了下morgan的原始碼，發現實現起來非常簡單。

回顧下之前日誌寫入本地檔案的例子，最關鍵的兩行程式碼如下。通過stream指定日誌的輸出流。

var accessLogStream = fs.createWriteStream(path.join(__dirname, 'access.log'), {flags: 'a'});
app.use(morgan('short', {stream: accessLogStream}));複製程式碼

在morgan內部，大致實現是這樣的（簡化後）。

// opt為配置檔案
var stream = opts.stream || process.stdout;
var logString = createLogString();  // 虛擬碼，根據format、token的定義，生成日誌
stream.write(logString);複製程式碼

於是，可以用比較取巧的方式來實現目的：宣告一個帶write方法的物件，並作為stream配置傳入。

var express = require('express');
var app = express();
var morgan = require('morgan');

// 帶write方法的物件
var dbStream = {
  write: function(line){
    saveToDatabase(line);  // 虛擬碼，儲存到資料庫
  }
};

// 將 dbStream 作為 stream 配置項的值
app.use(morgan('short', {stream: dbStream}));
app.use(function(req, res, next){
  res.send('ok');
});

app.listen(3000);複製程式碼

深入剖析

morgan的程式碼非常簡潔，從設計上來說，morgan的生命週期包含：

token定義 --> 日誌格式定義 -> 日誌格式預編譯 --> 請求達到/返回 --> 寫日誌

其中，token定義、日誌格式定義前面已經講到，這裡就只講下 日誌格式預編譯 的細節。

跟模板引擎預編譯一樣，日誌格式預編譯，也是為了提升效能。原始碼如下，最關鍵的程式碼就是compile(fmt)。

function getFormatFunction (name) {
  // lookup format
  var fmt = morgan[name] || name || morgan.default

  // return compiled format
  return typeof fmt !== 'function'
    ? compile(fmt)
    : fmt
}複製程式碼

compile()方法的實現細節這裡不贅述，著重看下compile(fmt)返回的內容：

var morgan = require('morgan');
var format = morgan['tiny'];
var fn = morgan.compile(format);

console.log(fn.toString());複製程式碼

執行上面程式，輸出內容如下，其中tokens其實就是morgan。

function anonymous(tokens, req, res
/**/) {
  return ""
    + (tokens["method"](req, res, undefined) || "-") + " "
    + (tokens["url"](req, res, undefined) || "-") + " "
    + (tokens["status"](req, res, undefined) || "-") + " "
    + (tokens["res"](req, res, "content-length") || "-") + " - "
    + (tokens["response-time"](req, res, undefined) || "-") + " ms";
}複製程式碼

看下morgan.token()的定義，就很清晰了

function token (name, fn) {
  morgan[name] = fn
  return this
}複製程式碼

相關連結

《Nodejs學習筆記》：github.com/chyingp/nod…
官方文件：github.com/expressjs/m…

相關文章