Go 中快速、結構化、分級的日誌記錄。
在許多Go語言專案中,我們需要一個好的日誌記錄器能夠提供下面這些功能:
- 能夠將事件記錄到檔案中,而不是應用程式控制臺。
- 日誌切割-能夠根據檔案大小、時間或間隔等來切割日誌檔案。
- 支援不同的日誌級別。例如INFO,DEBUG,ERROR等。
- 能夠列印基本資訊,如呼叫檔案/函式名和行號,日誌時間等。
1.安裝
go get -u go.uber.org/zap
請注意,zap只支援Go的兩個最新的小版本。
2.預設的Go Logger
在介紹Uber-go的zap包之前,讓我們先看看Go語言提供的基本日誌功能。
Go語言提供的預設日誌包是golang.org/pkg/log/
2.1 實現Go Logger
實現一個Go語言中的日誌記錄器非常簡單:
建立一個新的日誌檔案,然後設定它為日誌的輸出位置
涉及到的api
OpenFile
既能開啟一個已經存在的檔案,也能建立並開啟一個新檔案。func OpenFile(name string, flag int, perm FileMode) (*File, error)
package main
import (
"log"
"os"
)
func initGoLogger() {
locatonPath := "/Users/codehope/remote-es-server-code/zap-demo/test.log"
locationLoggerFile, _ := os.OpenFile(locatonPath,os.O_CREATE|os.O_APPEND|os.O_RDWR,0744)
log.SetOutput(locationLoggerFile)
}
func main() {
initGoLogger()
log.Printf("info %s","message")
}
當我們執行上面的程式碼,我們能看到一個test.log
檔案被建立,下面的內容會被新增到這個日誌檔案中
2021/11/02 14:08:43 info message
2.2 Go Logger的優勢和劣勢
優勢
- 它最大的優點是使用非常簡單。我們可以設定任何io.Writer作為日誌記錄輸出並向其傳送要寫入的日誌。
劣勢
- 僅限基本的日誌級別
- 只有一個Print選項。不支援INFO/DEBUG等多個級別。
- 對於錯誤日誌,它有Fatal和Panic,Fatal日誌通過呼叫os.Exit(1)來結束程式
- Panic日誌在寫入日誌訊息之後丟擲一個panic,但是它缺少一個ERROR日誌級別,這個級別可以在不丟擲panic或退出程式的情況下而記錄錯誤
- 缺乏日誌格式化的能力——例如記錄呼叫者的函式名和行號,格式化日期和時間格式。等等。
- 不提供日誌切割的能力。
3.Uber-go Zap
【Zap是非常快的、結構化的,分日誌級別的Go日誌庫。】
3.1 安裝
執行下面的命令安裝zap
go get -u go.uber.org/zap
3.2 配置Zap Logger
Zap提供了兩種型別的日誌記錄器—Sugared Logger
和Logger
。
在效能很好但不是很關鍵的上下文中,使用SugaredLogger
它比其他結構化日誌記錄包快4-10倍,並且支援結構化和printf風格的日誌記錄。在每一微秒和每一次記憶體分配都很重要的上下文中,使用Logger。
它甚至比SugaredLogger更快,記憶體分配次數也更少,但它只支援強型別的結構化日誌記錄。通過呼叫
zap.NewProduction()/zap.NewDevelopment()
或者zap.Example()
建立一個Logger。上面的每一個函式都將建立一個logger。唯一的區別在於它將記錄的資訊不同。例如production logger預設記錄呼叫函式資訊、日期和時間等。
通過Logger呼叫
Info/Error
等。預設情況下日誌都會列印到應用程式的console介面。
package main
import (
"go.uber.org/zap"
"net/http"
)
var logger *zap.Logger
func simpleHttpGet(url string) {
resp, err := http.Get(url)
if err != nil {
logger.Error(
"Error fetching url..",
zap.String("url", url),
zap.Error(err))
} else {
logger.Info("Success..",
zap.String("statusCode", resp.Status),
zap.String("url", url))
err := resp.Body.Close()
if err != nil {
return
}
}
}
func main() {
logger, _ = zap.NewProduction()
simpleHttpGet("https://www.baidu.com")
simpleHttpGet("https://www.google.com")
}
測試執行輸出結果:
{"level":"info","ts":1635834613.299716,"caller":"zap-demo/main.go:23","msg":"Success..","statusCode":"200 OK","url":"https://www.baidu.com"}
{"level":"error","ts":1635834643.3006458,"caller":"zap-demo/main.go:18","msg":"Error fetching url..","url":"https://www.google.com","error":"Get \"https://www.google.com\": dial tcp 185.45.6.103:443: i/o timeout","stacktrace":"main.simpleHttpGet\n\t/Users/codehope/remote-es-server-code/zap-demo/main.go:18\nmain.main\n\t/Users/codehope/remote-es-server-code/zap-demo/main.go:38\nruntime.main\n\t/usr/local/go/src/runtime/proc.go:255"}
在上面的程式碼中,我們首先建立了一個Logger,然後使用Info/ Error等Logger方法記錄訊息。
日誌記錄器方法的語法是這樣的:
func (log *Logger) MethodXXX(msg string, fields ...Field)
其中MethodXXX是一個可變引數函式,可以是Info / Error/ Debug / Panic等。每個方法都接受一個訊息字串和任意數量的zapcore.Field場引數。
每個zapcore.Field其實就是一組鍵值對引數。
3.3 Sugared Logger
現在讓我們使用Sugared Logger來實現相同的功能。
- 大部分的實現基本都相同。
- 惟一的區別是,我們通過呼叫主logger的. Sugar()方法來獲取一個SugaredLogger。
- 然後使用SugaredLogger以printf格式記錄語句
package main
import (
"go.uber.org/zap"
"net/http"
)
var sluggerLogger *zap.SugaredLogger
/*
simpleHttpGet 帶有日誌的http請求
*/
func simpleHttpGet(url string) {
resp, err := http.Get(url)
if err != nil {
sluggerLogger.Errorf(
"Error fetching url..,url = %s,err= %d",
url,
err)
} else {
sluggerLogger.Infof("Success..,statusCode=%s.url=%s",
resp.Status,
url)
err := resp.Body.Close()
if err != nil {
return
}
}
}
func main() {
logger, _ := zap.NewProduction()
sluggerLogger = logger.Sugar()
simpleHttpGet("https://www.baidu.com")
}
當你執行上面的程式碼會得到如下輸出:
{
"level":"info",
"ts":1635835735.4530501,
"caller":"zap-demo/sugerLoger.go:20",
"msg":"Success..,statusCode=200 OK.url=https://www.baidu.com"
}
【你應該注意到的了,到目前為止這兩個logger都列印輸出JSON結構格式。】
4.定製logger
4.1 將日誌寫入檔案而不是終端
我們要做的第一個更改是把日誌寫入檔案,而不是列印到應用程式控制臺。
【 我們將使用zap.New(…)方法來手動傳遞所有配置,而不是使用像zap.NewProduction()這樣的預置方法來建立logger 】
func New(core zapcore.Core, options ...Option) *Logger
zapcore.Core需要三個配置:
Encoder
編碼器(如何寫入日誌)我們將使用開箱即用的
NewJSONEncoder()
,並使用預先設定的ProductionEncoderConfig()
zapcore.NewJSONEncoder(zap.NewProductionEncoderConfig())
WriteSyncer
指定日誌將寫到哪裡去我們使用
zapcore.AddSync()
函式並且將開啟的檔案控制程式碼傳進去file, _ := os.Create("./test.log") writeSyncer := zapcore.AddSync(file)
LogLevel
哪種級別的日誌將被寫入
package main
import (
"fmt"
"go.uber.org/zap"
"go.uber.org/zap/zapcore"
"os"
)
/*
setJSONEncoder 設定logger編碼
*/
func setJSONEncoder() zapcore.Encoder {
return zapcore.NewJSONEncoder(zap.NewProductionEncoderConfig())
}
/*
setLoggerWrite 設定logger寫入檔案
*/
func setLoggerWrite() zapcore.WriteSyncer {
//create, _ := os.OpenFile("./test.log",os.O_CREATE|os.O_APPEND|os.O_RDWR,0744)
create, err := os.OpenFile("./test.log", os.O_CREATE|os.O_APPEND|os.O_RDWR, 0755)
if err != nil {
fmt.Println(err)
}
return zapcore.AddSync(create)
}
func main() {
var logger *zap.SugaredLogger
core := zapcore.NewCore(setJSONEncoder(), setLoggerWrite(), zap.InfoLevel)
logger = zap.New(core).Sugar()
for i := 0; i < 10; i++ {
logger.Infof("Info%d", i)
logger.Errorf("Error%d", i)
logger.Debugf("Debug%d", i)
logger.Warnf("Warn%d", i)
}
}
上面程式碼執行後,發現多了一個test.log,發現只寫入了Info,Error,Warn級別的log,Debug級別沒有寫入
{"level":"info","ts":1635837845.908652,"msg":"Info0"}
{"level":"error","ts":1635837845.908742,"msg":"Error0"}
{"level":"warn","ts":1635837845.9087548,"msg":"Warn0"}
{"level":"info","ts":1635837845.9087648,"msg":"Info1"}
{"level":"error","ts":1635837845.908774,"msg":"Error1"}
{"level":"warn","ts":1635837845.9087832,"msg":"Warn1"}
{"level":"info","ts":1635837845.908791,"msg":"Info2"}
{"level":"error","ts":1635837845.908799,"msg":"Error2"}
{"level":"warn","ts":1635837845.908808,"msg":"Warn2"}
{"level":"info","ts":1635837845.9088159,"msg":"Info3"}
{"level":"error","ts":1635837845.908824,"msg":"Error3"}
{"level":"warn","ts":1635837845.908832,"msg":"Warn3"}
{"level":"info","ts":1635837845.908841,"msg":"Info4"}
{"level":"error","ts":1635837845.908849,"msg":"Error4"}
{"level":"warn","ts":1635837845.908857,"msg":"Warn4"}
{"level":"info","ts":1635837845.908865,"msg":"Info5"}
{"level":"error","ts":1635837845.9088728,"msg":"Error5"}
{"level":"warn","ts":1635837845.908881,"msg":"Warn5"}
{"level":"info","ts":1635837845.908889,"msg":"Info6"}
{"level":"error","ts":1635837845.908897,"msg":"Error6"}
{"level":"warn","ts":1635837845.908905,"msg":"Warn6"}
{"level":"info","ts":1635837845.908913,"msg":"Info7"}
{"level":"error","ts":1635837845.908921,"msg":"Error7"}
{"level":"warn","ts":1635837845.908929,"msg":"Warn7"}
{"level":"info","ts":1635837845.908937,"msg":"Info8"}
{"level":"error","ts":1635837845.9089448,"msg":"Error8"}
{"level":"warn","ts":1635837845.9089532,"msg":"Warn8"}
{"level":"info","ts":1635837845.908961,"msg":"Info9"}
{"level":"error","ts":1635837845.908969,"msg":"Error9"}
{"level":"warn","ts":1635837845.9089768,"msg":"Warn9"}
4.2 將JSON Encoder更改為普通的Log Encoder
現在,我們希望將編碼器從JSON Encoder更改為普通Encoder。
為此,我們需要將NewJSONEncoder()
更改為NewConsoleEncoder()
。
zapcore.NewConsoleEncoder
/*
setJSONEncoder 設定logger編碼
*/
func setJSONEncoder() zapcore.Encoder {
return zapcore.NewConsoleEncoder(zap.NewProductionEncoderConfig())
}
當使用這些修改過的logger配置呼叫上述部分的main()函式時,以下輸出將列印在檔案——test.log中。
1.635838141476396e+09 info Info0
1.635838141476515e+09 error Error0
1.6358381414765272e+09 warn Warn0
1.635838141476535e+09 info Info1
1.635838141476552e+09 error Error1
1.6358381414765608e+09 warn Warn1
1.635838141476567e+09 info Info2
1.635838141476574e+09 error Error2
1.635838141476581e+09 warn Warn2
1.635838141476587e+09 info Info3
1.6358381414765928e+09 error Error3
1.635838141476599e+09 warn Warn3
1.635838141476606e+09 info Info4
1.635838141476612e+09 error Error4
1.635838141476618e+09 warn Warn4
4.3 更改編碼(格式化時間,日誌級別大寫)
鑑於我們對配置所做的更改,有下面問題:
- 時間是以非人類可讀的方式展示,例如1.572161051846623e+09
我們要做的第一件事是覆蓋預設的ProductionConfig(),並進行以下更改:
- 修改時間編碼器
- 在日誌檔案中使用大寫字母記錄日誌級別
/*
setJSONEncoder 設定logger編碼
*/
func setJSONEncoder() zapcore.Encoder {
encoderConfig := zap.NewProductionEncoderConfig()
encoderConfig.EncodeTime = zapcore.ISO8601TimeEncoder //轉換編碼的時間戳
encoderConfig.EncodeLevel = zapcore.CapitalLevelEncoder //編碼級別調整為大寫的級別輸出
return zapcore.NewConsoleEncoder(encoderConfig)
}
修改編碼配置後,重新執行後,test.log的內容:可以看到時間也被調整了,日誌級別的格式也都為大寫
2021-11-02T15:33:46.712+0800 INFO Info0
2021-11-02T15:33:46.712+0800 ERROR Error0
2021-11-02T15:33:46.712+0800 WARN Warn0
2021-11-02T15:33:46.712+0800 INFO Info1
2021-11-02T15:33:46.712+0800 ERROR Error1
2021-11-02T15:33:46.712+0800 WARN Warn1
2021-11-02T15:33:46.712+0800 INFO Info2
2021-11-02T15:33:46.712+0800 ERROR Error2
2021-11-02T15:33:46.712+0800 WARN Warn2
2021-11-02T15:33:46.712+0800 INFO Info3
2021-11-02T15:33:46.712+0800 ERROR Error3
2021-11-02T15:33:46.712+0800 WARN Warn3
2021-11-02T15:33:46.712+0800 INFO Info4
2021-11-02T15:33:46.712+0800 ERROR Error4
2021-11-02T15:33:46.712+0800 WARN Warn4
4.4 新增呼叫者詳細資訊
我們將修改zap logger程式碼,新增將呼叫函式資訊記錄到日誌中的功能。為此,我們將在zap.New(..)函式中新增一個Option。
執行後test.log的內容,加入了對應目錄/檔案 行數的日誌資訊
2021-11-02T15:37:42.035+0800 INFO zap-demo/customLogger.go:36 Info0
2021-11-02T15:37:42.035+0800 ERROR zap-demo/customLogger.go:37 Error0
2021-11-02T15:37:42.035+0800 WARN zap-demo/customLogger.go:39 Warn0
2021-11-02T15:37:42.035+0800 INFO zap-demo/customLogger.go:36 Info1
2021-11-02T15:37:42.035+0800 ERROR zap-demo/customLogger.go:37 Error1
2021-11-02T15:37:42.035+0800 WARN zap-demo/customLogger.go:39 Warn1
2021-11-02T15:37:42.035+0800 INFO zap-demo/customLogger.go:36 Info2
2021-11-02T15:37:42.035+0800 ERROR zap-demo/customLogger.go:37 Error2
2021-11-02T15:37:42.035+0800 WARN zap-demo/customLogger.go:39 Warn2
2021-11-02T15:37:42.035+0800 INFO zap-demo/customLogger.go:36 Info3
2021-11-02T15:37:42.035+0800 ERROR zap-demo/customLogger.go:37 Error3
2021-11-02T15:37:42.035+0800 WARN zap-demo/customLogger.go:39 Warn3
2021-11-02T15:37:42.035+0800 INFO zap-demo/customLogger.go:36 Info4
2021-11-02T15:37:42.035+0800 ERROR zap-demo/customLogger.go:37 Error4
2021-11-02T15:37:42.035+0800 WARN zap-demo/customLogger.go:39 Warn4
5.使用Lumberjack進行日誌切割歸檔
這個日誌程式中唯一缺少的就是日誌切割歸檔功能。
Zap本身不支援切割歸檔日誌檔案
為了新增日誌切割歸檔功能,我們將使用第三方庫Lumberjack
來實現。
安裝執行下面的命令安裝Lumberjack
go get -u github.com/natefinch/lumberjack
要在zap中加入Lumberjack支援,我們需要修改WriteSyncer
程式碼。我們將按照下面的程式碼修改getLogWriter()
函式:
func setLoggerWrite() zapcore.WriteSyncer {
//create, _ := os.OpenFile("./test.log",os.O_CREATE|os.O_APPEND|os.O_RDWR,0744)
//create, err := os.OpenFile("./test.log", os.O_CREATE|os.O_APPEND|os.O_RDWR, 0755)
//if err != nil {
// fmt.Println(err)
//}
l :=&lumberjack.Logger{
Filename:"./test.log", //Filename 是要寫入日誌的檔案。
MaxSize: 1, //MaxSize 是日誌檔案在輪換之前的最大大小(以兆位元組為單位)。它預設為 100 兆位元組
MaxBackups: 1,//MaxBackups 是要保留的最大舊日誌檔案數。預設是保留所有舊的日誌檔案(儘管 MaxAge 可能仍會導致它們被刪除。)
MaxAge: 30,//MaxAge 是根據檔名中編碼的時間戳保留舊日誌檔案的最大天數。
Compress: true,//壓縮
LocalTime: true, //LocalTime 確定用於格式化備份檔案中的時間戳的時間是否是計算機的本地時間。預設是使用 UTC 時間。
}
return zapcore.AddSync(l)
}
測試一下程式碼:每次寫入5000條日誌,多次寫入後
func main() {
var logger *zap.SugaredLogger
core := zapcore.NewCore(setJSONEncoder(), setLoggerWrite(), zap.InfoLevel)
logger = zap.New(core,zap.AddCaller()).Sugar()
for i := 0; i < 5000; i++ {
logger.Infof("Info%d", i)
logger.Errorf("Error%d", i)
logger.Debugf("Debug%d", i)
logger.Warnf("Warn%d", i)
}
}
test.log是我們自己一開始建立的log,test-2021-11…是lumberjack幫我們切割出來的新的日誌檔案,x x.log.gz是備份檔案
6.Gin框架新增Zap日誌庫
6.1 整理日誌包
首先我們建立一個單獨的專案,並且把日誌配置相關的放到專案單獨的一個包中
目錄結構:
~/remote-es-server-code/zap-demo tree
.
├── go.mod
├── go.sum
├── logs
├── main.go
└── setup
└── CwLogger.go
2 directories, 4 files
CwLogger.go
package setup
import (
"github.com/natefinch/lumberjack"
"go.uber.org/zap"
"go.uber.org/zap/zapcore"
)
var logger *zap.SugaredLogger
/*
setJSONEncoder 設定logger編碼
*/
func setJSONEncoder() zapcore.Encoder {
encoderConfig := zap.NewProductionEncoderConfig()
encoderConfig.EncodeTime = zapcore.ISO8601TimeEncoder //轉換編碼的時間戳
encoderConfig.EncodeLevel = zapcore.CapitalLevelEncoder //編碼級別調整為大寫的級別輸出
return zapcore.NewConsoleEncoder(encoderConfig)
}
/*
setLoggerWrite 設定logger寫入檔案
*/
func setLoggerWrite() zapcore.WriteSyncer {
l :=&lumberjack.Logger{
Filename:"./logs/test.log",
MaxSize: 1,
MaxBackups: 1,
MaxAge: 30,
Compress: true,
LocalTime: true,
}
return zapcore.AddSync(l)
}
/*
InitLogger 初始化 logger
*/
func InitLogger() {
core := zapcore.NewCore(setJSONEncoder(), setLoggerWrite(), zap.InfoLevel)
logger = zap.New(core, zap.AddCaller()).Sugar()
}
func CwLog() *zap.SugaredLogger{
return logger
}
先簡單測試一下執行:
package main
import "zap-demo/setup"
func init() {
setup.InitLogger() //初始化log
}
func main() {
setup.CwLog().Warn("this is a test!") //測試log
}
~/remote-es-server-code/zap-demo tree
.
├── go.mod
├── go.sum
├── logs
│ └── test.log # 日誌檔案生成成功
├── main.go
└── setup
└── CwLogger.go
2 directories, 5 files
test.log 測試日誌檔案內容:
2021-11-02T16:27:41.032+0800 WARN zap-demo/main.go:9 this is a test!
6.2 替換gin框架的預設日誌中介軟體
安裝gin go get -u github.com/gin-gonic/gin
模版初始化
package main
import (
"github.com/gin-gonic/gin"
"zap-demo/setup"
)
func init() {
setup.InitLogger()
}
func main() {
router := gin.Default()
router.GET("/", func(context *gin.Context) {
context.JSON(200,"Hello Gin")
})
err := router.Run(":8008")
if err != nil {
return
}
}
執行時,可以發現Default的初始化方式,自帶log的中介軟體,但是這個中介軟體我們沒有辦法去控制,所以要替換成我們的
//預設返回一個 Engine 例項,其中已經附加了 Logger 和 Recovery 中介軟體。
func Default() *Engine {
debugPrintWARNINGDefault()
engine := New()
engine.Use(Logger(), Recovery()) //這裡我們也需要改造Recovery中介軟體
return engine
}
func New() *Engine {}
使用New的話是預設沒有任何日誌中介軟體在裡面的,所以我們就使用這個來初始化gin引擎,並自己新增我們日誌的中介軟體
// GinLogger 接收gin框架預設的日誌
func GinLogger(logger *zap.Logger) gin.HandlerFunc {
return func(c *gin.Context) {
start := time.Now()
path := c.Request.URL.Path
query := c.Request.URL.RawQuery
c.Next()
cost := time.Since(start)
logger.Info(path,
zap.Int("status", c.Writer.Status()),
zap.String("method", c.Request.Method),
zap.String("path", path),
zap.String("query", query),
zap.String("ip", c.ClientIP()),
zap.String("user-agent", c.Request.UserAgent()),
zap.String("errors", c.Errors.ByType(gin.ErrorTypePrivate).String()),
zap.Duration("cost", cost),
)
}
}
// GinRecovery recover掉專案可能出現的panic(根據gin框架原始碼recover中介軟體改的)
func GinRecovery(logger *zap.Logger, stack bool) gin.HandlerFunc {
return func(c *gin.Context) {
defer func() {
if err := recover(); err != nil {
// Check for a broken connection, as it is not really a
// condition that warrants a panic stack trace.
var brokenPipe bool
if ne, ok := err.(*net.OpError); ok {
if se, ok := ne.Err.(*os.SyscallError); ok {
if strings.Contains(strings.ToLower(se.Error()), "broken pipe") || strings.Contains(strings.ToLower(se.Error()), "connection reset by peer") {
brokenPipe = true
}
}
}
httpRequest, _ := httputil.DumpRequest(c.Request, false)
if brokenPipe {
logger.Error(c.Request.URL.Path,
zap.Any("error", err),
zap.String("request", string(httpRequest)),
)
// If the connection is dead, we can't write a status to it.
c.Error(err.(error)) // nolint: errcheck
c.Abort()
return
}
if stack {
logger.Error("[Recovery from panic]",
zap.Any("error", err),
zap.String("request", string(httpRequest)),
zap.String("stack", string(debug.Stack())),
)
} else {
logger.Error("[Recovery from panic]",
zap.Any("error", err),
zap.String("request", string(httpRequest)),
)
}
c.AbortWithStatus(http.StatusInternalServerError)
}
}()
c.Next()
}
}
測試:
package main
import (
"github.com/gin-gonic/gin"
"zap-demo/setup"
)
func init() {
setup.InitLogger()
}
func main() {
router := gin.New()
router.Use(setup.GinLogger(setup.CwLog()),setup.GinRecovery(setup.CwLog(),true))
router.GET("/", func(context *gin.Context) {
context.JSON(200,"Hello Gin")
})
err := router.Run(":8008")
if err != nil {
return
}
}
訪問:localhost:8008/ 測試 生成了新的test.log,內容:可以看到我們的請求被我們自定義的日誌中介軟體控制啦!
2021-11-02T16:56:06.092+0800 INFO setup/CwLogger.go:60 / {"status": 200, "method": "GET", "path": "/", "query": "", "ip": "::1", "user-agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36", "errors": "", "cost": 0.000044822}
本作品採用《CC 協議》,轉載必須註明作者和本文連結