python logging模組使用總結

目錄

• logging模組
  • 日誌級別
  • logging.basicConfig()函式中的具體引數含義
  • format引數用到的格式化資訊
  • 使用logging列印日誌到標準輸出
  • 使用logging.baseConfig()將日誌輸入到檔案
• 自定義Logger
  • 設定按照日誌檔案大小自動分割日誌寫入檔案
  • 按照間隔日期自動生成日誌檔案
• logging 模組在Flask中的使用

logging模組

日誌級別

• CRITICAL 50
• ERROR 40
• WARNING 30
• INFO 20
• DEBUG 10

logging.basicConfig()函式中的具體引數含義

• filename：指定的檔名建立FiledHandler，這樣日誌會被儲存在指定的檔案中；
• filemode：檔案開啟方式，在指定了filename時使用這個引數，預設值為“w”還可指定為“a”；
• format：指定handler使用的日誌顯示格式；
• datefmt：指定日期時間格式。，格式參考strftime時間格式化（下文）
• level：設定rootlogger的日誌級別
• stream：用指定的stream建立StreamHandler。可以指定輸出到sys.stderr,sys.stdout或者檔案，預設為sys.stderr。若同時列出了filename和stream兩個引數，則stream引數會被忽略。

format引數用到的格式化資訊

引數	描述
%(name)s	Logger的名字
%(levelno)s	數字形式的日誌級別
%(levelname)s	文字形式的日誌級別
%(pathname)s	呼叫日誌輸出函式的模組的完整路徑名，可能沒有
%(filename)s	呼叫日誌輸出函式的模組的檔名
%(module)s	呼叫日誌輸出函式的模組名
%(funcName)s	呼叫日誌輸出函式的函式名
%(lineno)d	呼叫日誌輸出函式的語句所在的程式碼行
%(created)f	當前時間，用UNIX標準的表示時間的浮 點數表示
%(relativeCreated)d	輸出日誌資訊時的，自Logger建立以 來的毫秒數
%(asctime)s	字串形式的當前時間。預設格式是 “2003-07-08 16:49:45,896”。逗號後面的是毫秒
%(thread)d	執行緒ID。可能沒有
%(threadName)s	執行緒名。可能沒有
%(process)d	程式ID。可能沒有
%(message)s	使用者輸出的訊息

使用logging列印日誌到標準輸出

import logging
logging.debug('debug message')
logging.info('info message')
logging.warning('warning message')

使用logging.baseConfig()將日誌輸入到檔案

import os

logging.basicConfig(
    filename=os.path.join(os.getcwd(),'all.log'),
    level=logging.DEBUG,
    format='%(asctime)s  %(filename)s : %(levelname)s  %(message)s',  # 定義輸出log的格式
    filemode='a',
    datefmt='%Y-%m-%d %A %H:%M:%S',
)

logging.debug('this is a message')

自定義Logger

設定按照日誌檔案大小自動分割日誌寫入檔案

import logging
from logging import handlers


class Logger(object):
    level_relations = {
        'debug': logging.DEBUG,
        'info': logging.INFO,
        'warning': logging.WARNING,
        'error': logging.ERROR,
        'crit': logging.CRITICAL
    }

    def __init__(self, filename, level='info', when='D', backCount=3,
                 fmt='%(asctime)s - %(pathname)s[line:%(lineno)d] - %(levelname)s: %(message)s'):
        self.logger = logging.getLogger(filename)
        format_str = logging.Formatter(fmt)  # 設定日誌格式
        self.logger.setLevel(self.level_relations.get(level))  # 設定日誌級別

        # 向控制檯輸出日誌
        stream_handler = logging.StreamHandler()
        stream_handler.setFormatter(format_str)
        self.logger.addHandler(stream_handler)

        # 日誌按檔案大小寫入檔案
        # 1MB = 1024 * 1024 bytes
        # 這裡設定檔案的大小為500MB
        rotating_file_handler = handlers.RotatingFileHandler(
            filename=filename, mode='a', maxBytes=1024 * 1024 * 500, backupCount=5, encoding='utf-8')
        rotating_file_handler.setFormatter(format_str)
        self.logger.addHandler(rotating_file_handler)


log = Logger('all.log', level='info')

log.logger.info('[測試log] hello, world')

按照間隔日期自動生成日誌檔案

import logging
from logging import handlers


class Logger(object):
    level_relations = {
        'debug': logging.DEBUG,
        'info': logging.INFO,
        'warning': logging.WARNING,
        'error': logging.ERROR,
        'crit': logging.CRITICAL
    }

    def __init__(self, filename, level='info', when='D', backCount=3,
                 fmt='%(asctime)s - %(pathname)s[line:%(lineno)d] - %(levelname)s: %(message)s'):
        self.logger = logging.getLogger(filename)
        format_str = logging.Formatter(fmt)  # 設定日誌格式
        self.logger.setLevel(self.level_relations.get(level))  # 設定日誌級別

        # 往檔案裡寫入
        # 指定間隔時間自動生成檔案的處理器
        timed_rotating_file_handler = handlers.TimedRotatingFileHandler(
            filename=filename, when=when, backupCount=backCount, encoding='utf-8')

        # 例項化TimedRotatingFileHandler
        # interval是時間間隔，backupCount是備份檔案的個數，如果超過這個個數，就會自動刪除，when是間隔的時間單位，單位有以下幾種：
        # S 秒
        # M 分
        # H 小時、
        # D 天、
        # W 每星期（interval==0時代表星期一）
        # midnight 每天凌晨
        timed_rotating_file_handler.setFormatter(format_str)  # 設定檔案裡寫入的格式
        self.logger.addHandler(timed_rotating_file_handler)

        # 往螢幕上輸出
        stream_handler = logging.StreamHandler()
        stream_handler.setFormatter(format_str)
        self.logger.addHandler(stream_handler)


log = Logger('all.log', level='info')
log.logger.info('[測試log] hello, world')

logging 模組在Flask中的使用

我在使用Flask的過程中看了很多Flask關於logging的文件，但使用起來不是很順手，於是自己就根據Flask的官方文件寫了如下的log模組，以便整合到Flask中使用。

restful api 專案目錄：

.
├── apps_api
│   ├── common
│   ├── models
│   └── resources
├── logs
├── migrations
│   └── versions
├── static
├── templates
├── test
└── utils
└── app.py
└── config.py
└── exts.py
└── log.py
└── manage.py
└── run.py
└── README.md
└── requirements.txt

log.py 檔案

# -*- coding: utf-8 -*-

import logging
from flask.logging import default_handler
import os

from logging.handlers import RotatingFileHandler
from logging import StreamHandler

BASE_DIR = os.path.dirname(os.path.abspath(__file__))

LOG_PATH = os.path.join(BASE_DIR, 'logs')

LOG_PATH_ERROR = os.path.join(LOG_PATH, 'error.log')
LOG_PATH_INFO = os.path.join(LOG_PATH, 'info.log')
LOG_PATH_ALL = os.path.join(LOG_PATH, 'all.log')

# 日誌檔案最大 100MB
LOG_FILE_MAX_BYTES = 100 * 1024 * 1024
# 輪轉數量是 10 個
LOG_FILE_BACKUP_COUNT = 10


class Logger(object):

    def init_app(self, app):
                # 移除預設的handler
        app.logger.removeHandler(default_handler)

        formatter = logging.Formatter(
            '%(asctime)s [%(thread)d:%(threadName)s] [%(filename)s:%(module)s:%(funcName)s] '
            '[%(levelname)s]: %(message)s'
        )

        # 將日誌輸出到檔案
        # 1 MB = 1024 * 1024 bytes
        # 此處設定日誌檔案大小為500MB，超過500MB自動開始寫入新的日誌檔案，歷史檔案歸檔
        file_handler = RotatingFileHandler(
            filename=LOG_PATH_ALL,
            mode='a',
            maxBytes=LOG_FILE_MAX_BYTES,
            backupCount=LOG_FILE_BACKUP_COUNT,
            encoding='utf-8'
        )

        file_handler.setFormatter(formatter)
        file_handler.setLevel(logging.INFO)

        stream_handler = StreamHandler()
        stream_handler.setFormatter(formatter)
        stream_handler.setLevel(logging.INFO)

        for logger in (
                # 這裡自己還可以新增更多的日誌模組，具體請參閱Flask官方文件
                app.logger,
                logging.getLogger('sqlalchemy'),
                logging.getLogger('werkzeug')

        ):
            logger.addHandler(file_handler)
            logger.addHandler(stream_handler)

在exts.py擴充套件檔案中新增log模組

# encoding: utf-8
from log import Logger

logger = Logger()

在app.py 檔案中引入logger模組，這個檔案是create_app的工廠模組。

# encoding: utf-8
from flask import Flask
from config import CONFIG
from exts import logger


def create_app():
    app = Flask(__name__)

    # 載入配置
    app.config.from_object(CONFIG)

        # 初始化logger
    logger.init_app(app)

    return app

執行run.py

# -*- coding: utf-8 -*-

from app import create_app

app = create_app()

if __name__ == '__main__':
    app.run()

$ python run.py
* Serving Flask app "app" (lazy loading)
* Environment: production
    WARNING: This is a development server. Do not use it in a production deployment.
    Use a production WSGI server instead.
* Debug mode: on
2019-07-08 08:15:50,396 [140735687508864:MainThread] [_internal.py:_internal:_log] [INFO]:  * Running on http://127.0.0.1:5000/ (Press CTRL+C to quit)
2019-07-08 08:15:50,397 [140735687508864:MainThread] [_internal.py:_internal:_log] [INFO]:  * Restarting with stat
2019-07-08 08:15:50,748 [140735687508864:MainThread] [_internal.py:_internal:_log] [WARNING]:  * Debugger is active!
2019-07-08 08:15:50,755 [140735687508864:MainThread] [_internal.py:_internal:_log] [INFO]:  * Debugger PIN: 234-828-739