Loguru：Python 日誌終極解決方案

關注微信公眾號：K哥爬蟲，QQ交流群：808574309，持續分享爬蟲進階、JS/安卓逆向等技術乾貨！

日誌的重要性

日誌的作用非常重要，日誌可以記錄使用者的操作、程式的異常，還可以為資料分析提供依據，日誌的存在意義就是為了能夠在程式在執行過程中記錄錯誤，方便維護和除錯，能夠快速定位出錯的地方，減少維護成本。每個程式設計師都應該知道，不是為了記錄日誌而記錄日誌，日誌也不是隨意記的。要實現能夠只通過日誌檔案還原整個程式執行的過程，達到能透明地看到程式裡執行情況，每個執行緒、每個過程到底執行到哪的目的。日誌就像飛機的黑匣子一樣，應當能夠復原異常的整個現場乃至細節！

常見日誌記錄方式

print()

最常見的是把輸出函式 print() 當作日誌記錄的方式，直接列印各種提示資訊，常見於個人練習專案裡，通常是懶得單獨配置日誌，而且專案太小不需要日誌資訊，不需要上線，不需要持續執行，完整的專案不推薦直接列印日誌資訊，現實中也幾乎沒有人這麼做。

自寫模板

我們可以在不少小專案裡面看到作者自己寫了一個日誌模板，通常利用 print() 或者 sys.stdout 稍微封裝一下即可實現簡單的日誌輸出，這裡的 sys.stdout 是 Python 中的標準輸出流，print() 函式是對 sys.stdout 的高階封裝，當我們在 Python 中列印物件呼叫 print(obj) 時候，事實上是呼叫了 sys.stdout.write(obj+'\n')，print() 將內容列印到了控制檯，然後追加了一個換行符 \n。

自寫日誌模板適合比較小的專案，可以按照自己的喜好編寫模板，不需要太多複雜配置，方便快捷，但是這種記錄日誌的方式並不是很規範，有可能你自己覺得閱讀體驗不錯，但是別人在接觸你的專案的時候往往需要花費一定的時間去學習日誌的邏輯、格式、輸出方式等，比較大的專案同樣不推薦這種方法。

一個簡單的自寫日誌模板舉例：

日誌模板 log.py：

import sys
import traceback
import datetime


def getnowtime():
    return datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")


def _log(content, level, *args):
    sys.stdout.write("%s - %s - %s\n" % (getnowtime(), level, content))
    for arg in args:
        sys.stdout.write("%s\n" % arg)


def debug(content, *args):
    _log(content, 'DEBUG', *args)


def info(content, *args):
    _log(content, 'INFO', *args)


def warn(content, *args):
    _log(content, 'WARN', *args)


def error(content, *args):
    _log(content, 'ERROR', *args)


def exception(content):
    sys.stdout.write("%s - %s\n" % (getnowtime(), content))
    traceback.print_exc(file=sys.stdout)

呼叫日誌模組：

import log


log.info("This is log info!")
log.warn("This is log warn!")
log.error("This is log error!")
log.debug("This is log debug!")

people_info = {"name": "Bob", "age": 20}

try:
    gender = people_info["gender"]
except Exception as error:
    log.exception(error)

日誌輸出：

2021-10-19 09:50:58 - INFO - This is log info!
2021-10-19 09:50:58 - WARN - This is log warn!
2021-10-19 09:50:58 - ERROR - This is log error!
2021-10-19 09:50:58 - DEBUG - This is log debug!
2021-10-19 09:50:58 - 'gender'
Traceback (most recent call last):
  File "D:/python3Project/test.py", line 18, in <module>
    gender = people_info["gender"]
KeyError: 'gender'

Logging

在一個完整的專案中，大多數人都會引入專門的日誌記錄庫，而 Python 自帶的標準庫 logging 就是專門為日誌記錄而生的，logging 模組定義的函式和類為應用程式和庫的開發實現了一個靈活的事件日誌系統。由標準庫模組提供日誌記錄 API 的關鍵好處是所有 Python 模組都可以使用這個日誌記錄功能。所以，你的應用日誌可以將你自己的日誌資訊與來自第三方模組的資訊整合起來。

logging 模組雖然強大，但是其配置也是比較繁瑣的，在大型專案中通常需要單獨初始化日誌、配置日誌格式等等，K哥在日常使用中通常都會對 logging 做如下的封裝寫法，使日誌可以按天儲存，保留15天的日誌，可以配置是否輸出到控制檯和檔案，如下所示：

# 實現按天分割保留日誌


import os
import sys
import logging
from logging import handlers


PARENT_DIR = os.path.split(os.path.realpath(__file__))[0]  # 父目錄
LOGGING_DIR = os.path.join(PARENT_DIR, "log")              # 日誌目錄
LOGGING_NAME = "test"                                      # 日誌檔名

LOGGING_TO_FILE = True                                     # 日誌輸出檔案
LOGGING_TO_CONSOLE = True                                  # 日誌輸出到控制檯

LOGGING_WHEN = 'D'                                         # 日誌檔案切分維度
LOGGING_INTERVAL = 1                                       # 間隔少個 when 後，自動重建檔案
LOGGING_BACKUP_COUNT = 15                                  # 日誌保留個數，0 保留所有日誌
LOGGING_LEVEL = logging.DEBUG                              # 日誌等級
LOGGING_suffix = "%Y.%m.%d.log"                            # 舊日誌檔名

# 日誌輸出格式
LOGGING_FORMATTER = "%(levelname)s - %(asctime)s - process:%(process)d - %(filename)s - %(name)s - line:%(lineno)d - %(module)s - %(message)s"


def logging_init():
    if not os.path.exists(LOGGING_DIR):
        os.makedirs(LOGGING_DIR)
    logger = logging.getLogger()
    logger.setLevel(LOGGING_LEVEL)
    formatter = logging.Formatter(LOGGING_FORMATTER)

    if LOGGING_TO_FILE:
        file_handler = handlers.TimedRotatingFileHandler(filename=os.path.join(LOGGING_DIR, LOGGING_NAME), when=LOGGING_WHEN, interval=LOGGING_INTERVAL, backupCount=LOGGING_BACKUP_COUNT)
        file_handler.suffix = LOGGING_suffix
        file_handler.setFormatter(formatter)
        logger.addHandler(file_handler)

    if LOGGING_TO_CONSOLE:
        stream_handler = logging.StreamHandler(sys.stderr)
        stream_handler.setFormatter(formatter)
        logger.addHandler(stream_handler)


def logging_test():
    logging.info("This is log info!")
    logging.warning("This is log warn!")
    logging.error("This is log error!")
    logging.debug("This is log debug!")
    people_info = {"name": "Bob", "age": 20}

    try:
        gender = people_info["gender"]
    except Exception as error:
        logging.exception(error)


if __name__ == "__main__":
    logging_init()
    logging_test()

輸出日誌：

INFO - 2021-10-19 11:28:10,103 - process:15144 - test.py - root - line:52 - test - This is log info!
WARNING - 2021-10-19 11:28:10,105 - process:15144 - test.py - root - line:53 - test - This is log warn!
ERROR - 2021-10-19 11:28:10,105 - process:15144 - test.py - root - line:54 - test - This is log error!
DEBUG - 2021-10-19 11:28:10,105 - process:15144 - test.py - root - line:55 - test - This is log debug!
ERROR - 2021-10-19 11:28:10,105 - process:15144 - test.py - root - line:61 - test - 'gender'
Traceback (most recent call last):
  File "D:/python3Project/test.py", line 59, in logging_test
    gender = people_info["gender"]
KeyError: 'gender'

它在控制檯中是這樣的：

當然，如果你不需要很複雜的功能，希望簡潔一點，僅僅需要在控制檯輸出一下日誌的話，也可以只進行簡單的配置：

import logging
logging.basicConfig(level=logging.DEBUG, format='%(asctime)s - %(name)s - %(levelname)s - %(message)s')
logging.getLogger()

更優雅的解決方案：Loguru

對於 logging 模組，即便是簡單的使用，也需要自己定義格式，這裡介紹一個更加優雅、高效、簡潔的第三方模組：loguru，官方的介紹是：Loguru is a library which aims to bring enjoyable logging in Python. Loguru 旨在為 Python 帶來愉快的日誌記錄。這裡引用官方的一個 GIF 來快速演示其功能：

安裝

Loguru 僅支援 Python 3.5 及以上的版本，使用 pip 安裝即可：

pip install loguru

開箱即用

Loguru 的主要概念是隻有一個：logger

from loguru import logger

logger.info("This is log info!")
logger.warning("This is log warn!")
logger.error("This is log error!")
logger.debug("This is log debug!")

控制檯輸出：

可以看到不需要手動設定，Loguru 會提前配置一些基礎資訊，自動輸出時間、日誌級別、模組名、行號等資訊，而且根據等級的不同，還自動設定了不同的顏色，方便觀察，真正做到了開箱即用！

add() / remove()

如果想自定義日誌級別，自定義日誌格式，儲存日誌到檔案該怎麼辦？與 logging 模組不同，不需要 Handler，不需要 Formatter，只需要一個 add() 函式就可以了，例如我們想把日誌儲存到檔案：

from loguru import logger

logger.add('test.log')
logger.debug('this is a debug')

我們不需要像 logging 模組一樣再宣告一個 FileHandler 了，就一行 add() 語句搞定，執行之後會發現目錄下 test.log 裡面同樣出現了剛剛控制檯輸出的 debug 資訊。

與 add() 語句相反，remove() 語句可以刪除我們新增的配置：

from loguru import logger

log_file = logger.add('test.log')
logger.debug('This is log debug!')
logger.remove(log_file)
logger.debug('This is another log debug!')

此時控制檯會輸出兩條 debug 資訊：

2021-10-19 13:53:36.610 | DEBUG    | __main__:<module>:86 - This is log debug!
2021-10-19 13:53:36.611 | DEBUG    | __main__:<module>:88 - This is another log debug!

而 test.log 日誌檔案裡面只有一條 debug 資訊，原因就在於我們在第二條 debug 語句之前使用了 remove() 語句。

完整引數

Loguru 對輸出到檔案的配置有非常強大的支援，比如支援輸出到多個檔案，分級別分別輸出，過大建立新檔案，過久自動刪除等等。下面我們來詳細看一下 add() 語句的詳細引數：

基本語法：

add(sink, *, level='DEBUG', format='<green>{time:YYYY-MM-DD HH:mm:ss.SSS}</green> | <level>{level: <8}</level> | <cyan>{name}</cyan>:<cyan>{function}</cyan>:<cyan>{line}</cyan> - <level>{message}</level>', filter=None, colorize=None, serialize=False, backtrace=True, diagnose=True, enqueue=False, catch=True, **kwargs)

基本引數釋義：

sink：可以是一個 file 物件，例如 sys.stderr 或 open('file.log', 'w')，也可以是 str 字串或者 pathlib.Path 物件，即檔案路徑，也可以是一個方法，可以自行定義輸出實現，也可以是一個 logging 模組的 Handler，比如 FileHandler、StreamHandler 等，還可以是 coroutine function，即一個返回協程物件的函式等。
level：日誌輸出和儲存級別。
format：日誌格式模板。
filter：一個可選的指令，用於決定每個記錄的訊息是否應該傳送到 sink。
colorize：格式化訊息中包含的顏色標記是否應轉換為用於終端著色的 ansi 程式碼，或以其他方式剝離。如果沒有，則根據 sink 是否為 tty（電傳打字機縮寫）自動做出選擇。
serialize：在傳送到 sink 之前，是否應首先將記錄的訊息轉換為 JSON 字串。
backtrace：格式化的異常跟蹤是否應該向上擴充套件，超出捕獲點，以顯示生成錯誤的完整堆疊跟蹤。
diagnose：異常跟蹤是否應顯示變數值以簡化除錯。建議在生產環境中設定 False，避免洩露敏感資料。
enqueue：要記錄的訊息是否應在到達 sink 之前首先通過多程式安全佇列，這在通過多個程式記錄到檔案時很有用，這樣做的好處還在於使日誌記錄呼叫是非阻塞的。
catch：是否應自動捕獲 sink 處理日誌訊息時發生的錯誤，如果為 True，則會在 sys.stderr 上顯示異常訊息，但該異常不會傳播到 sink，從而防止應用程式崩潰。
**kwargs：僅對配置協程或檔案接收器有效的附加引數（見下文）。

當且僅當 sink 是協程函式時，以下引數適用：

loop：將在其中排程和執行非同步日誌記錄任務的事件迴圈。如果為 None，將使用 asyncio.get_event_loop() 返回的迴圈。

當且僅當 sink 是檔案路徑時，以下引數適用：

rotation：一種條件，指示何時應關閉當前記錄的檔案並開始新的檔案。
retention ：過濾舊檔案的指令，在迴圈或程式結束期間會刪除舊檔案。
compression：日誌檔案在關閉時應轉換為的壓縮或存檔格式。
delay：是在配置 sink 後立即建立檔案，還是延遲到第一條記錄的訊息時再建立。預設為 False。
mode：內建 open() 函式的開啟模式，預設為 a（以追加模式開啟檔案）。
buffering：內建 open() 函式的緩衝策略，預設為1（行緩衝檔案）。
encoding：內建 open() 函式的檔案編碼，如果 None，則預設為 locale.getpreferredencoding()。
**kwargs：其他傳遞給內建 open() 函式的引數。

這麼多引數可以見識到 add() 函式的強大之處，僅僅一個函式就能實現 logging 模組的諸多功能，接下來介紹幾個比較常用的方法。

rotation 日誌檔案分隔

add() 函式的 rotation 引數，可以實現按照固定時間建立新的日誌檔案，比如設定每天 0 點新建立一個 log 檔案：

logger.add('runtime_{time}.log', rotation='00:00')

設定超過 500 MB 新建立一個 log 檔案：

logger.add('runtime_{time}.log', rotation="500 MB")

設定每隔一個周新建立一個 log 檔案：

logger.add('runtime_{time}.log', rotation='1 week')

retention 日誌保留時間

add() 函式的 retention 引數，可以設定日誌的最長保留時間，比如設定日誌檔案最長保留 15 天：

logger.add('runtime_{time}.log', retention='15 days')

設定日誌檔案最多保留 10 個：

logger.add('runtime_{time}.log', retention=10)

也可以是一個 datetime.timedelta 物件，比如設定日誌檔案最多保留 5 個小時：

import datetime
from loguru import logger

logger.add('runtime_{time}.log', retention=datetime.timedelta(hours=5))

compression 日誌壓縮格式

add() 函式的 compression 引數，可以配置日誌檔案的壓縮格式，這樣可以更加節省儲存空間，比如設定使用 zip 檔案格式儲存：

logger.add('runtime_{time}.log', compression='zip')

其格式支援：gz、bz2、xz、lzma、tar、tar.gz、tar.bz2、tar.xz

字串格式化

Loguru 在輸出 log 的時候還提供了非常友好的字串格式化功能，相當於 str.format()：

logger.info('If you are using Python {}, prefer {feature} of course!', 3.6, feature='f-strings')

輸出：

2021-10-19 14:59:06.412 | INFO     | __main__:<module>:3 - If you are using Python 3.6, prefer f-strings of course!

異常追溯

在 Loguru 裡可以直接使用它提供的裝飾器就可以直接進行異常捕獲，而且得到的日誌是無比詳細的：

from loguru import logger


@logger.catch
def my_function(x, y, z):
    # An error? It's caught anyway!
    return 1 / (x + y + z)


my_function(0, 0, 0)