【Python程序开发系列】一文了解日志模块logging的使用场景和方法

一、引言

????????logging 是 Python 标准库中的一个模块，用于记录日志信息。使用 logging 模块可以在应用程序中添加日志功能，方便调试和错误追踪。

????????logging模块提供了两种记录日志的方式：

• 第一种方式是使用logging提供的模块级别的函数

• 第二种方式是使用Logging日志系统的四大组件

二、使用logging提供的模块级别的函数

案例test.py：

import logging
#默认的warning级别，只输出warning以上的
#使用basicConfig()来指定日志级别和相关信息
logging.basicConfig(
                    level=logging.DEBUG, #设置日志输出格式
                    filename="test.log", #log日志输出的文件位置和文件名
                    filemode="w", #文件的写入格式，w为重新写入文件，默认是追加
                    format="%(asctime)s - %(name)s - %(levelname)-9s - %(filename)-8s : %(lineno)s line - %(message)s", #日志输出的格式
                    datefmt="%Y-%m-%d %H:%M:%S", #时间输出的格式
                    )

logging.debug("This is  DEBUG !!")
logging.info("This is  INFO !!")
logging.warning("This is  WARNING !!")
logging.error("This is  ERROR !!")
logging.critical("This is  CRITICAL !!")
#在实际项目中，捕获异常的时候，如果使用logging.error(e)，只提示指定的logging信息，不会出现
#为什么会错的信息，所以要使用logging.exception(e)去记录。

try:
    3/0
except Exception as e:
    # logging.error(e)
    logging.exception(e)

输出到文件：

直接使用logging提供的模块级别的函数适用简单的场景，一般是单个模块下，logging.basicConfig()文件和控制台输出只能二选一。

三、Logging日志系统的四大组件

3.1 logging模块的基本组成

logging模块主要由以下几个组件组成：

• Logger：?日志记录器，用于产生日志记录，嵌入在程序中。

  • logger = logging.getLogger('example_logger')

• Handler：?日志处理器，将（logger产生）日志记录发送到合适的目的输出。

  • file_handler?=?logging.FileHandler('example.log')

  • console_handler = logging.StreamHandler()

• Filter：?日志过滤器，提供了更精细的工具来决定输出哪些日志记录。

  • （略）

• Formatter：?日志格式器，指定日志记录的最终输出格式。

  • formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')

logging工作流程：以记录器Logger为对象，设置合理的处理器Handler，辅助以筛选器Filter、格式器Formatter，设置日志级别以及常用的方法，最终输出理想的日志记录给指定目标。一个Logger可以包含多个Handler，每个Handler可以设置自己的Filter和Formatter。Logger 是负责记录日志消息的，然后我们要把这些日志消息放到哪里，交给 Handler 处理，Filter 则帮我们过滤信息（不限于通过级别过滤），Formatter 用来设置日志内容和格式。

3.2 日志记录器

# 创建日志记录器
logger = logging.getLogger('example_logger')
logger.setLevel(logging.DEBUG)
logger.basicConfig()

创建一个日志记录器对象logger。日志记录器对象负责产生日志记录，可以调用其不同的方法产生不同级别的日志记录：

• logger.debug()
• logger.critical()
• logger.error()
• logger.warning()
• logger.info()

日志记录器默认的日志记录级别为warning，也可以设置日志级别。

3.3 文件处理器

#?创建文件处理器
file_handler?=?logging.FileHandler('example.log')
# logFiledate= datetime.datetime.now().strftime("%Y-%m-%d-%H-%M-%S") + ".log"
# file_handler?=?logging.FileHandler(f"data/{xx}/{xx}/logs/{logFiledate}")
# 配置处理器的日志级别
file_handler.setLevel(logging.ERROR)
# 配置处理器的格式
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
file_handler.setFormatter(formatter)
# 将处理器添加到记录器
logger.addHandler(file_handler)

FileHandler是将日志记录输出到文件的处理器。先创建、再配置、最后将这个文件处理器添加到日志记录器中。日志处理器只处理日志级别高于等于日志记录器设置的级别的日志记录。

3.4 控制台处理器

#?创建控制台处理器
console_handler = logging.StreamHandler()
#?配置处理器的日志级别
console_handler.setLevel(logging.DEBUG)
# 配置处理器的格式
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
console_handler.setFormatter(formatter)
#?将处理器添加到记录器
logger.addHandler(console_handler)

StreamHandler是将日志输出到控制台的处理器。先创建、再配置、最后将这个文件处理器添加到日志记录器中。日志处理器只处理日志级别高于等于日志记录器设置的级别的日志记录。

四、多模块使用logging

????????一个项目包含多个模块。在多模块的应用程序中使用日志记录是一种常见的做法，它可以帮助您在不同模块之间进行日志信息的传递和记录。日志记录器是单例模式（Singleton），logging模块保证在同一个解释器内，多次调用logging.getLogger()都会返回同一个logger实例。这意味着可以在不同的模块或函数中使用相同的日志记录器，以便在整个应用程序中共享相同的日志配置和状态。典型的多模块场景下使用logging的方式是在main模块中配置logging，这个配置作用于多个子模块。使用__name__作为参数传递给logging.getLogger()确保在不同的模块中获取到相同的日志记录器。

1. logging.basicConfig()是logging模块的顶级函数，用于配置根日志记录器的基本设置。它只能在整个应用程序的起始位置调用一次，通常在主模块中使用。该函数会自动创建一个名为"root"的日志记录器，并对其进行配置。它接受一些参数，如level、format、filename等，用于设置日志级别、格式、输出位置等。

2. logger.basicConfig()是logging模块中日志记录器对象的方法。每个日志记录器对象都可以调用此方法来配置自身的基本设置。与logging.basicConfig()不同，logger.basicConfig()是在每个具体的日志记录器对象上调用的，而不是在顶级的根日志记录器上调用的。

主模块main.py:

import logging
import?module
from rich.logging import RichHandler

#?配置日志记录器
logging.basicConfig(level=logging.INFO, 
????????????????????format="%(asctime)s?-?%(name)s?-?%(levelname)s?-?%(message)s",
????????????????????handlers=[RichHandler(show_time=False,?show_path=False,?keywords=["total",?"packages",?"Fetching"],?rich_tracebacks=True),
??????????????????????????????logging.FileHandler("demo.log")])
???????????????????
?# 创建日志记录器
logger = logging.getLogger(__name__)

def main():
    logger = logging.getLogger(__name__)
    logger.debug("This is  DEBUG !!")
    logger.info("This is  INFO !!")
    logger.warning("This is  WARNING !!")
    logger.error("This is  ERROR !!")
????logger.critical("This?is??CRITICAL?!!")

    try:
        3/0
    except Exception as e:
        # logging.error(e)
        logger.exception(e)

if __name__ == '__main__':
    main()
????module.logging_test()

????????rich库是一个用于在终端中创建美观和交互式输出的库。它提供了各种功能，如颜色输出、表格、进度条、语法高亮等，可以增强终端应用程序的用户体验。RichHandler是rich库提供的一个扩展，它与Python标准库中的日志模块（logging）集成，可以将日志消息以漂亮的格式显示在终端中。可以使用RichHandler替代标准库中的其他日志处理器（如StreamHandler）来改善日志的可读性和可视化效果，解决logging.basicConfig输出文件和控制台只能二选一的问题。要使用RichHandler，首先需要安装rich库。可以使用以下命令使用pip安装：

pip install rich

module模块：

import logging

logger?=?logging.getLogger(__name__)

def  logging_test():
    logger.debug("This is  DEBUG")
    logger.info("This is  INFO")
    logger.warning("This is  WARNING")
    logger.error("This is  ERROR")
    logger.critical("This is  CRITICAL")

控制台输出：

文件输出：

作者简介：

读研期间发表6篇SCI数据挖掘相关论文，现在某研究院从事数据算法相关科研工作，结合自身科研实践经历不定期分享关于Python、机器学习、深度学习、人工智能系列基础知识与应用案例。致力于只做原创，以最简单的方式理解和学习，关注我一起交流成长。需要数据集和源码的小伙伴可以关注底部公众号添加作者微信。