爬虫scrapy框架及案例：logging模块的使用

P5 02logging模块的使用

简单的log设置

1. 在 setting 里添加参数 LOG_LEVEL="WARNIG"
2. 使用 logging 模块打印内容
3. 可以生成 LOG_FILE="./spider.log"

import scrapy
import logging

logger = logging.getLogger(__name__)

class ItcastSpider(scrapy.Spider):
    name = 'itcast'
    allowed_domains = ['itcast.cn']
    start_urls = ['http://www.itcast.cn/channel/teacher.shtml']

    def parse(self, response):
        # 处理 start_urls 地址对应的响应
        logger.warning("helo")

2022-01-09 00:27:59 [myspider.spiders.itcast] WARNING: helo