爬虫scrapy框架及案例：scrapy settings和管道的深入/Mongo使用

P10 08scrapy settings和管道的深入

为什么需要 settings.py

1. 存放一些公共的变量(如数据库信息/账号密码等)
2. 方便自己别人修改
3. 一般用大写字母 MYSQL_PASSWORD='123456'

取自己定义的 setting 配置

# 方法1
from myspider.settings import MYSQL_PASSWORD

# 方法2: 在spider内部
self.settings["MYSQL_PASSWORD"]
self.settings.get("MYSQL_PASSWORD")

# 方法3: 在 piplines
spider.settings["MYSQL_PASSWORD"]
spider.settings.get("MYSQL_PASSWORD")

open_spider/close_spider(pipline里)

1. 两个方法只会执行1次，适合做数据库连接
2. 消耗时间统计等操作

参考

• https://docs.scrapy.org/en/latest/topics/item-pipeline.html
• https://www.runoob.com/python3/python-mongodb.html