爬虫scrapy框架及案例：pipeline的介绍

使用 pipline

1. 打开配置
2. 添加 pipline 类

#ITEM_PIPELINES = {
#    'myspider.pipelines.MyspiderPipeline': 300,
#}

可以处理的情况

1. 一个 pipline 可以处理多个爬虫的数据 
2. 多个爬虫处理同一个爬虫的数据 

参考

• https://www.bilibili.com/video/BV1jt411Q7PD?p=4&spm_id_from=pageDriver