scrapy学习：Scrapy中传入自定义参数

有些爬虫，可以通过不同的参数来控制的方式来执行爬虫

背景

在爬虫程序中，有时候我们想要获取整个网站的信息，所以我们写了一个整站爬虫的程序，但是有时候这样也不是很方便，因为采集时间比较长，而有时候我们又只想采集该网站下的某一个板块的内容。

执行爬虫

scrapy crawl post -a channel=xinwen

scrapy程序里取得参数

def parse(self, response):
    channel = getattr(self, 'channel', 'xinwen')
    self.logger.warn('channel: %s, %s', channel, self.channel)

参考

• https://zhuanlan.zhihu.com/p/62584367