scrapy学习:在 PyCharm 中开发、调试 Scrapy 应用

安装 Scrapy 后,可以通过其自带的命令行完成新建项目,项目构件,运行项目等功能。
更新于: 2022-01-25 11:02:45

先说几个基本的

# 安装
pip install scrapy
# 检查版本
scrapy version

先看大体的项目结构

scrapy 项目结构

在根目录下新建 main.py

from scrapy.cmdline import execute

execute(['scrapy', 'crawl', 'entry'])

以 debug 方式运行项目

以 debug 方式运行项目

断点可以正常工作了

scrapy 断点

参考