aric的小站

sun and cloud

欢迎访问我的博客，又是美好的一天！

scrapy学习：使用scrapy shell时设置cookies和headers

有时为了测试xpath，需要临时下载个页面，这时使用命令行进行测试是最方便的，但是很多网站页面需要认证，不能直接使用scrapy shell命令进行页面的抓取，所以需要重新对请求进行构造，设置cookies和headers。

2022-03-12 02:54:51

Python 语言学习：faker 库

一个可以生成一些随机，假数据的库

2022-03-11 04:46:04

Linux：删除文件后不释放磁盘空间解决方法

文件已经删除，但空间未释放怎么办？

2022-03-11 01:46:45

Python语言学习：用 python 访问toutiao.com的正确姿势

记录一下用 requests + BeautifulSoup 访问头条的过程

2022-03-06 04:05:36

Python语言学习：编写 python package 中的 setup.py 文件(私有包方案github)

自己想利用 setup.py 编写一些存放在 github 上的私有包

2022-03-05 00:41:39

python小课堂：03 Python基础知识以及一行shell命令的详细讲解

imooc基础知识视频带着看一下

2022-03-04 13:20:34

Python语言学习：jieba/snownlp/textrank4zh/hanlp库提取关键词摘要信息

利用结巴中文分词功能，实现在项目中常用的 tag、摘要自动提取功能

2022-03-04 06:37:34

Python语言学习：schedule 一个精巧的作业调度库

这个库适合一些简单的任务调度

2022-03-03 08:01:39

Python语言学习：fake_useragent 自定义 user-agent 的利器

在做爬虫的过程中，我们有时候会需要自定义 user-agent，或者随机 user-agent 的需求

2022-03-03 00:38:02

如何在Linux中查找IP地址

每个网站都有一个唯一的公共IP地址，任何人都可以从任何地方访问。

2022-03-03 00:30:09