爬虫
Anaconda下载安装
https://www.anaconda.com/distribution/#download-section
使用jupyter可实话
1
2
3
4
| # 安装
pip install jupyterlab
# 运行
jupyter notebook
|
爬虫分类
通用爬虫
聚焦爬虫
增量式：
反爬虫机制
反反爬策略
robots.txt 协议：遵从或者不遵从
下载fiddler抓包工具
request模块
指定url
发起请求
获取响应对象中的数据
持久化储存
re模块