人类获取信息的流程

需求:

小明查天气

小明收藏了一个网址
http://www.weather.com.cn/weather/101200101.shtml

观注小明查天气的步骤

  1. 打开网址
  2. 得到网页内容
  3. 从网页中找到需要的内容
  4. 大脑记忆

通过做菜了解爬虫流程

理解爬虫的工作流程_数据

理解爬虫的工作流程_网页内容_02

理解爬虫的工作流程_数据_03

理解爬虫的工作流程_html_04

理解爬虫的工作流程_网页内容_05

理解爬虫的工作流程_保存数据_06

理解爬虫的工作流程_保存数据_07

理解爬虫的工作流程_数据_08

爬虫流程小结

提取到url
提取到内容
发起请求
获取响应
提取数据
保存数据