为自留用，用于在将来的学习中温故而知新

今日内容：爬虫程序的初步认知和简单爬虫程序的编写

1.什么是爬虫程序

网络爬虫又称网络蜘蛛、网络机器人，它是一种按照一定的规则自动浏览、检索网页信息的程序或者脚本。网络爬虫能够自动请求网页，并将所需要的数据抓取下来。通过对抓取的数据进行处理，从而提取出有价值的信息。

2.编写爬虫的流程

爬虫程序与其他程序不同，它的的思维逻辑一般都是相似的， 所以无需我们在逻辑方面花费大量的时间。下面对 Python 编写爬虫程序的流程做简单地说明：

  • 先由 urllib 模块的 request 方法打开 URL 得到网页 HTML 对象。
  • 使用浏览器打开网页源代码分析网页结构以及元素节点。
  • 通过 Beautiful Soup 或则正则表达式提取数据。
  • 存储数据到本地磁盘或数据库。
     

 3.爬虫程序的编写

3.1：获取响应对象并输出响应信息

代码部分：（这里获取的是我的个人bilibili主页）

网络爬虫及python python网络爬虫程序_请求头

 输出部分：（内容过多所以折叠）

网络爬虫及python python网络爬虫程序_python_02

 4.常用方法总结

1) urlopen()

表示向网站发起请求并获取响应对象，如下所示：

urllib.request.urlopen(url,timeout)

urlopen() 有两个参数，说明如下：

  • url：表示要爬取数据的 url 地址。
  • timeout：设置等待超时时间，指定时间内未得到响应则抛出超时异常。

2) Request()

该方法用于创建请求对象、包装请求头，比如重构 User-Agent（即用户代理，指用户使用的浏览器）使程序更像人类的请求，而非机器。重构 User-Agent 是爬虫和反爬虫斗争的第一步。在下一节会做详细介绍。


urllib.request.Request(url,headers)


参数说明如下：

  • url：请求的URL地址。
  • headers：重构请求头。

3) html响应对象方法

  1. bytes = response.read() # read()返回结果为 bytes 数据类型
  2. string = response.read().decode() # decode()将字节串转换为 string 类型
  3. url = response.geturl() # 返回响应对象的URL地址
  4. code = response.getcode() # 返回请求时的HTTP响应码

4) 编码解码操作


#字符串转换为字节码
string.encode("utf-8") 
#字节码转换为字符串
bytes.decode("utf-8")