上接：
Python3网络爬虫教程12——页面解析及正则表达式的使用

5. BeautifulSoup4使用

  • 正则：很快，但是正则表达式很难完美写出
  • beautifulsoup4: 慢，使用简单，安装简单，数据较少时推荐使用
  • lxml: 比较快，使用简单，安装一般
  • BeautifulSoup4的用法
  • 参考案例67_7

5.1. HTML或XML中的四大对象

  • 四大对象
  • Tag
  • NavigableString
  • Beautifulsoup
  • Comment
  • Tag（标签对象）
  • 对应HTML中的标签
  • 可以通过soup.tag_name
  • tag标签有两个重要的属性
  • name
  • attribute(使用时用.attrs)
  • attrs属性是一个字典，修改删除类似于字典
  • 参考实例67_8
  • NavigableString（一般为字符串对象）
  • 查看标签内容中的值
  • 用法tag_name.string
  • 标签中的内容不能编辑，但是可以替换
  • 参考实例67_9,参考实例67_11
  • Beautifulsoup（整个文档对象）
  • 表示一个文档的内容，大部分可以当做一个tag对象
  • Beautifulsoup实例的对象包含一个特殊的属性
  • 对象包含了一个值为 “[document]” 的特殊属性
  • 使用方法 soup.name
  • 参考实例67_9
  • Comment（注释对象）
  • 通常情况下Tag , NavigableString , BeautifulSoup 几乎覆盖了
  • html和xml中的所有内容,但是还有一些特殊对象.
  • 容易让人担心的内容是文档的注释部分
  • Comment对象是一个特殊类型的 NavigableString 对象
  • 参考实例67_10

5.2. 遍历文档树

5.2.1. 子节点

  • 子节点
  • 一个Tag可能包含多个字符串或其它的Tag,这些都是这个Tag的子节点.
  • Beautiful Soup提供了许多操作和遍历子节点的属性.
  • 操作文档树最简单的方法就是告诉它你想获取的tag的name
  • BS可以补全html文档中缺少的标签
  • 通过点取属性的方式只能获得当前名字的第一个tag
  • 得到所有的标签,或是通过名字得到比一个tag更多的内容的时候
  • soup.find_all(‘a’)
  • find_all返回的是一个列表
  • 参考实例67_12,补全后的内容参考67_12.html
  • 爱丽丝梦游仙境的例子，浏览器中显示的文档
    The Dormouse’s story
    Once upon a time there were three little sisters;
    and their names were Elsie, Lacie and Tillie;
    and they lived at the bottom of a well.
    …
  • 子节点中的.contents .children .descendants
  • .contents 属性可以将tag的子节点以列表的方式输出
  • 标签也是 BeautifulSoup 对象的子节点
  • 字符串没有 .contents 属性,因为字符串没有子节点
  • 通过tag的 .children 生成器,可以对tag的子节点进行循环
  • 但是标签也包含一个子节点:字符串 “The Dormouse’s story”,
  • 这种情况下字符串 “The Dormouse’s story”也属于标签的子孙节点.
  • .descendants 属性可以对所有tag的子孙节点进行递归循环
  • 参考实例67_13
  • .string .strings 和 stripped_strings
  • 如果tag只有一个 NavigableString 类型子节点,
  • 那么这个tag可以使用 .string 得到子节点
  • 如果一个tag仅有一个子节点,那么这个tag也可以使用 .string 方法,
  • 输出结果与当前唯一子节点的 .string 结果相同
  • 如果tag包含了多个子节点,tag就无法确定
  • .string 方法应该调用哪个子节点的内容,的输出结果是 None
  • 参考案例67_14
  • 如果包含多个字符串,可以使用 .strings 来循环获取
  • 输出的字符串中可能包含了很多空格或空行,
  • 使用 .stripped_strings 可以去除多余空白内容
  • 参考案例67_15

5.2.2. 父节点，兄弟节点

  • 通过 .parent 属性来获取某个元素的父节点.
  • 在例子“爱丽丝”的文档中,标签是标签的父节点
  • 文档title的字符串也有父节点:标签
  • 文档的顶层节点比如的父节点是 BeautifulSoup 对象
  • BeautifulSoup 对象的 .parent 是None
  • 参考实例67_16
  • 通过元素的 .parents 属性可以递归得到元素的所有父辈节点
  • 通过元素的 .parents 属性可以递归得到元素的所有父辈节点,
  • 使用了 .parents 方法遍历了标签到根节点的所有节点
  • .prettify()可以查看兄弟节点
  • 参考实例67_17

本章案例较多：
源代码请到GITHUB下载：
https://github.com/FangbaiZhang/TLXY_study_note/tree/master/Spider