The Dormouse's story
Once upon a time there were three little sisters; and their names were,LacieandTillie;
and they lived at the bottom of a well.
...
"""
创建 beautifulsoup 对象
soup = BeautifulSoup(html)
另外，我们还可以用本地 HTML 文件来创建对象，例如
soup = BeautifulSoup(open('index.html'))
上面这句代码便是将本地 index.html 文件打开，用它来创建 soup 对象。下面我们来打印一下 soup 对象的内容，格式化输出
print soup.prettify()
指定编码：当html为其他类型编码（非utf-8和asc ii），比如GB2312的话，则需要指定相应的字符编码，BeautifulSoup才能正确解析。
1, htmlCharset = "GB2312"
2, soup = BeautifulSoup(respHtml, fromEncoding=htmlCharset)
#!/usr/bin/python
# -*- coding: UTF-8 -*-
from bs4 import BeautifulSoup
import re
#待分析字符串
html_doc = """
The Dormouse's story
The Dormouse's story
Once upon a time there were three little sisters; and their names wereElsie,LacieandTillie;
and they lived at the bottom of a well.
...
"""
# html字符串创建BeautifulSoup对象
soup = BeautifulSoup(html_doc, 'html.parser', from_encoding='utf-8')
#输出第一个 title 标签
print soup.title
#输出第一个 title 标签的标签名称
print soup.title.name
#输出第一个 title 标签的包含内容
print soup.title.string
#输出第一个 title 标签的父标签的标签名称
print soup.title.parent.name
#输出第一个 p 标签
print soup.p
#输出第一个 p 标签的 class 属性内容
print soup.p['class']
#输出第一个 a 标签的 href 属性内容
print soup.a['href']
'''
soup的属性可以被添加,删除或修改. 再说一次, soup的属性操作方法与字典一样
'''
#修改第一个 a 标签的href属性为 http://www.baidu.com/
soup.a['href'] = 'http://www.baidu.com/'
#给第一个 a 标签添加 name 属性
soup.a['name'] = u'百度'
#删除第一个 a 标签的 class 属性为
del soup.a['class']
##输出第一个 p 标签的所有子节点
print soup.p.contents
#输出第一个 a 标签
print soup.a
#输出所有的 a 标签，以列表形式显示
print soup.find_all('a')
#输出第一个 id 属性等于 link3 的 a 标签
print soup.find()
#获取所有文字内容
print(soup.get_text())
#输出第一个 a 标签的所有属性信息
print soup.a.attrs
for link in soup.find_all('a'):
#获取 link 的 href 属性内容
print(link.get('href'))
#对soup.p的子节点进行循环输出
for child in soup.p.children:
print(child)
#正则匹配，名字中带有b的标签
for tag in soup.find_all(re.compile("b")):
print(tag.name)
import bs4#导入BeautifulSoup库
Soup = BeautifulSoup(html)#其中html 可以是字符串，也可以是句柄需要注意的是，BeautifulSoup会自动检测传入文件的编码格式，然后转化为Unicode格式
通过如上两句话，BS自动把文档生成为如上图中的解析树。
4. 四大对象种类
Beautiful Soup将复杂HTML文档转换成一个复杂的树形结构,每个节点都是Python对象,所有对象可以归纳为4种：
1. Tag
2. NavigableString
3. BeautifulSoup
4. Comment
（1）Tag
Tag 是什么？通俗点讲就是 HTML 中的一个个标签，例如
The Dormouse's story
Elsie
上面的 title a 等等 HTML 标签加上里面包括的内容就是 Tag，下面我们来感受一下怎样用 Beautiful Soup 来方便地获取 Tags
下面每一段代码中注释部分即为运行结果
print soup.title
#
The Dormouse's storyprint soup.head
#
The Dormouse's storyprint soup.a
#print soup.p#The Dormouse's story
利用 soup加标签名轻松地获取这些标签的内容，是不是感觉比正则表达式方便多了？
不过有一点是，它查找的是在所有内容中的第一个符合要求的标签，如果要查询所有的标签，我们在后面进行介绍。
soup.title 得到的是title标签，soup.p 得到的是文档中的第一个p标签，要想得到所有标签，得用find_all函数。
find_all 函数返回的是一个序列，可以对它进行循环，依次得到想到的东西.。
我们可以验证一下这些对象的类型
printtype(soup.a)#
对于 Tag，它有两个重要的属性，是 name 和 attrs
nameprintsoup.nameprintsoup.head.name#[document]#head
soup 对象本身比较特殊，它的 name 即为 [document]，对于其他内部标签，输出的值便为标签本身的名称。
attrsprintsoup.p.attrs#{'class': ['title'], 'name': 'dromouse'}
在这里，我们把 p 标签的所有属性打印输出了出来，得到的类型是一个字典。如果我们想要单独获取某个属性，可以这样，例如我们获取它的 class叫什么print soup.p['class']#['title']
还可以这样，利用get方法，传入属性的名称，二者是等价的print soup.p.get('class')#['title']
我们可以对这些属性和内容等等进行修改，例如
soup.p['class']="newClass"
printsoup.p#
The Dormouse's story
还可以对这个属性进行删除，例如del soup.p['class']printsoup.p#
The Dormouse's story
不过，对于修改删除的操作，不是我们的主要用途，在此不做详细介绍了，如果有需要，请查看前面提供的官方文档
head= soup.find('head')#head = soup.head#head = soup.contents[0].contents[0]
printhead
html= soup.contents[0] # ...
head = html.contents[0] #
...
body = html.contents[1] #
...
可以通过Tag.attrs访问，返回字典结构的属性。
或者Tag.name这样访问特定属性值，如果是多值属性则以列表形式返回。
（2）NavigableString
既然我们已经得到了标签的内容，那么问题来了，我们要想获取标签内部的文字怎么办呢？很简单，用 .string 即可，例如printsoup.p.string#The Dormouse's story
这样我们就轻松获取到了标签里面的内容，想想如果用正则表达式要多麻烦。它的类型是一个 NavigableString，翻译过来叫 可以遍历的字符串，不过我们最好还是称它英文名字吧。来检查一下它的类型printtype(soup.p.string)#
（3）BeautifulSoup
BeautifulSoup 对象表示的是一个文档的全部内容.大部分时候,可以把它当作 Tag 对象，是一个特殊的 Tag，我们可以分别获取它的类型，名称，以及属性来感受一下printtype(soup.name)#
printsoup.name#[document]
printsoup.attrs#{} 空字典（4）Comment
Comment 对象是一个特殊类型的 NavigableString 对象，其实输出的内容仍然不包括注释符号，但是如果不好好处理它，可能会对我们的文本处理造成意想不到的麻烦。
我们找一个带注释的标签printsoup.aprintsoup.a.stringprinttype(soup.a.string)
运行结果如下Elsiea 标签里的内容实际上是注释，但是如果我们利用 .string 来输出它的内容，我们发现它已经把注释符号去掉了，所以这可能会给我们带来不必要的麻烦。
另外我们打印输出下它的类型，发现它是一个 Comment 类型，所以，我们在使用前最好做一下判断，判断代码如下if type(soup.a.string)==bs4.element.Comment:printsoup.a.string
上面的代码中，我们首先判断了它的类型，是否为 Comment 类型，然后再进行其他操作，如打印输出。
5. 遍历文档树
（1）直接子节点
Tag.Tag_child1：直接通过下标名称访问子节点。
Tag.contents：以列表形式返回所有子节点。
Tag.children：生成器，可用于循环访问：for child inTag.children
要点：.contents .children 属性
.contents
tag 的 .content 属性可以将tag的子节点以列表的方式输出。可以使用 [num] 的形式获得。使用contents向后遍历树，使用parent向前遍历树printsoup.head.contents#[
The Dormouse's story]
输出方式为列表，我们可以用列表索引来获取它的某一个元素printsoup.head.contents[0]#
The Dormouse's story
.children
它返回的不是一个 list，不过我们可以通过遍历获取所有子节点。我们打印输出 .children 看一下，可以发现它是一个 list 生成器对象。
可以使用list可以将其转化为列表。当然可以使用for 语句遍历里面的孩子。printsoup.head.children#
我们怎样获得里面的内容呢？很简单，遍历一下就好了，代码及结果如下for child insoup.body.children:printchild
The Dormouse's story
Once upon a time there were three little sisters; andtheir names were,Lacie and
Tillie;and they lived at the bottom of a well.
...（2）所有子孙节点
知识点：.descendants 属性
.descendants
.contents 和 .children 属性仅包含tag的直接子节点，.descendants 属性可以对所有tag的子孙节点进行递归循环，和 children类似，我们也需要遍历获取其中的内容。
Tag.descendants：生成器，可用于循环访问
：for des inTag.descendants
for child in soup.descendants:
print child运行结果如下，可以发现，所有的节点都被打印出来了，先生成最外层的 HTML标签，其次从 head 标签一个个剥离，以此类推。
The Dormouse's story
The Dormouse's story
Once upon a time there were three little sisters; and their names were,LacieandTillie;
and they lived at the bottom of a well.
...
The Dormouse's story
The Dormouse's storyThe Dormouse's story
The Dormouse's story
Once upon a time there were three little sisters; and their names were,LacieandTillie;
and they lived at the bottom of a well.
...
