python爬虫从0到1 -beautifulsoup（bs4）的基本使用
原创
©著作权归作者所有：来自51CTO博客作者苏凉zzyo的原创作品，请联系作者获取转载授权，否则将追究法律责任
文章目录
（一）bs4基本简介
1. 功能
beautifulsoup简称bs4，和lxml一样是一个html的解析器，主要功能也是解析和获取数据。
2. 优缺点
缺点：效率总体来说没有lxml高
优点：接口设计人性化，使用方便
（二）安装以及创建
1. 安装.
pip install bs4
2. 导入
3. 创建对象
- 服务器响应的文件生成对象
soup = BeautifulSoup(response.read().decode('utf-8'),'lxml')- 本地文件生成对象
soup = BeautifulSoup(open('beautiful.html',encoding='utf-8'),'lxml')注：打开文件格式默认为gbk，因此我们需要指定编码为utf-8
（三）节点定位
根据标签名查找结点
以下实例由此HTML源码为基础：
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="UTF-8">
<title>Title</title>
</head>
<body>
<div>
<ul>
<li id="l1">北京</li>
<li id = 'l2'>上海</li>
<li class="cl3">重庆</li>
<li class="cl4">天津</li>
<p>welcome</p>
<a href="" id = 'i1' class="a1">python爬虫</a>
</ul>
</div>
<div id="i2">
<p id = "p1">hello world</p>
<a href="https://baidu.com" id = 'i3' title="t2">baidu</a>
</div>
</body>
</html>
- 查找第一个符合条件的值:
- 查找标签的属性和属性值并以列表的形式展现
（四）bs4 的一些函数
1. find
- 返回第一个符合条件的结果
- 根据title的值来查找对应的标签对象
print(soup.find('a',title="t2"))- 根据class的值来查找对应的标签对象
注：class在这里需要添加下划线来表示本身而不是关键字。
print(soup.find('a',class_="a1"))2. find_all
- 返回所有符合条件的标签，并以列表的形式显示
print(soup.find_all('a'))- 返会多个标签，因为返回的结果为列表，因此在打印多个标签结果时，需要加上[]
print(soup.find_all(['a','p']))
- 返回前两个符合条件的标签
print(soup.find_all('li',limit=2))3. select
- 返回所有符合条件的结果
- 通过类选择器.表示class。
print(soup.select('.a1'))- 通过类选择器#来表示id
print(soup.select('#i1'))- 通过属性选择器来查找li中带有id的结果
print(soup.select('li[id]'))- 通过属性选择器查找li中class为cl3 的结果
print(soup.select('li[class= "cl3"]'))- 通过后代选择器（空格），打印div所有后代为li的值
print(soup.select('div li'))- 子代选择器 > 打印某一级的子标签
print(soup.select('div > ul > li'))- 打印多个标签结果 ,在select属性中不需要加[],输出的结果以列表的形式显示
print(soup.select('a,p'))（五）获取节点信息
获取节点内容
obj.string
obj.get_text()
实例：
html代码
obj = soup.select('#i2')[0]
print(obj.string)
print(obj.get_text())运行结果：
注：如果标签对象中只有内容，那么string和get_text()都可以使用。如果标签对象中，除了内容还有标签，那么string获取不到数据，只有get_text()可以获取到数据。一般情况下，我们用get_text()居多。
（六）获取节点属性
obj.name获取标签名字
obj.attrs获取节点属性和属性值
注：获取节点属性时需要加上[0]取返回列表的第一个值。
obj = soup.select('.cl3')[0]
# 获取标签的名字
print(obj.name)
# 获取属性值并以字典的形式显示
print(obj.attrs)运行结果：
三种方法返回节点属性值
obj = soup.select('.cl3')[0]
print(obj.attrs.get('class'))
print(obj.get('class'))
print(obj['class'])运行结果：
