这篇文章主要介绍爬虫的 pyquery模块
初始化
1.字符串初始化
from pyquery import PyQuery as pq
html = '''
<div class="wrap">
<div id="container">
<ul class="list">
<li class="item-0">first item</li>
<li class="item-1"><a rel="nofollow" href="link2.html">second item</a></li>
<li class="item-0 active"><a rel="nofollow" href="link3.html"><span class="bold">third item</span></a></li>
<li class="item-1 active"><a rel="nofollow" href="link4.html">fourth item</a></li>
<li class="item-0"><a rel="nofollow" href="link5.html">fifth item</a></li>
</ul>
</div>
</div>
'''
doc = pq(html) #初始化html
print(doc) #打印
print(type(doc)) #打印类型
2.网页初始化
from pyquery import PyQuery as pq
doc = pq(url='http://www.baidu.com',encoding='utf-8') #如果不加上encoding可能会出现乱码的情况。
print(doc)
这里插入一下requests访问百度的时候也会乱码，处理方式如下：
import requests
html = requests.get('http://www.baidu.com').content #先转为byte
html = str(html,'utf-8') #通过str转为utf8的格式
print(html)
文件初始化
from pyquery import PyQuery as pq
doc = pq(filename='index.html') #注意路径
print(doc)
CSS选择器
CSS3的选择参考手：http://www.w3school.com.cn/cssref/css_selectors.asp
from pyquery import PyQuery as pq
html = '''
<div id="container_1">
<ul class="list">
<li class="item-0">first item</li>
<li class="item-1"><a rel="nofollow" href="link2.html">second item</a></li>
<li class="item-0 active"><a rel="nofollow" href="link3.html"><span class="bold">third item</span></a></li>
<li class="item-1 active"><a rel="nofollow" href="link4.html">fourth item</a></li>
<li class="item-0"><a rel="nofollow" href="link5.html">fifth item</a></li>
</ul>
</div>
'''
doc = pq(html)
print(doc('li')) #打印所有的li标签
print(type(doc('li')))
print(doc.find('li')) #查考所有的li标签，和上面过滤内容一样
print(type(doc.find('li')))
输出结果为：
<li class="item-0">first item</li>
<li class="item-1"><a rel="nofollow" href="link2.html">second item</a></li>
<li class="item-0 active"><a rel="nofollow" href="link3.html"><span class="bold">third item</span></a></li>
<li class="item-1 active"><a rel="nofollow" href="link4.html">fourth item</a></li>
<li class="item-0"><a rel="nofollow" href="link5.html">fifth item</a></li>
<class 'pyquery.pyquery.PyQuery'>
<li class="item-0">first item</li>
<li class="item-1"><a rel="nofollow" href="link2.html">second item</a></li>
<li class="item-0 active"><a rel="nofollow" href="link3.html"><span class="bold">third item</span></a></li>
<li class="item-1 active"><a rel="nofollow" href="link4.html">fourth item</a></li>
<li class="item-0"><a rel="nofollow" href="link5.html">fifth item</a></li>
<class 'pyquery.pyquery.PyQuery'>
打印class为list的标签：
print(doc('.list'))
打印id为container的标签
print(doc('.list'))
打印li的父标签
item = doc('li')
print(item.parent())
打印祖先标签
print(item.parents())
打印 li 标签的祖先标签并且class="wrap"的祖先标签
item.parents('.wrap')
获取兄弟标签
li = doc('.list .item-0.active')
li.sibings()
遍历
li = doc('.item-0.active') 单个元素
li = doc('li').items 通过items产生一个generator类型，使用for循环遍历
获取信息
·获取属性
a = doc('.item-0.active a')
a.attr('href') #获取属性
a.attr.href
·获取文本
a = doc('.item-0.active a')
a.text() #获取标签内的内容
·获取html
li = doc('.item-0.active')
li.html()
DOM操作
·add_class、remove_class
li = doc('.item-0.active')
li.remove_class('active') #删除active的属性
li.add_class('active') #添加class的属性
·attr、css
li = doc('.item-0.active')
li.attr('name','link') #添加属性
li.css('front-size','14px') #添加CSS样式
·remove
wrap = doc('.wrap')
wrap.find('li').remove 删除找到的li #只删除查找到的标签
print(wrap)
输出
<div class="wrap">
<div id="container_1">
<ul class="list">
</ul>
</div>
</div>
#伪类选择器
li = doc('li:first-child') #打印出查找的第一个li标签
print(li)
li = doc('li:last-child') #打印出查找的第后一个li标签
print(li)
li = doc('li:nth-child(2)') #获取第二个
print(li)
li = doc('li:gt(2)') #获取第二个之后的
print(li)
li = doc('li:nth-child(2n)') #获取偶数，2n+1 奇数
li = doc('li:contains(second)') #获取li标签的内容中包含有second的标签
