接着上面的。
使用xpath提取信息,虽然python很多库,比如beautifulsoup,也有很多功能,比如查找节点,添加删除节点。但是个人感觉对爬虫来说,最重要的还是提取信息,当然,顺利的提取信息的前提是你得掌握好这些库的用法,不过有些功能确实一辈子也不会用到。对爬虫来说,就是提取文本,获取属性,这两个。
还是打开页面,这里我直接读入本地的文件,知识为了简单起见。不在requests了。
我们自己做网页爬虫的时候,还是需要借助一些工具的。比如xpath。我经常用的就是 浏览器的xpath helper插件。可以很方便的看到xpath的路径是否匹配到文本。
from lxml import etree
e = etree.HTML(html)
e.xpath("//title//text()")
具体到提取信息,还是需要借助浏览器插件。
这样,就可以看到是不是能提取到信息,如果不能,那就就是xpath有问题了。可以再改,
当然也可以在element,元素上直接点击右键,copy xpath,但是这只是有助于我们分析,往往只能提取个别的,不能用到一个网页里面所有的电影。
拷贝出来的xpath是这样的。
结果它只能匹配《我不是药神》这一个电影名字。往往自己写,加上拷贝,一起分析。简单的xpath,直接就可以写出来,比如这个例子。复杂的可以借助拷贝,再分析。
演员的信息可以这样。
e = etree.HTML(html)
dd = e.xpath('//div[@class="main"]//dd')
print(len(dd))
for d in dd:
index = d.xpath('.//i/text()')[0]
img = d.xpath('.//a/img[2]/@data-src')[0]
title = d.xpath('.//p[contains(@class,"name")]//text()')[0]
actor = d.xpath('.//p[contains(@class,"star")]//text()')[0].strip()
releasetime = d.xpath('.//p[contains(@class,"releasetime")]//text()')[0]
score = d.xpath('.//p[contains(@class,"score")]//text()')
score = "".join(score)
print(index, img, title, actor, releasetime, score)
这里我还是先把dd元素抓出来,然后再遍历。
dd元素里面的每一个元素也是xpath对象,还是继续用xpath提取信息。
为了省事,直接用的 contains方法, 其实也可以直接写 成
//dd//p[@class="star"]//text()
这样的形式,但是我怕有的class里面的内容不止是一个单词,为了省事,还是用了contains安全一些。
得到结果。
接下来用bs4
首先还是把html转成bs4对象。
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
# print(soup)
items = soup.find_all('dd')
# print(len(dd))
for item in items:
index = item.i.string
title = item.find(class_='name').string,
img = item.find(class_='board-img')['data-src'],
star = item.find(class_='star').string.strip()[3:],
time = item.find(class_='releasetime').string.strip()[5:],
score = item.find(class_='integer').string.strip() + item.find(class_='fraction').string.strip()
print(index, img, title, actor, releasetime, score)
然后是css
同样,还是读入为css对象,只不过bs4里面就可以直接用css。
比如:
soup.select('dd:nth-child(1) .star')
soup.select('dd i.board-index')[0]
dd = soup.select('dd')
dd
for d in dd:
print(d.select('.star'))
soup.select("dd p.star")[0].get_text()
soup.select("dd i.board-index")[0].get_text()
soup.select("dd .score i")[0].string
soup.select("dd:nth-child(1) .integer")[0].string
先把dd解析为soup对象,然后,用select方法,就可以了。
bs4提取信息的函数是get_text(),
或者string,两者结果是一样的。
css选择器,需要借助浏览器的chropath插件,
比如
我平时喜欢用scrapy的selector方法,里面支持xpath 和css,所以还是挺方便的,反正都要装scrapy。所以一个解决所有问题。