文章目录
- 前言
- 一、爬虫是什么?
- 二、实现过程
- 总结
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档
前言
今天,来给大家一个分享一下如何使用20爬虫行代码爬取网络小说(这里我们以龙族为例)
一、爬虫是什么?
爬虫(又被称为网页蜘蛛,网络机器人)就是模拟客户端(如浏览器、App)发送网络请求,接收请求响应,然后按照一定的规则,自动的从响应中提取出需要的数据。
二、实现过程
1.首先,我们来了解一下步骤
1模仿浏览器请求服务器,从而获取数据
2用requests模块对请求的网页进行分析,提取含有数据的标签
3将获取到的数据进行统一编码,并保存
2.代码实现
1首先我们导入需要使用到的模块,
#导入模块
import requests
import parsel
2然后复制我们需要爬取的网站,赋值给变量
这里headers的赋值需要到网页中,将鼠标置于空白处,然后点击检查,然后复制下图画圈内容粘贴即可
url1=('https://www.kunnu.com/longzu/lz-3-2/')
#这里类似于模拟计算机对服务器发送请求
headers1={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36 Edg/89.0.774.68'}
3通过parsel模块请求进行对网站进行解析成固定的形式
data=requests.get(url=url1,headers=headers1).text
#print(data)
data_1=parsel.Selector(data)
#print(data_1)
4在网页的源代码中,我们可以看出其标题和内容分别是放在title和href中,因此我们对其进行提取
titles = data_1.xpath('//div[@class ="book-list clearfix"]//ul/li/a/@title').getall()
hrefs = data_1.xpath('//div[@class ="book-list clearfix"]//ul/li/a/@href').getall()
5提取内容标签下的内容,在工程区域鼠标右键创建一个文件,对爬取的数据进行写入
for i in range(len(titles)):#对获取到的章节进行遍历,并循环
print(titles[i],hrefs[i])
resp = requests.get(hrefs[i])
result = parsel.Selector(resp.text)#利用parsel对网页的数据进行解析并赋值
ps = result.xpath('//div[@id ="nr1"]//p/text()').getall()#提取p标签下的文本信息
# print(div)
#对各章节的文本内容遍历
text = ''
for p in ps:
print(p)
# p = str(p).replace('\xa0','')
text += (p + '\n')#提示循环,并添加换行操作
#创建一个“龙族”的空文件,用以对数据进行写入
with open("龙族/{}.txt".format(titles[i]),'w',encoding='utf-8') as f:
f.write(text)#写入
6最后一下就是我们爬到的小说
总结
那么,通过简单的20行简答的代码,我们就对该网站的瞎说进行了爬取。小伙伴们也赶快试一下吧