python初学者,五天跟着练习了一下豆瓣爬虫项目,现在回过头记录一下过程,防止以后忘掉。纯个人纪录,没有参考价值,如有错误欢迎各位大佬指正。
主要用到爬虫+flask框架。
爬取步骤:
1. 爬取网页+解析数据
2. 保存数据
1. 爬取网页+解析数据
首先使用askURL函数获取目标网页的html文件。这边用到urllib库,可以获取对应网页的html文件。
#得到指定一个URL的网页内容
def askURL(url):
head = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36"
}
#用户代理,表示告诉服务器我们是什么类型的机器(本质上是告诉浏览器我们可以接受什么水平的内容)
request = urllib.request.Request(url, headers=head)
html = ""
try:
response = urllib.request.urlopen(request)
html = response.read().decode("utf-8")
#print(html)
except urllib.error.URLError as e:
if hasattr(e, "code"):
print(e.code)
if hasattr(e, "reason"):
print(e.reason)
return html
然后将获取的html文件解析生成一个soup对象,按弹幕大佬的说法是将html网页变成一碗汤,便于从汤里捞东西出来。不懂这说法对不对但是感觉挺便于记忆。
这边用到了Beautiful Soup库, Beautiful Soup是一个可以从HTML或XML文件中提取数据的Python库。
然后soup.find_all,在soup对象中找到所有的目标模块。语法:
find_all(name, attrs, recursive, text, limit, **kwargs)
然后依次对每个模块进行数据的解析,这边用到了正则表达式进行匹配。
def getData(baseurl):
dataList = []
for i in range(0, 10):
url = baseurl + str(i*25)
html = askURL(url)
#逐一解析数据
soup = BeautifulSoup(html, "html.parser")
for item in soup.find_all('div', class_="item"): #查找符合要求的字符串 形成列表
#print(item)
data = [] #保存一部电影的所有信息
item = str(item)
#获取影片详情页的链接
link = re.findall(findLink, item)[0] #不加下标【】link收到的就是列表了
data.append(link)
#图片
imgSrc = re.findall(findImgSrc, item)[0]
data.append(imgSrc)
#片名
titles = re.findall(fingTitle, item)
if (len(titles)==2):
ctitle = titles[0]
data.append(ctitle)
otitle = titles[1].replace("/", "")#去掉无关符号
data.append(otitle)
else:
data.append(titles[0])
data.append(" ")
#评分
rating = re.findall(findRating, item)[0]
data.append(rating)
#评价人数
judge = re.findall(findJudge, item)[0]
data.append(judge)
#添加概述
inq = re.findall(findInq, item)
if len(inq) != 0:
inq = inq[0].replace("。", "")
data.append(inq)
else:
data.append(" ")
#添加相关内容
bd = re.findall(findBD,item)[0]
bd = re.sub('<br(\s+)?/>(\s+)?', " ", bd) #去掉br
bd = re.sub('/', " ", bd)
data.append(bd.strip())
dataList.append(data)
return dataList
#创建正则表达式对象,表示匹配规则(影片详情链接的规则)
findLink = re.compile(r'<a href="(.*?)">')
#re.S让换行符包含在字符中 #影片图片的链接规则
findImgSrc = re.compile(r'<img.*src="(.*?)"', re.S)
#影片名规则
fingTitle = re.compile(r'<span class="title">(.*)</span>')
#评分
findRating = re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')
#评价人数
findJudge = re.compile(r'<span>(\d*)人评价</span>')
#找到概况
findInq = re.compile(r'<span class="inq">(.*?)</span>')
#找的影片的相关内容
findBD = re.compile(r'<p class="">(.*?)</p>', re.S)
2.保存数据
分为保存成excel文件和保存进数据库中两种保存方式。
首先是保存为excel文件,用到xlwt库,将数据循环填入即可。
然后是保存进数据库,这边用的sqlite数据库。
首先需要初始化数据库,然后将数据依次insert.
#保存数据
def saveData(datalist, savapath):
book = xlwt.Workbook(encoding="utf-8")
sheet = book.add_sheet('豆瓣电影TOP250', cell_overwrite_ok=True)
col = ("电影详情链接", "图片链接", "影片中文名", "影片外文名", "评分", "评价数", "概况", "相关内容")
for i in range(0, 8):
sheet.write(0, i, col[i])
for i in range(0, 250):
print("第{}条".format(i))
data = datalist[i]
for j in range(0, 8):
sheet.write(i+1, j, data[j])
book.save(savapath)
def saveDataDB(datalist, dbpath):
init_db(dbpath)
conn = sqlite3.connect(dbpath)
cur = conn.cursor()
for data in datalist:
for index in range(len(data)):
if index == 4 or index == 5:
continue
data[index] = '"'+data[index]+'"'
sql = '''
insert into movie250(
info_link, pic_link, cname, ename, score, rated, introduction, info)
values(%s)'''%",".join(data)
cur.execute(sql)
conn.commit()
cur.close()
conn.close()