标题Python小爬虫爬取云栖社区

本代码经测试可以正常爬取，现做整体的项目介绍。
爬取目标：https://yq.aliyun.com/，也就是云栖社区中关于Python的帖子标题以及内容。
实现的工具：Python的request库
其中涉及的技术：heads伪装，re正则表达式的使用，URL拼接，URL自动跳转，爬取的信息本地保存。
整个项目跑完大概是三个小时左右。
项目的前期准备：requests库的安装，具体细节自行搜索。

import time
import requests
import re
#导入项目包
url='https://yq.aliyun.com/search/articles'
#爬取目标
key='python'
#上面的网址中需要搜索的关键字
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36',
    'accept-encoding': 'gzip, deflate, sdch, br',
    'accept-language': 'zh-CN,zh;q=0.8'
}
#头信息伪装，可以不使用，因为暂时没有头信息反爬
data=requests.get(url,params={'q':key},headers=headers).text
#读取第一个页面
pat1='<div class="_search-info">找到(.*?)条关于'
#获取帖子数量的正则
alllines=re.compile(pat1,re.S).findall(data)[0]
#使用正则提取帖子数量
#print(type(alllines),alllines)
allpage=int(alllines)//15+1
#帖子的页数
#print(type(allpage),allpage)
for i in range(0,int(allpage)):
    print('*'*40)
    index=str(i+1)
    getdata={'q':key,'p':index}
    #拼接URL
    data=requests.get(url,params=getdata).text
    pat2='<div class="media-body text-overflow">.*?<a href="(.*?)">'
    articles=re.compile(pat2,re.S).findall(data)
    #获取每一个帖子的URL
    #print(articles)
    for j in articles:
        thisurl="https://yq.aliyun.com/"+j
        #每一个帖子的URL，
        #print(type(thisurl))
        thisdata=requests.get(thisurl).text
        pat_title='<p class="hiddenTitle">(.*?)</p>'
     
        #print(type(pat_title))
        pat_content='<div class="content-detail unsafe markdown-body">(.*?)<div class="copyright-outer-line">'
        title = re.compile(pat_title,re.S).findall(thisdata)[0]
        #获取每一个帖子的标题
        
        content=re.compile(pat_content,re.S).findall(thisdata)[0]
        #获取每一个帖子的正文
        file=open('e:\\aaaaa\\'+str(i)+'_'+str(time.time())+'.txt','w',encoding='utf-8')
        #指定保存数据的路径，文件名为爬取页码加当前时间，
        #文件后缀为txt，可以任意指定文本格式，比如html
        file.write(title+'<br/> <br/>'+content)
        #写模式写入数据，每一次内循环结束，生成一个文件
        #标题和正文之间加入换行
        file.close()
        #写入完毕，关闭数据流