Python的模拟wss爬虫 python 爬虫模拟点击

在利用爬虫爬取页面HTML信息得时候有的当你运用request方法爬取时爬下来得HTML信息和网站信息不相符，这也导致以后得爬去无法进行，这也是反扒机制之一，解决办法时利用代码进行模拟网页点击，来爬去相应得信息。

注：以下代码以今日头条网站为例！

具体代码如下：

import requests
from lxml import etree
import os
#模拟浏览器行为
from selenium import webdriver
from mysqldb import ConnectMysql
import pymysql
class Gevent_spider(object):
    def get_html(self,url):
        #根据网址为所获得的HTML文件命名           
        if url == 'https://www.toutiao.com/ch/news_image/':
            file_name = 'toutiao.html'

else:

file_name = 'inner_pear.html'
        #定义一个新的变量接收匹配后的值
        html_content = ''
        #使用os模块来判断文件是否存在 如果不存在直接写文件
        if not os.path.exists(file_name):
            #利用selenium方法来模拟人点击浏览器行为获取正式html
            browser = webdriver.Chrome()
            #get获取页面信息
            browser.get(url)
            #解码并进行赋值
            html = browser.page_source.encode("utf-8").decode()
            #设置等待时间 等待模拟器操作完成
            time.sleep(5)
            #将爬去的HTML写入文件
            with open('./'+file_name,'w',encoding='utf-8') as f:
                f.write(html)
            #关闭模拟行为
            browser.quit()
            #对空变量进行赋值
            html_content = html

#如果文件存在直接读取文件中的信息，

else:

with open('./'+ file_name,encoding='utf-8') as f:
                contents = f.read()
            #对空变量重新复制
            html_content = contents
        #将爬取的信息传入解析模板方法
        self.xpath_html(html_content)
    #定义解析方法
    def xpath_html(self,html):
        #利用LXML方法解析HTML
        html = etree.HTML(html)
        #匹配图片标签 因为图片标签隐藏在不同的层次下 所以匹配两个
        img_list = html.xpath("//div[@class='image-wrap middle left']/img/@src")
        img_list1 = html.xpath("//div[@class='image-wrap large']/img/@src")
        #遍历其中一个图片列表 将其添加到另一个 已保证图片列表得完整性
        for item in img_list1:
            img_list.append(item)
        #下载图片
        for item in img_list:
            #定义下载到得地址
            path = "E:/头条/"
            if os.path.exists(path):
                filepath = requests.get('http://'+item.replace('//',''))
                filepath1 = filepath.content
                picname = item.split("/")[-1]
                with open(path + "/" + picname+'.jpg',"wb") as f:
                    f.write(filepath1)
        #匹配内页网址和标题
        url_list = html.xpath("//ul[@class='imgList']/li/a/@href")
        title_list= html.xpath("//p[@class='des']/text()")
        #手动添加url 便利后添加到列表
        url_list1 = []
        for item in url_list:
            item = 'https://www.toutiao.com' + item
            url_list1.append(item)
        #判断标题 去除空格
        title_list1 = []
        for item in title_list:
            if item == " ":
                pass

else:

title_list1.append(item)
        # print(url_list1,"+++++++++",img_list,"+++++++++",title_list1)
        # print(len(url_list1),"+++++++++",len(img_list),"+++++++++",len(title_list1))
        #将匹配后得数据传到入库方法中
        self.insert_db(url_list1,title_list1,img_list)
    #定义写成入库方法
    def insert_db(self,url_list1,title_list1,img_list):
        #建立数据库连接
        conn = pymysql.connect(host='localhost',user='root',password='mysql',database='mymac',charset='utf8')
        #定义游标对象
        cursor = conn.cursor()
        #入库操作
        for item in range(len(img_list)):
            cursor.execute(" insert into `toutiao_spider` values ('%s','%s','%s') " % (url_list1[item],title_list1[item],img_list[item]))
            conn.commit()
        cursor.close()
        conn.close()
    #爬取内页  
    # def get_inner_data(self,list):
    #     for item in list:
    #         # print(item)
    #         browser = webdriver.Chrome()
    #         browser.get(item)
    #         html = browser.page_source.encode("utf-8").decode()
    #         time.sleep(5)
    #         browser.quit()
    #         html = etree.HTML(html)
    #         title = html.xpath("//div[@class='info-box-inner']/h2/text()")
    #         print(title)
            #端点测试
            # exit(-1)
#程序入口
if __name__ == "__main__":
    #实例化对象
    gevent_spider = Gevent_spider()
    #调用方法并传相应参数
    gevent_spider.get_html('https://www.toutiao.com/ch/news_image/')   
mysqldb.py 文件具体代码：
#导包
import pymysql
#定义数据库公共类
class ConnectMysql(object):
    #定义方法连接mysql
    def connect_mysql(self):
        #建立连接对象
        conn = pymysql.connect(host='localhost',user='root',password='mysql',database='mymac',charset='utf8')
        return conn