更:Selenium特征过多(language/UserAgent/navigator/en-US/plugins),以Selenium打开的浏览器处于自测模式,很容易被检测出来,解决方法可选:
- 用mitmproxy拦截请求,在请求间修改框架特征。
- 手动修改自动化框架特征。
- 不改特征的话,用pyppeteer修改js代码中特征检测逻辑。
- 用其它webdriver。
做爬虫two years,爬过网站数百上千,简单点的用lxml,xpath,css,re,解析源码、稍复杂点的数据用AJAX加载的、js加载的、源码数据加密的、再复杂限制cookies带cookie,封IP的上代理IP,出验证码的破解验证码,更复杂的携带参数加密的,略简单的对加密方式用python模拟解密,困难的用PyV8等方法执行加密js文件,各式各样反反爬手段
这场恩恩怨怨了无尽头,对于异步加载数据的情况,可以抓包,也可以用Selenium + PhantomJS模拟浏览器,Selenium是一个用于Web应用程序测试的工具,它直接运行在浏览器中,就像真实的用户在操作一样。由于这个性质,Selenium也是一个强大的网络数据采集工具,可以获取异步加载技术的网页。
放一个爬淘宝的例子感受一下
#encoding: utf-8
'''
使用selenium + PhantomJS 爬淘宝“男士手表”前100页,三四千个item
存入MongoDB
用到selenium:点击,清空,输入
'''
from selenium import webdriver
from pymongo import MongoClient
from lxml import etree
# 实例化浏览器
driver = webdriver.PhantomJS()
# 窗口最大化
driver.maximize_window()
# 连接MongoDB数据库
client = MongoClient('localhost',27017)
taobao = client['test']['taobao']
def scrapy_item(url, page):
'''采集并写入MongoDB'''
# 打开商品页
driver.get(url)
# 智能等待10s
driver.implicitly_wait(10)
sel = etree.HTML(driver.page_source)
divs = sel.xpath('//div[@class="ctx-box J_MouseEneterLeave J_IconMoreNew"]')
for x in divs:
d = {}
d["price"] = x.xpath('div[1]/div[1]/strong/text()')[0]
d["counts"] = x.xpath('div[1]/div[2]/text()')[0]
d["description"] = x.xpath('string(div[2]/a)').strip()
d["shop"] = x.xpath('div[3]/div[1]/a/span[2]/text()')[0]
# item写入MongoDB
taobao.insert_one(d)
print(d)
if page < 100:
# 少于100页,继续下一页
page += 1
# 传入参数是:当前页面URL,下页页码
nextpage(driver.current_url, page)
def nextpage(url, page):
'''获得下一页连接并采集'''
# 打开刚采集完毕的页面
driver.get(url)
# 智能等待10s
driver.implicitly_wait(10)
# 点击下一页
driver.find_element_by_xpath('//a[@trace="srp_bottom_pagedown"]').click()
driver.implicitly_wait(5)
driver.get(driver.current_url)
driver.implicitly_wait(10)
# 得到下一页URL,继续采集
scrapy_item(driver.current_url, page)
if __name__ == '__main__':
# 打开淘宝首页
driver.get('https://www.taobao.com/')
# 智能等待10s
driver.implicitly_wait(10)
# 找到搜索框,清空搜索框内容
driver.find_element_by_id('q').clear()
# 填入搜索条件
driver.find_element_by_id('q').send_keys('男士手表')
# 点击“搜索”
driver.find_element_by_class_name('btn-search').click()
# 搜索完毕,到达商品页面;拿着商品页面URL开始采集,页码初始化为1
scrapy_item(driver.current_url, 1)
使用前第一步先实例化浏览器,这里用PhantomJs,它是一种“无头”浏览器,开销小,速度快。另外还有Chrome,Firefox,用的比较少
driver = webdriver.PhantomJS()
第二步发请求,get()后的driver.page_source含有异步加载信息
driver.get(url)
第三步,打开一个网页肯定需要时间,webdriver有implicitly_wait(time)智能等待一段时间,超过time不等了,没到time但加载好了,也就不等了
driver.implicitly_wait(10)
第四步,锁定数据位置,有通过Id的,Xpath的,Css的,类名Class_name的,标签名tag_name的,等。
第五步,有时异步数据是基于事件驱动的,例如当鼠标下拉到页面上某一位置时才加载数据,当点击某一处才加载数据。两种办法,一把鼠标移动到某个位置点击触发事件,二把鼠标移动到页面最下端触发事件后,再解析源码;知乎解答
用Chrome()方法模拟浏览器
打开出现data;不跳转网页的,需下载chrome浏览器驱动 下载地址 或更换Chrome版本,将下载好的chromedriver.exe 放在chrome安装目录下,并设置chrome路径到path环境变量中
使用示例:
# coding = utf-8
from selenium import webdriver
driver = webdriver.Chrome()
driver.get('http://www.baidu.com')
driver.close()