文章目录
- 一、Selenium 简介
- 二、PhantomJS 简介
- 三、Selenium 使用
- （一）使用步骤
- （二）属性及方法
- （三）查找元素
- （四）其他
- 四、简单案例
一、Selenium 简介
Selenium：美[sɪˈliniəm] 硒
Selenium 是一个 Web 的自动化测试工具，最初是为网站自动化测试而开发的，类型像 我们玩游戏用的按键精灵，可以按指定的命令自动操作，不同的是 Selenium 可以直接运行 在浏览器上，它支持所有主流的浏览器(包括 PhantomJS 这些无界面的浏览器)。
Selenium 可以根据我们的指令，让浏览器自动加载页面，获取需要的数据，甚至页面截 屏，或者判断网站上某些动作是否发生。
Selenium 自己不带浏览器，不支持浏览器的功能，它需要与第三方浏览器结合在一起才 能使用。但是我们有时候需要让它内嵌在代码中运行，所以我们可以用一个叫 PhantomJS 的工具代替真实的浏览器。
可以从 PyPI 网站下载 Selenium 库 http://pypi.python.org/simple/selenium，
也可以用第三 方管理器 pip 命令安装：pip install selenium==2.48.0
官方参考文档：http://selenium-python.readthedocs.io/index.html
二、PhantomJS 简介
phantom：美 ['fæntəm]，鬼怪，幽灵。
PhantomJS 是一个基于 Webkit 的“无界面”(headless)浏览器，它会把网站加载到内存并 执行页面上的 JavaScript，因为不会展示图形界面，所以运行起来比完整的浏览器要高效。
如果我们把 Selenium 和 PhantomJS 结合在一起，就可以运行一个非常强大的网络爬虫 了，这个爬虫可以处理 JavaScript、cookie、headers，以及任何我们真实用户需要做的事情。
注意：PhantomJS 只能从它的官方网站 http://phantomjs.org/download.html)下载。因为 PhantomJS 是一个功能完善(虽然无界面)的浏览器而非一个 Python 库，所以它不需要像 Python 的其他库一样安装，但我们可以通过 Selenium 调用 PhantomJS 来直接使用
三、Selenium 使用
（一）使用步骤
- 导入webdriver
from selenium import webdriver
from selenium.webdriver.common.keys import Keys- 调用浏览器
driver = webdriver.PhantomJS(executable_path=r'D:\phantomjs-2.1.1-windows\bin\phantomjs.exe')- 访问页面
driver.get(url='https://www.baidu.com/')（二）属性及方法
- title 获取标题
print(driver.title) # 百度一下，你就知道- page_source 查看页面内容
print(driver.page_source)- current_url 查看当前请求的URL
print(driver.current_url)- get_cookies() 获取页面的所有cookie
print(driver.get_cookies())（三）查找元素
- find_element_by_id(‘id的值’) 根据id查找元素
id_kw = driver.find_element_by_id('kw')
print(id_kw) # <selenium.webdriver.remote.webelement.WebElement (session="87034e40-2ef8-11eb-9fcc-a5e1716ab51d", element=":wdc:1606293064468")>- find_elements_by_class_name(‘class的值’)
根据class获取所有符合class值的元素，返回列表
find_element_by_class_name(‘class的值’)
根据class获取所有符合class值的元素，返回获取的第一个 - find_element_by_xpath(‘xpath路径’) 根据xpath查找元素
input = driver.find_element_by_xpath('//input[@id="kw"]')
print(input) # <selenium.webdriver.remote.webelement.WebElement (session="2cdae710-2ef9-11eb-b9e9-e3bcc2cd5ba5", element=":wdc:1606293331010")>- text 获取标签之间的内容
content = driver.find_element_by_xpath('//div[@id="s-top-left"]/text()') # 不支持
content = driver.find_element_by_xpath('//div[@id="s-top-left"]').text # 支持
print(content)- get_attribute(‘属性名’) 获取属性值
class_s_ipt = driver.find_element_by_class_name('s_ipt').get_attribute('id')
print(class_s_ipt) # kw（四）其他
- 截图
driver.save_screenshot('baidu.png')- send_keys(‘输入的内容’)
文本输入
步骤：
先获取文本框
再输入内容
driver.find_element_by_xpath('//input[@id="kw"]').send_keys('金所炫')
driver.save_screenshot('输入.png')- 点击事件（click()）
先找到输入框，然后输入内容，再点击
driver.find_element_by_xpath('//input[@id="kw"]').send_keys('金所炫')
driver.find_element_by_xpath('//input[@id="su"]').click()
driver.save_screenshot('点击.png')发现问题：页面空白
原因：截图太快，页面响应需要时间，需要休眠一会儿再截图，导入time模块即可
- 快捷键操作
举例：全选和剪切
driver.find_element_by_xpath('//input[@id="kw"]').send_keys('金所炫')
driver.save_screenshot('全选之前.png')
driver.find_element_by_xpath('//input[@id="kw"]').send_keys(Keys.CONTROL,'a')
driver.save_screenshot('全选.png')
driver.find_element_by_xpath('//input[@id="kw"]').send_keys(Keys.CONTROL,'x')
driver.save_screenshot('剪切.png')四、简单案例
需求：豆瓣读书获取相关信息
分析：使用谷歌浏览器访问
注意：
- selenium运行很慢，如果不是特别需要，建议不使用
- 使用selenium时，尽量不使用selenium的方法获取元素
- selenium主要用于访问页面
# 1. 导入webdriver
from selenium import webdriver
from lxml import etree
# 2. 调用浏览器
driver = webdriver.Chrome(executable_path=r'D:\chrome\chromedriver.exe')
# 最大化浏览器
driver.maximize_window()
# 3. 发起请求
driver.get(url='https://search.douban.com/book/subject_search?search_text=python&cat=1001&start=15')
# 4. 提取数据
# 将字符串转换成HTML元素对象
html = etree.HTML(driver.page_source)
div_list = html.xpath('//div[@class="detail"]')
for div in div_list:
# 获取书名
title = div.xpath('./div[@class="title"]/a/text()')[0]
# 获取评分
score = div.xpath('.//span[@class="rating_nums"]/text()')[0]
# 获取评价人数
comment = div.xpath('.//span[@class="pl"]/text()')[0]
print(title,score,comment)
...
