爬虫之selenium页面等待

页面在加载的过程中需要花费时间等待网站服务器的响应，在这个过程中标签元素有可能还没有加载出来，是不可见的，如何处理这种情况呢？

  1. 页面等待分类
  2. 强制等待介绍
  3. 显式等待介绍
  4. 隐式等待介绍
  5. 手动实现页面等待

1.1 页面等待的分类

首先我们就来了解以下selenium页面等待的分类

  1. 强制等待
  2. 隐式等待
  3. 显式等待

1.2 强制等待（了解）

  • 其实就是time.sleep()
  • 缺点时不智能，设置的时间太短，元素还没有加载出来；设置的时间太长，则会浪费时间

1.3 隐式等待

  • 隐式等待针对的是元素定位，隐式等待设置了一个时间，在一段时间内判断元素是否定位成功，如果完成了，就进行下一步
  • 在设置的时间内没有定位成功，则会报超时加载
  • 示例代码
from selenium import webdriver

driver = webdriver.Chrome()  

driver.implicitly_wait(10) # 隐式等待，最长等20秒  

driver.get('https://www.baidu.com')

driver.find_element_by_xpath()

示例代码：

from selenium import webdriver

url = 'http://www.baidu.com/'
driver = webdriver.Chrome()
driver.get(url)

# el = driver.find_element_by_xpath('//*[@id="lg"]/map/area')
el = driver.find_element_by_xpath('//*[@id="lg"]/map/12')      #如果定位不到直接报错
print(el)

运行效果：

Selenium 等待页面加载完成 java python selenium 等待页面加载_Chrome

隐式等待示例代码：

from selenium import webdriver

url = 'http://www.baidu.com/'
driver = webdriver.Chrome()

#  设置位置之后的所有元素定位操作都有最大等待时间10秒，在10秒内会定期进行元素定位，超过时间之后将会报错
driver.implicitly_wait(20)

driver.get(url)

# el = driver.find_element_by_xpath('//*[@id="lg"]/map/area')
el = driver.find_element_by_xpath('//*[@id="lg"]/map/12')     【此时运行没有体现隐式等待效果】
#  driver.find_element_by_id("sasasas")    【把上面代码改成这句话就能体现等待效果，至今还不知道上述情况为啥不出现等待效果，欢迎大佬评论】
print(el)

1.4 显式等待（了解）   【主要用于软件测试】

  • 每经过多少秒就查看一次等待条件是否达成，如果达成就停止等待，继续执行后续代码
  • 如果没有达成就继续等待直到超过规定的时间后，报超时异常
  • 示例代码
from selenium import webdriver  
from selenium.webdriver.support.wait import WebDriverWait  
from selenium.webdriver.support import expected_conditions as EC  
from selenium.webdriver.common.by import By 

driver = webdriver.Chrome()

driver.get('https://www.baidu.com')

# 显式等待
WebDriverWait(driver, 20, 0.5).until(
    EC.presence_of_element_located((By.LINK_TEXT, '好123')))  
# 参数20表示最长等待20秒
# 参数0.5表示0.5秒检查一次规定的标签是否存在
# EC.presence_of_element_located((By.LINK_TEXT, '好123')) 表示通过链接文本内容定位标签
# 每0.5秒一次检查，通过链接文本内容定位标签是否存在，如果存在就向下继续执行；如果不存在，直到20秒上限就抛出异常

print(driver.find_element_by_link_text('好123').get_attribute('href'))
driver.quit()

1.5 手动实现页面等待

在了解了隐式等待和显式等待以及强制等待后，我们发现并没有一种通用的方法来解决页面等待的问题，比如“页面需要滑动才能触发ajax异步加载”的场景，那么接下来我们就以淘宝网首页为例，手动实现页面等待

  • 原理：
  • 利用强制等待和显式等待的思路来手动实现
  • 不停的判断或有次数限制的判断某一个标签对象是否加载完毕（是否存在）
  • 实现代码如下：
import time
from selenium import webdriver
driver = webdriver.Chrome('/home/worker/Desktop/driver/chromedriver')

driver.get('https://www.taobao.com/')
time.sleep(1)

# i = 0
# while True:
for i in range(10):
    i += 1
    try:
        time.sleep(3)
        element = driver.find_element_by_xpath('//div[@class="shop-inner"]/h3[1]/a')
        print(element.get_attribute('href'))
        break
    except:
        js = 'window.scrollTo(0, {})'.format(i*500) # js语句
        driver.execute_script(js) # 执行js的方法
driver.quit()