目标
前期准备
代码
- def __init__(self)
- def login(self)
- def search_total_page(self)
- def next_page(self,pagenumber)
- def crawl_good_data(self)
- 总结
目标
实现完全自动化(?说的很高级的样子)，就是自动登录，进入搜索页面并获取所有信息）
前期准备
下载链接：geckodriver国内下载 需要用到Selenium，在下载geckodriver的时候出现了问题“Unable to find a matching set of capabilities”，在“Unable to find a matching set of capabilities”问题解决中找到的可能原因有：
- 通常是firefox和gecokdriver的版本不匹配；
- 需要将Firefox需要在“Application”文件夹中，并且只能命名为“Firefox”；
- 据说Firefox Developer Edition不太可，需要标准版本的Firefox；
- 检查是否将geckodriver.exe放在了python的文件夹和scripts文件夹下； （条条有理，但是我还是没有解决:)） （转战chrome，卑微）selenium安装与chromedriver安装
代码
结果图：
还是先上代码，再逐个分析函数。
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver import ActionChains
from pyquery import PyQuery as pq
from time import sleep
#定义一个taobao类
class taobao_infos:
#对象初始化
def __init__(self):
url = 'https://login.taobao.com/member/login.jhtml'
self.url = url
options = webdriver.ChromeOptions()
# 不加载图片,加快访问速度
options.add_experimental_option("prefs", {"profile.managed_default_content_settings.images": 2})
# 设置为开发者模式，防止被各大网站识别出来使用了Selenium
options.add_experimental_option('excludeSwitches', ['enable-automation'])
self.browser = webdriver.Chrome(executable_path=chromedriver_path, options=options)
self.wait = WebDriverWait(self.browser, 10) #超时时长为10s
#登录淘宝
def login(self):
# 打开网页
self.browser.get(self.url)
#智能等待，直到网页加载完毕，最长等待时间为30s
self.browser.implicitly_wait(30)
# 自适应等待，点击微博登录选项
self.browser.find_element_by_xpath('//*[@class="weibo-login"]').click()
# 自适应等待，输入微博账号
self.browser.implicitly_wait(30)
self.browser.find_element_by_name('username').send_keys(weibo_username)
# 自适应等待，输入微博密码
self.browser.implicitly_wait(30)
self.browser.find_element_by_name('password').send_keys(weibo_password)
# 自适应等待，点击确认登录按钮
self.browser.implicitly_wait(30)
self.browser.find_element_by_xpath('//*[@class="btn_tip"]/a/span').click()
# 直到获取到淘宝会员昵称才能确定是登录成功
taobao_name = self.wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '.site-nav-bd > ul.site-nav-bd-l > li#J_SiteNavLogin > div.site-nav-menu-hd > div.site-nav-user > a.site-nav-login-info-nick ')))
# 输出淘宝昵称
print(taobao_name.text)
# 获取天猫商品总共的页数
def search_toal_page(self):
self.wait.until(
EC.presence_of_element_located((By.CSS_SELECTOR, '#J_ItemList > div.product > div.product-iWrap')))
# 获取天猫商品总共页数
number_total = self.wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '.ui-page > div.ui-page-wrap > b.ui-page-skip > form')))
page_total = number_total.text.replace("共", "").replace("页，到第页 确定", "").replace("，", "")
print(page_total)
return page_total
# 翻页操作
def next_page(self, page_number):
input = self.wait.until(EC.presence_of_element_located(
(By.CSS_SELECTOR, '.ui-page > div.ui-page-wrap > b.ui-page-skip > form > input.ui-page-skipTo')))
submit = self.wait.until(EC.presence_of_element_located(
(By.CSS_SELECTOR, '.ui-page > div.ui-page-wrap > b.ui-page-skip > form > button.ui-btn-s')))
# 清除里面的数字
input.clear()
# 重新输入数字
input.send_keys(page_number)
# 强制延迟1秒，防止被识别成机器人
sleep(1)
# 点击确定按钮
submit.click()
# 模拟向下滑动浏览
def swipe_down(self, second):
for i in range(int(second / 0.1)):
js = "var q=document.documentElement.scrollTop=" + str(300 + 200 * i)
self.browser.execute_script(js)
sleep(1)
js = "var q=document.documentElement.scrollTop=100000"
self.browser.execute_script(js)
sleep(1)
# 爬取天猫商品数据
def crawl_good_data(self):
# 对天猫商品数据进行爬虫
self.browser.get("https://list.tmall.com/search_product.htm?q=Nike")
err1 = self.browser.find_element_by_xpath("//*[@id='content']/div/div[2]").text
err1 = err1[:5]
if (err1 == "喵~没找到"):
print("找不到您要的")
return
try:
self.browser.find_element_by_xpath("//*[@id='J_ComboRec']/div[1]")
err2 = self.browser.find_element_by_xpath("//*[@id='J_ComboRec']/div[1]").text
# print(err2)
err2 = err2[:5]
if (err2 == "我们还为您"):
print("您要查询的商品书目太少了")
return
except:
print("可以爬取这些信息")
# 获取天猫商品总共的页数
page_total = self.search_toal_page()
print("总共页数" + page_total)
# 遍历所有页数
for page in range(2, int(page_total)):
# 等待该页面全部商品数据加载完毕
self.wait.until(
EC.presence_of_element_located((By.CSS_SELECTOR, '#J_ItemList > div.product > div.product-iWrap')))
# 等待该页面input输入框加载完毕
input = self.wait.until(EC.presence_of_element_located(
(By.CSS_SELECTOR, '.ui-page > div.ui-page-wrap > b.ui-page-skip > form > input.ui-page-skipTo')))
# 获取当前页
now_page = input.get_attribute('value')
print("当前页数" + now_page + ",总共页数" + page_total)
# 获取本页面源代码
html = self.browser.page_source
# pq模块解析网页源代码
doc = pq(html)
# 存储天猫商品数据
good_items = doc('#J_ItemList .product').items()
# 遍历该页的所有商品
for item in good_items:
good_title = item.find('.productTitle').text().replace('\n', "").replace('\r', "")
good_status = item.find('.productStatus').text().replace(" ", "").replace("笔", "")\
.replace('\n',"").replace('\r', "")
good_price = item.find('.productPrice').text().replace("¥", "").replace(" ", "")\
.replace('\n', "").replace('\r', "")
good_url = item.find('.productImg').attr('href')
print(good_title + " " + good_status + " " + good_price + " " + good_url + '\n')
# 模拟人工向下浏览商品，即进行模拟下滑操作，防止被识别出是机器人
self.swipe_down(2)
# 翻页，下一页
self.next_page(page)
# 等待滑动验证码出现,超时时间为5秒，每0.5秒检查一次
# 大部分情况不会出现滑动验证码，所以如果有需要可以注释掉下面的代码
sleep(5)
WebDriverWait(self.browser, 5, 0.5).until(EC.presence_of_element_located((By.ID, "nc_1_n1z"))) # 等待滑动拖动控件出现
try:
swipe_button = self.browser.find_element_by_id('nc_1_n1z') # 获取滑动拖动控件
# 模拟拽托
action = ActionChains(self.browser) # 实例化一个action对象
action.click_and_hold(swipe_button).perform() # perform()用来执行ActionChains中存储的行为
action.reset_actions()
action.move_by_offset(580, 0).perform() # 移动滑块
except Exception as e:
print('get button failed: ', e)
if __name__ == "__main__":
chromedriver_path = "你的chromedriver的完整路径地址"
weibo_username = "你的微博账号"
weibo_password = "你的微博密码"
a = taobao_infos()
a.login() # 登录
a.crawl_good_data() # 爬取天猫商品def init(self)
配置chrome浏览器的
- selenium+python配置chrome浏览器的基础选项（非常详细!)，以满足爬虫的需要。
- webDriver中的等待，这里采用显式WebDriverWait，超时后默认抛出NoSuchElementExeception异常。
def login(self)
实现自动登录功能。
- 查看登录界面的网页源代码： 可以找到"className":“weibo-login”，这里就是微博登录，使用find_element_by_xpath就可以定位，click就相当于点击了“微博登录”按钮。元素定位-find_element_by
- 找到输入微博账号的，并且将weibo_username（即保存你的微博账号的变量）传入,则相当于输入你的微博账号，密码同理 找到登录按钮，click 这样就相当于自动登录进去啦，当然如何判断登录成功是通过获取到了淘宝昵称
- presence_of_element_located验证元素是否出现，传入参数是元组类型，一个只要一个符合条件的元素加载出来就通过。
- 元素定位之CssSelector
- 如果没有登录成功，不会显示淘宝名，而会显示“亲，请登录”，所以只要显示除了淘宝昵称，则代表登录成功。
def search_total_page(self)
获取商品的总页数。
则代表商品的信息已经加载好了。
将“共“”页，到第页”全部替换成“”，也就是只剩下总页数80，这样就找到了总页数。
def next_page(self,pagenumber)
等待该页面input输入框加载完毕和该页面的确定按钮加载完毕后，清空框中的数字，并且输入要跳转的页面，则实现跳转页面了。
def crawl_good_data(self)
还是以Nike为例，可能出现的错误有：err1-搜索不到查询的商品，err2-查询的商品书目太少。排除这些可能的error后，就可以开始爬取信息啦。通过next_page方法跳转页面已达到遍历所有页面，即所有商品的目的。
- Pyquery详解
总结
- 发现了一个selenium常见的坑，里面很多问题都非常需要注意和思考。
- 后来在翻页的时候，竟然忙里偷个小闲kkk 但是应该是已经识别到是selenium了，所以不管以什么速度滑动滑块都不行。后来我就改成上一个项目里类似的找每个页url的规律，返回整个网页形式的请求接口，然后再把数据提取出来，这样的话偶尔没有问题…还是不太智能吼
- 下一个功能要实现的是自动登录并定时下单商品，冲！鸭！
本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。
