博主未解决问题: 爬取时滑块可以滑过去,但是不跳转页面,欢迎大家指点.
**此问题是因为我们在爬虫的过程中,网站识别到了我们是在使用爬虫,进行自动网站操作.属于反扒.**
**怎么查看我们的程序被识别到?**
**以下是查看代码,在我们正常登录的网站中**
window.navigator.webdriver = false
以下是我们使用爬虫获取的网页
window.navigator.webdriver = true
解决方案如下:
chrome的版本大于等于88
# option = Options()
# option.add_experimental_option('excludeSwitches', ['enable-automation'])
# option.add_argument('--disable-blink-features=AutomationControlled')
# web = Chrome(options=option)
当我们启动浏览器的时候(此时没有加载任何网页内容), 向页面嵌入js代码. 去掉webdriver问题即可得到解决