今天分享我的一个练手项目,用来采集图书的ISBN编号编码、出版社、出版时间、版次、正文语种、定价等信息。本项目介绍了如何使用代理IP和多线程采集公开数据,项目尚不具备使用条件,仅供学习参考。项目需要用Maven引入,这里输入引用文本打开后如果有报错,可以检查是否为JDK版本问题。运行Starter类启动爬虫。如需要使用代理IP,请到无忧代理IP https://www.data5u.com
今天有客户咨询使用代理IP请求一个国外网址(https://read.qxmd.com/),这个网址在国内打开速度比较慢,然后报错了 java.io.IOException: Unable to tunnel through proxy. Proxy returns “HTTP/1.1 502 Bad Gateway”HTTP 502 – 网关错误此处一般指Nginx做反向代理服务器时,所连接的W
Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号