随着互联网时代的到来，以网络爬虫为主要代表的自动化数据收集技术越来越多的公司所接受。该项技术是一种自动浏览网络的机器人，其目的就是为了索引目标网站获取对自己有价值的东西。如果同一个地址频繁访问，很容易就会触发网站反爬机制，限制访问。因此引申出了爬虫ip，解决爬虫过程ip被封的问题。
本文详细解说了有关python爬虫使用动态IP的一些常见问题，已经如果选择适合的爬虫ip。
一、如何选择爬虫动态ip？
动态IP是指访问目标网站服务器的IP是不断变化的，或短时间内更换访问的IP，也就是说，动态IP的有效期一般都比较短。那么，动态代理IP种类有哪些？
1、短效优质ip
正常市面的短效ip日流水在30-200W左右，每个ip存活时间在1-3分钟左右，这类ip适合大型项目，对并发数和ip要求高的业务使用。
2、长效优质ip
全国散段的ip，市面在售的商家大概日流水在5W左右的ip，这种ip可以存活3-30分钟左右，针对目标网站对ip时效要求高的业务场景。
3、合租动态ip池
多人共同合租一个动态ip池，起主要目的在于进行“业务筛选”与“共摊成本”。降低客户使用成本的同时，并且能高效的提高工作进度。
4、独享动态ip池
独享就是所谓一个人享用的ip池，完全属于自己可控制的池子。HTTP/HTTPS/Socks5三种协议都支持，这种主要适用于需要控制时长的业务。
二、使用爬虫ip常见错误
1、爬虫代码中使用动态ip
2、检验ip是否生效如果我们访问一个目标网站，他会反馈给我们一些ip信息：
下面就是使用的四个动态ip。
3、动态ip未生效原因
当你访问目标网站返回的是本地地址，或者提示请求失败，可能是因为下面两种问题：
一是请求协议不匹配
说白点就是说，您访问的目标网站是http网址，就需要用http的协议，如果是https网址，就要用https的协议。
假如请求的是http网址，但是proxies里只有https协议，那么网站识别的可能是本地ip。
二是动态ip失效
如果请求过程中报错，极有可能是动态ip失效了，或者是动态ip授权失败。比如高质量的ip正常需要添加白名单或者授权后才能使用。具体原因具体分析，不同的错误代码有不同的处理方式。
以上就是关于Python使用动态ip的一些常见问题，欢迎大家一起来讨论。
