使用手机4G作热点防止网站封ip

  • 需求背景
  • 寻找免费代理
  • 通过手机热点切换电脑ip
  • 后记


需求背景

    今天兼职写爬虫的时候碰到一个很坑的网站，第一次用多并发去跑，爬了几十页就封ip了，而且是永封。然后换了几个代理，设置单并发跑，延时5s一次，这样一次能爬几百页。然而问题来了，我大概需要十几个代理。我上哪里去找代理捏。

寻找免费代理

    首先，我按照往常的经验运行我自己的脚本去网上抓免费代理，然而遗憾的发现这个网站用免费代理几百个都没有一个是能用的。于是我只好去找付费代理，但是被价格劝退了。大概要几百块一个月吧，而且我根本不确定能不能用。呵呵，这价格我都能自己搭好多个服务器了。然而我的目的就是要寻找廉价的稳定代理ip。

通过手机热点切换电脑ip

    以前分析数据的时候发现手机换ip十分方便，所以我就想到用手机热点+手提电脑是不是就能达到免费切ip的效果，当然，自己家里能拨号的同学可以直接拨号换ip，但我这种租房子的就没救了，和手机关闭/开启网络是一个效果的。 总之，通过手机或者电脑重新链接就能达到最方便的换ip效果了。

后记

    实际爬虫测试发现网站访问50页就会永封ip，所以每次爬完50页我就必须用手机重新开飞行模式换ip，而网站总共有1400页。。也就是说我要手动操作20多次换ip。虽然做是能做了，而且成本来说比买代理划算多了(4G无限流量套餐终于发挥了作用),但是！！！还是好烦啊！
总之，写爬虫真的坑。。。。。