今天也是在完善脚本的一天,之前是在看上海悠悠(博客园可以搜索)的接口自动化的书,里面有一段是爬一些风景图片的,我开始是学习他那边代码,但是他那个代码不是很完善,只能够爬一页的风景图,后来就在知乎查找答案,找到了一篇比较实用的http://cuiqingcai.com/942.html,就自己完善了以下,不多说,直接上代码了。
一、首先的话需要初始化里面写一些代码。主要使用了beautifulsoup 和requests 这两个模块,这两个模块都可以通过pip stall 的方法进行下载安装,本人使用的是python2.7的版本。
二、接下来就要开始写相对应的方法了,首先我先写了一个自动创建文件的方法,查看文件夹名称是否存在,如果存在就不需要创建,不存在就要创建一个。此处借鉴http://cuiqingcai.com/942.html里面一个文本方法。
三、继续写一些方法,其中就有提取图片url并且进行保存
四、因为这个页面是没有总页数,但是又想要让他循环读取,这就要判断该页面是否为最后一页了。
五、写的是讲读取图片代码和保存文件的代码合并起来,通过For循环的方式
六、这一步是整个代码的关键了,把所有的方法整合到一起,最后只需要使用这个方法就可以调用其他的方法了。其实我也一直在想,如何才能够循环读取到下一个页面, 怎么才能够让他再最后一页的时候跳出循环,继续下一个。说到这里,要先看看这个url的组成方式了,具体看下图。
、 五、一切都准备就绪了,那么就开始运行代码吧,看看效果。
最后有什么不对的地方或者改进的地方,希望大神们提出指正,谢谢。