关注小编，每天跟小编一起学习10分钟：Python编程技术，开启你的编程的大牛路！————————————————————————————————————————

知乎好像封闭查询了，那么我们换一个比较好爬取，而且不容易变动的网站，，就起点网，爬取许多小说名字。

爬取分为三个步骤大概

第一：是用python的url库搭接网络连接部分，能够自动打开许多网页和下载它的html，这个很简单，都是模板不用费脑子。

第二：是分析目标网站的html，观察对应的要爬取的内容是怎么被包围在这些标签中的。

第三：是用python的正则表达式构建字段，从整个html里进行匹配，匹配成功了就输出，整个过程大致就是这样，关键是如何打开这些网址，以及如何匹配正确，就是这样。

在匹配之前，最好就是先用一个网页试着匹配一下，实验性的，不然匹配错了，输出一大堆错误的东西，也会降低效率

这回用的是scrape爬虫框架

这里有一点是，urllib2现在与urllib合并了。。。然后如果你要用urllib2的话，它就是urllib里的request，所以你单独倒一条：

Import urllib.request as urllib2

这样就可以愉快的玩耍啦！

然后可以这么写几句话看一下：

需要python学习教程的可以加小编的Q君羊哦！：“八八 三四四四一零；六”

就两句话，但是能传出来一大堆东西。

其实上面的urlopen参数可以传入一个request请求,它其实就是一个Request类的实例，构造时需要传入Url,Data等等的内容。比如上面的两行代码，我们可以这么改写：

效果是一样的，但是会更加灵活，我们可以在构建request的时候填进许多内容，达到完全掌控网页的目的，因为现在的网页大多数都是动态的，因此我们往往会构建出非常复杂的request

值得注意的是，在python2与python3中的urlencode的方法并不是在同一个地方。Python2中提供了urllib和urllib2两个模块，urlencode是在urllib下的，而在python3中只提供urllib和urllib3两个库，其中urllib包括了绝大多数功能，而urllib3只是作为一个拓展模块使用的。

然后，执行一下，报错了：

为什么会出现这种错误呢？上网一查，原来是python2与python3的版本问题导致的，现在python3 的教程已经出来了好一些了，学习python3现在也较容易，解决方法是在urlencode后面加上.encode(encoding=’UTF8’)//就是这样

解决这个问题，然后又报错了，什么问题呢：

这个问题看起来是网络的问题，又在网上查了一下，405是这个东西：

405 -用来访问本页面的 HTTP 谓词不被允许(方法不被允许)

什么意思呢，就是有些网页在被访问的时候，服务器要求需要知道是什么操作系统，什么浏览器，甚至什么硬件信息，如果没有，它就会返回405错误，而这恰是爬虫所缺少的，怎么办呢？我们可以对其进行伪装：

然后不出意料的是，又报错了，MMP，这回的错误的是：

这是因为，python3中，编码的时候区分了字符串和二进制，把encode改成decode就可以了

文章来自网络，如有侵权联系小编删除！