学Python派森的博客

Python实用技法第17篇：将名称映射到序列的元素中

1、需求我们的代码是通过位置（即索引或下标）来访问列表会元组的，但有时候这会让代码变得有些难以阅读。我们希望可以通过名称来访问元素，以此减少结构中对位置的依赖性。2、解决方案相比普通的元组，collections.namedtuple()(命名元组)只增加了极少的开销就提供了这些便利。实际上collections.namedtuple()是一个工厂方法，它返回的是Python中标准元组类型的子类。

Python

爬虫

数据挖掘

原创 2019-08-12 17:07:11 232 阅读

Python实用技法第16篇：从字典中提取子集

1、需求

Python

数据挖掘

python开发

原创 2019-08-12 17:04:43 385 阅读 1收藏

Python实用技法第15篇：筛选序列中的元素

1、需求

Python

数据挖掘

Python开发

爬虫

原创 2019-08-10 17:12:50 276 阅读

Python实用技法第14篇：根据字段将记录分组：itertools.groupby()

1、需求

Python

Python开发

数据挖掘

爬虫

原创 2019-08-10 17:12:09 403 阅读

Python实用技法第13篇：对自定义类对象排序：attrgetter

1、需求

Python

Python开发

数据挖掘

爬虫

原创 2019-08-10 17:11:36 478 阅读

Python实用技法第12篇：通过公共键对字典列表排序：itemgetter

1、需求

Python

Python开发

数据挖掘

原创 2019-08-10 17:10:10 291 阅读

Python实用技法第11篇：找出序列中出现次数最多的元素

1、需求

Python

爬虫

数据挖掘

Python开发

原创 2019-08-10 17:09:36 349 阅读

Python实用技法第10篇：对切片命名

1、需求我们的代码已经变得无法阅读，到处都是硬编码的切片索引，我们想优化他们。2、解决方案代码中如果有很多硬编码的索引值，将导致可读性和维护性都不佳。内置的slice()函数会创建一个切片对象，可以用在任何运行进行切片操作的地方。items=[0,1,2,3,4,5,6]a=slice(2,4)print(items[2:4])print(items[a])items[a]=[10,11,12,1

Python

数据挖掘

爬虫

转载 2019-08-09 16:10:42 311 阅读

Python实用技法第9篇：从序列中移除重复项且保持元素间顺序不变

1、需求我们想去除序列出现的重复元素，但仍然保持剩下的元素的顺序不变。如果只是想要去重，那么通常足够简单的方法就是构建一个集合：a=[1,5,4,36,7,8,2,3,5,7]#结果为：{1,2,3,4,5,36,7,8}print(set(a))2、解决方案如果序列中的值是可哈希的（hashable），那么这个问题可以通过使用集合和生成器轻松解决。如果一个对象是可哈希的，那么它的生存期内必须是不

Python

爬虫

数据挖掘

转载 2019-08-09 16:10:16 256 阅读

Python实用技法第8篇：在两个字典中寻找相同点

1、需求现在有两个字典，我们想找出它们中间可能相同的地方（相同的键、相同的值）2、解决方案只需要用过keys()或者item()方法执行常见的集合操作（并集、交集、差集）即可。a={'x':1,'y':2,'z':3}b={'w':10,'x':11,'y':2}#找出在两个字典中读存在的键print(a.keys()&b.keys())#找出存在a却不存在b的键print(a.keys(

Python

爬虫

数据挖掘

转载 2019-08-09 16:09:38 203 阅读

Python实用技法第7篇：字典上对数据执行计算：求最小值、最大值、排序

1、需求我们想在字典上对数据执行各式各样的计算，例如：最大值、最小值、排序等2、解决方案zip()函数用于将可迭代的对象作为参数，将对象中对应的元素打包成一个个元组，然后返回由这些元组组成的列表。假设有一个字典，在股票名称和对应价格之间做了映射：prices={'ACME':45.23,'AAPL':612.78,'IBM':205.55,'HPQ':37.20,'FB':10.75}为了能对字典

Python

爬虫

数据挖掘

转载 2019-08-09 16:06:09 620 阅读

Python实用技法第6篇：让字典保持有序

1、需求我们想创建一个字典，同时当对字典做迭代或序列化操作时，也能控制其中元素的顺序。2、解决方案要控制字典中元素的顺序，可以使用collections模块中的OrderedDict类。当对字典做迭代时，它会严格按照元素初始添加的顺序进行。fromcollectionsimportOrderedDictd=OrderedDict()d['a']=1d['b']=2d['c']=3d['d']=4#

Python

原创 2019-08-09 16:02:55 411 阅读

Python实用技法第5篇：一键多值字典：defaultdict

1、需求

Python

数据挖掘

爬虫

原创 2019-08-08 19:35:59 348 阅读

Python实用技法第4篇：实现优先级队列

1、需求

Python

数据挖掘

爬虫

原创 2019-08-08 19:35:15 781 阅读

Python实用技法第3篇：找到最大或最小的N个元素

1、需求

Python

数据挖掘

爬虫

web开发

原创 2019-08-08 19:34:07 283 阅读

Python实用技法第2篇：使用deque保留最新的N个元素

1、需求

Python

爬虫

数据挖掘

原创 2019-08-08 19:33:32 216 阅读

Python实用技法第1篇：可迭代对象分解为单独的变量

Python

爬虫

数据挖掘

原创 2019-08-08 19:33:05 321 阅读

Python3网络爬虫实战-45、微博宫格验证码的识别

本节我们来介绍一下新浪微博宫格验证码的识别，此验证码是一种新型交互式验证码，每个宫格之间会有一条指示连线，指示了我们应该的滑动轨迹，我们需要按照滑动轨迹依次从起始宫格一直滑动到终止宫格才可以完成验证，如图8-24所示：图8-24验证码示例鼠标滑动后的轨迹会以×××的连线来标识，如图8-25所示：图8-25滑动过程我们可以访问新浪微博移动版登录页面就可以看到如上验证码，链接为：https://pass

Python

爬虫

数据挖掘

原创 2019-08-07 22:40:02 541 阅读

Python3网络爬虫实战-44、点触点选验证码的识别

上一节我们实现了极验验证码的识别，但是除了极验其实还有另一种常见的且应用广泛的验证码，比较有代表性的就是点触验证码。可能你对这个名字比较陌生，但是肯定见过类似的验证码，比如12306，这就是一种典型的点触验证码，如图8-18所示：图8-1812306验证码我们需要直接点击图中符合要求的图，如果所有答案均正确才会验证成功，如果有一个答案错误，验证就会失败，这种验证码就可以称之为点触验证码。学习过程中

Python

数据挖掘

爬虫

原创 2019-08-07 22:39:32 3057 阅读

Python3网络爬虫实战-43、极验滑动验证码的识别

上节我们了解了图形验证码的识别，简单的图形验证码我们可以直接利用Tesserocr来识别，但是近几年又出现了一些新型验证码，如滑动验证码，比较有代表性的就是极验验证码，它需要拖动拼合滑块才可以完成验证，相对图形验证码来说识别难度上升了几个等级，本节来讲解下极验验证码的识别过程。1.本节目标本节我们的目标是用程序来识别并通过极验验证码的验证，其步骤有分析识别思路、识别缺口位置、生成滑块拖动路径，最后

Python

数据挖掘

爬虫

原创 2019-08-07 22:38:47 1014 阅读

Python3网络爬虫实战-42、图形验证码的识别

本节我们首先来尝试识别最简单的一种验证码，图形验证码，这种验证码出现的最早，现在也很常见，一般是四位字母或者数字组成的，例如中国知网的注册页面就有类似的验证码，链接为：http://my.cnki.net/elibregister/commonRegister.aspx，页面如图8-1所示：图8-1知网注册页面表单的最后一项就是图形验证码，我们必须完全输入正确图中的字符才可以完成注册。1.本节目标

Python

数据挖掘

爬虫

原创 2019-08-07 22:38:09 767 阅读

Python3网络爬虫实战-41、图形验证码的识别

本节我们首先来尝试识别最简单的一种验证码，图形验证码，这种验证码出现的最早，现在也很常见，一般是四位字母或者数字组成的，例如中国知网的注册页面就有类似的验证码，链接为：http://my.cnki.net/elibregister/commonRegister.aspx，页面如图8-1所示：图8-1知网注册页面表单的最后一项就是图形验证码，我们必须完全输入正确图中的字符才可以完成注册。1.本节目标

Python

爬虫

数据挖掘

原创 2019-08-07 22:37:36 428 阅读

Python3网络爬虫实战-40、使用Selenium爬取淘宝商品

在前一章中，我们已经成功尝试分析Ajax来抓取相关数据，但是并不是所有页面都可以通过分析Ajax来完成抓取。比如，淘宝，它的整个页面数据确实也是通过Ajax获取的，但是这些Ajax接口参数比较复杂，可能会包含加密密钥等，所以如果想自己构造Ajax参数，还是比较困难的。对于这种页面，最方便快捷的抓取方法就是通过Selenium。本节中，我们就用Selenium来模拟浏览器操作，抓取淘宝的商品信息，并

Python

爬虫

数据挖掘

原创 2019-08-06 17:21:55 813 阅读

Python3网络爬虫实战-39、Splash负载均衡配置

用Splash做页面抓取时，如果爬取的量非常大，任务非常多，用一个Splash服务来处理的话，未免压力太大了，此时可以考虑搭建一个负载均衡器来把压力分散到各个服务器上。这相当于多台机器多个服务共同参与任务的处理，可以减小单个Splash服务的压力。1.配置Splash服务要搭建Splash负载均衡，首先要有多个Splash服务。假如这里在4台远程主机的8050端口上都开启了Splash服务，它们的

Python

数据挖掘

爬虫

原创 2019-08-06 17:21:02 193 阅读

Python3网络爬虫实战-38、动态渲染页面抓取:Splash的使用

Splash是一个JavaScript渲染服务，是一个带有HTTPAPI的轻量级浏览器，同时它对接了Python中的Twisted和QT库，利用它我们同样可以实现动态渲染页面的抓取。1.功能介绍利用Splash我们可以实现如下功能：异步方式处理多个网页渲染过程获取渲染后的页面的源代码或截图通过关闭图片渲染或者使用Adblock规则来加快页面渲染速度可执行特定的JavaScript脚本可通过Lua脚

Python

数据挖掘

爬虫

原创 2019-08-06 17:15:32 3370 阅读

Python3网络爬虫实战-37、动态渲染页面抓取:Selenium

在前面一章我们了解了Ajax的分析和抓取方式，这种页面其实也是JavaScript动态渲染的页面的一种情形，通过直接分析Ajax我们仍然可以借助于Requests或Urllib来实现数据的抓取。不过JavaScript动态渲染的页面不止Ajax这一种。比如中国青年网：http://news.youth.cn/gn/，它的分页部分是由JavaScript生成的，并非原始HTML代码，这其中并不包含A

Python

数据挖掘

爬虫

原创 2019-08-06 17:14:32 743 阅读

Python3网络爬虫实战-36、分析Ajax爬取今日头条街拍美图

本节我们以今日头条为例来尝试通过分析Ajax请求来抓取网页数据的方法，我们这次要抓取的目标是今日头条的街拍美图，抓取完成之后将每组图片分文件夹下载到本地保存下来。1.准备工作在本节开始之前请确保已经安装好了Requests库，如没有安装可以参考第一章的安装说明。2.抓取分析在抓取之前我们首先要分析一下抓取的逻辑，首先打开今日头条的首页：http://www.toutiao.com/，如图6-15所

Python

数据挖掘

爬虫

原创 2019-08-06 17:11:01 446 阅读

Python3网络爬虫实战-35、Ajax数据爬取

有时候我们在用Requests抓取页面的时候，得到的结果可能和在浏览器中看到的是不一样的，在浏览器中可以看到正常显示的页面数据，但是使用Requests得到的结果并没有，这其中的原因是Requests获取的都是原始的HTML文档，而浏览器中的页面则是页面又经过JavaScript处理数据后生成的结果，这些数据的来源有多种，可能是通过Ajax加载的，可能是包含在了HTML文档中的，也可能是经过Jav

Python

数据挖掘

爬虫

原创 2019-08-05 20:25:46 525 阅读

Python3网络爬虫实战-34、数据存储：非关系型数据库存储:Redis

Redis是一个基于内存的高效的键值型非关系型数据库，存取效率极高，而且支持多种存储数据结构，使用也非常简单，在本节我们介绍一下Python的Redis操作，主要介绍RedisPy这个库的用法。1.准备工作在本节开始之前请确保已经安装好了Redis及RedisPy库，如果要做数据导入导出操作的话还需要安装RedisDump，如没有安装可以参考第一章的安装说明。2.Redis、StrictRedis

Python

爬虫

数据挖掘

原创 2019-08-05 20:24:33 494 阅读

Python3网络爬虫实战-33、数据存储：非关系型数据库存储:MongoDB

NoSQL，全称NotOnlySQL，意为不仅仅是SQL，泛指非关系型的数据库。NoSQL是基于键值对的，而且不需要经过SQL层的解析，数据之间没有耦合性，性能非常高。非关系型数据库又可以细分如下：键值存储数据库，代表有Redis,Voldemort,OracleBDB等。列存储数据库，代表有Cassandra,HBase,Riak等。文档型数据库，代表有CouchDB,MongoDB等。图形数据

Python

数据挖掘

爬虫

原创 2019-08-05 20:23:25 420 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

学Python派森的博客