python 最常用第三方库

>>上一篇《Python二级(12)——Python第三方库概览》

一、知识导图

二、 网络爬虫方向

1、网络爬虫是自动进行HTTP访问并捕获HTML页 面的程序。Python语言提供了多个具备网络爬 虫功能的第三方库。这里，仅介绍2个常用的 Python网络爬虫库:requests 和 scrapy。

① requests

I、requests库是一个简洁且简单的处理HTTP请求的第三方 库，它的最大优点是程序编写过程更接近正常URL访问 过程。这个库建立在Python语言的urllib3库基础上。 request库支持非常丰富的链接访问功能。

II、安装requests库在Windows的cmd命令行使用如下命令:

:>pip install requests

② scrapy

I、scrapy是Python开发的一个快速的、高层次的Web获取 框架。不同于简单的网络爬虫功能，scrapy框架本身包 含了成熟网络爬虫系统所应该具有的部分共用功能

II、scrapy用途广泛，可以应用于专业爬虫系统的构建、数 据挖掘、网络监控和自动化测试等领域。

III、安装scrapy库在Windows的cmd命令行使用如下命令：

:>pip install scrapy

三、 数据分析方向

1、数据分析是Python的一个优势方向，具有大批高质量的 第三方库。这里仅介绍3个最常用的生态库: numpy、scipy和pandas。

①numpy

I、numpy是Python的一种开源数值计算扩展第三方库，用 于处理数据类型相同的多维数组(ndarray)，简称“数 组”。

II、这个库可用来存储和处理大型矩阵，比Python语言提供 的列表结构要高效的多。numpy提供了许多高级的数值 编程工具，如:矩阵运算、矢量处理、N维数据变换等。

III、numpy内部是C语言编写，对外采用Python语言进行封 装，因此，在进行数据运算时，基于numpy的Python程 序可以达到接近C语言的处理速度。numpy也成为 Python数据分析方向各其他库的基础依赖库，已经成为 了科学计算事实上的“标准库”。

安装numpy库在Windows的cmd命令行使用如下命令:

:>pip install numpy

② scipy

I、scipy是一款方便、易于使用、专为科学和工程设计的 Python工具包。在numpy库的基础上增加了众多的数学、 科学以及工程计算中常用的库函数。它包括统计、优化、 整合、线性代数、傅里叶变换、信号分析、图像处理、 常微分方程求解等众多模块。

II、安装scipy库在Windows的cmd命令行使用如下命令:

:>pip install scipy

③ pandas

I、pandas是基于numpy扩展的一个重要第三方库，它是为 了解决数据分析任务而创建的。Pandas提供了一批标准 的数据模型和大量快速便捷处理数据的函数和方法，提供了高效地操作大型数据集所需的工具。

II、pandas提供两种最基本的数据类型:Series和 DataFrame，分别代表一维数组和二维数组类型。

III、安装pandas库在Windows的cmd命令行使用如下命令:

:>pip install pandas

四、 文本处理方向

1、Python语言非常适合处理文本，因此，在这个 方向也形成了大量有价值的第三方库。这里介绍 4个最常用的生态库: pdfminer、openpyxl、python-docx、beautifulsoup4

① pdfminer

I、pdfminer是一个可以从PDF文档中提取各类信息的第三方库。与其他PDF相关的工具不同，它 能够完全获取并分析PDF的文本数据。 Pdfminer能够获取PDF中文本的准确位置、字 体、行数等信息，能够将PDF文件转换为HTML 及文本格式。

II、pdfminer包含两个重要的工具:pdf2txt.py和 dumppdf.py。

III、pdf2txt.py能够从PDF文件中提取所有文本内容。 dumppdf.py能够把PDF文件内容变成XML格式，并进 一步提取其中的图片。

IV、安装pdfminer库在Windows的cmd命令行使用如下命令:

:>pip install pdfminer

② openpyxl

I、openpyxl是一个处理Microsoft Excel文档的Python第三 方库，它支持读写Excel的xls、xlsx、xlsm、xltx、xltm 等格式文件，并进一步能处理Excel文件中excel工作表、 表单和数据单元。

II、安装openpyxl库在Windows的cmd命令行使用如下命令

:>pip install openpyxl

③ python-docx

I、python-docx是一个处理Microsoft Word文档的Python 第三方库，它支持读取、查询以及修改doc、docx等格 式文件，并能够对Word常见样式进行编程设置，包括: 字符样式、段落样式、表格样式等，进一步可以使用这 个库实现添加和修改文本、图像、样式和文档等功能。

II、安装python-docx库在Windows的cmd命令行使用如下 命令:

:>pip install openpyxl

③ beautifulsoup4

I、beautifulsoup4库，也称为Beautiful Soup库或 bs4库，用于解析和处理HTML和XML。需要注 意，它不是BeautifulSoup库。它的最大优点是 能根据HTML和XML语法建立解析树，进而高 效解析其中的内容。

II、beautifulsoup4库将数据从HTML和XML文件中解析出 来，它能够提供一种符合习惯的方法去遍历搜索和修改 解析树，将专业的Web页面格式解析部分封装成函数， 提供了若干有用且便捷的处理函数。

III、安装beautifulsoup4库在Windows的cmd命令行使用如 下命令:

:>pip install beautifulsoup4

五、 数据可视化方向

1、数据可视化指根据数据特点将其展示为易于理解 图形的过程。Python语言在数据可视化方面具 有较强的优势。这里介绍3个最常用的生态库: matplotlib、TVTK、mayavi

① matplotib

I、matplotlib是提供数据绘图功能的第三方库，主 要进行二维图表数据展示，广泛用于科学计算的 数据可视化。使用这个库可以利用Python程序 绘制超过100种数据可视化效果。

II、安装matplotlib库在Windows的cmd命令行使用 如下命令:

:>pip install matplotlib

① TVTK

I、TVTK库在标准的VTK库之上用Traits库进行封装的 Python第三方库。视觉工具函数库(VTK)是一个开源、 跨平台、支持平行处理的图形应用函数库，它是专业可 编程的三维可视化工具。TVTK在Python生态系统中被 等同于VTK。

II、安装matplotlib库在Windows的cmd命令行使用如下命 令:

:>pip install vtk

III、mayavi基于VTK开发，完全用Python编写，提供了一个 更为方便实用的可视化软件，可以简洁地嵌入到用户编 写的Python程序中，或者直接使用其面向脚本的API快 速绘制三维可视化图形。值得注意的是，mayavi也被称 为mayavi2。

IV、mayavi库在Windows平台上暂时不能方便的使用pip命 令安装，建议使用文件安装，请下载mayavi对应版本文 件，然后在本地安装。

六、 用户图形界面方向

1、Python标准库内置了一个GUI库——tkinter，这 个库基于Tck/Tk开发，然而，这个库十分陈旧， 提供的开发控件也很有限，编写出来的GUI风格 与现代程序GUI风格相差甚远，从用户体验角度 说，tkinter库并不成熟。

2、这里介绍3个高质量的用户图形界面Python生态 库:pyqt5、wxpython、pygtk

① pyqt5

I、pyqt5是Qt5应用框架的Python第三方库，它有 超过620个类和近6000个函数和方法。它是 Python中最为成熟的商业级GUI第三方库。这个 库是Python语言当前最好的GUI第三方库，它 可以在Windows、Linux和Mac OS X等操作系 统上跨平台使用。

II、pyqt5采用“信号-槽”机制将事件和对应的处理 程序进行绑定。pyqt5窗体有很多内置信号，也 可以自定义信号。

III、安装pyqt5库在Windows的cmd命令行使用如下 命令:

:>pip install pyqt5

① wxpython

I、wxPython是Python语言的一套优秀的GUI图形库，它 是跨平台GUI库wxWidgets的Python封装，可以使 Python程序员能够轻松地创建健壮可靠、功能强大的图 形用户界面的程序。

II、安装wxpython库在Windows的cmd命令行使用如下命 令:

:>pip install wxpython

III、pygtk是基于GTK+的Python语言封装，它提供了各式的 可视元素和功能，能够轻松创建具有图形用户界面的程 序。pygtk具有跨平台性,利用它编写的代码能够不加修 改地稳定运行在各操作系统中，如Windows、MacOS、 Linux等。

IV、安装wxpython库在Windows的cmd命令行使用如下命 令:

:>pip install pygtk

七、 机器学习方向

1、机器学习是人工智能领域的一个重要分支， Python语言也是机器学习和人工智能的重要基 础语言。这里介绍3个高质量的机器学习框架: Scikit-learn、TensorFlow、Theano。

① Scikit-learn

I、Scikit-learn是一个简单且高效的数据挖掘和数据分析工 具，它基于NumPy、SciPy和matplotlib构建。Scikit- learn的基本功能主要包括6个部分:分类，回归，聚类， 数据降维，模型选择和数据预处理。Scikit-learn也被称 为sklearn。

II、安装Scikit-learn库在Windows的cmd命令行使用如下命 令:

:>pip install scikit-learn

② Tensorflow

I、TensorFlow是谷歌公司基于DistBelief进行研发的第二代 人工智能学习系统，也是用来支撑著名的AlphaGo系统 的后台框架。Tensor(张量)指N维数组，Flow(流) 指基于数据流图的计算，TensorFlow描述张量从流图的 一端流动到另一端的计算过程。

II、安装TensorFlow库在Windows的cmd命令行使用如下命 令:

:>pip install tensorflow

② Theano

I、Theano为执行深度学习中大规模神经网络算法的运算而 设计，擅长处理多维数组。Theano开发始于2007，可以 理解它是一个运算数学表达式的编译器，并可以高效运 行在GPU或CPU上。Theano是一个偏向底层开发的库， 更像一个研究平台而非单纯的深度学习库。

II、安装Theano库在Windows的cmd命令行使用如下命令:

:>pip install theano

八、 Web开发方向

1、Web开发是Python语言流行的一个重要方向， 主要用于服务器后端开发。根据Python Web开 发框架的复杂程度，这里依次介绍3个Python第 三方生态库:Django、Pyramid、Flask。

①、 Django

I、Django是Python生态中最流行的开源Web应用框架。 Django采用模型、模板和视图的编写模式，称为MTV模 式。Django中提供了开发网站经常用到的模块，Django 的开发理念是DRY(Don't Repeat Yourself)，用于鼓励快 速开发，进而减少程序员可以建立一个高性能Web应用 所花费的时间和精力，形成一种一站式解决方案。

II、安装Django库在Windows的cmd命令行使用如下命令:

:>pip install django

② Pyramid

I、Pyramid是一个通用、开源的Python Web应用程序开发 框架。它主要的目的是让Python开发者更简单的创建 Web应用，相比Django，Pyramid是一个相对小巧、快 速、灵活的开源Python Web框架。Pyramid仍然面向较 大规模的Web应用，但它更关注灵活性，开发者可以灵 活选择所使用的数据库、模板风格、URL结构等内容。

II、装Pyramid库在Windows的cmd命令行使用如下命令:

:>pip install pyramid

③ Flask

I、Flask是轻量级Web应用框架，相比Django和Pyramid， 它也被称为微框架。使用Flask开发Web应用十分方便， 甚至几行代码即可建立一个小型网站。Flask核心十分简 单，并不直接包含诸如数据库访问等的抽象访问层，而 是通过扩展模块形式来支持。

II、安装Flask库在Windows的cmd命令行使用如下命令:

:>pip install flask

九、 游戏开发方向

1、游戏开发是一个有趣的方向，在游戏逻辑和功能 实现层面，Python已经成为重要的支撑性语言。 这里介绍3个Python第三方生态库:Pygame、 Panda3D、cocos2d。

① Pygame

I、Pygame是在SDL库基础上进行封装的、面向游 戏开发入门的Python第三方库，除了制作游戏 外，还用于制作多媒体应用程序。其中，SDL (Simple DirectMedia Layer)是开源、跨平台 的多媒体开发库，通过OpenGL和Direct3D底层 函数提供对音频、键盘、鼠标和图形硬件的简洁 访问。

II、Pygame是一个游戏开发框架，提供了大量与游 戏相关的底层逻辑和功能支持，非常适合作为入 门库理解并实践游戏开发。

III、安装Pygame库在Windows的cmd命令行使用如 下命令:

:>pip install pygame

②Panda3D

I、Panda3D是一个开源、跨平台的3D渲染和游戏开发库, 简答说，它是一个3D游戏引擎，由迪士尼和卡耐基梅隆 大学娱乐技术中心共同进行开发。Panda3D支持Python 和C++两种语言，但对Python支持更全面。

II、Panda3D支持很多当代先进游戏引擎所支持的特性:法 线贴图、光泽贴图、HDR、卡通渲染和线框渲染等。

III、安装Panda3D库在Windows的cmd命令行使用如下命令:

:>pip install panda3d

③cocos2d

I、cocos2d是一个构建2D游戏和图形界面交互式应用的框 架，它包括C++、JavaScript、Swift、Python等多个版 本。cocos2d基于OpenGL进行图形渲染，能够利用GPU 进行加速。cocos2d引擎采用树形结构来管理游戏对象， 一个游戏划分为不同场景，一个场景又分为不同层，每 个层处理并响应用户事件。

II、安装cocos2d库在Windows的cmd命令行使用如下命令:

:>pip install cocos2d

十、 更多第三方库

1、Python语言有超过12万个第三方库，覆盖信息 技术几乎所有领域。即使在每个方向，也会有大 量的专业人员开发多个第三方库来给出具体设计。 除了本章所提到的方向外，这里再列出5个有趣 且有用的Python第三方库，展示Python在工程 实践方面强大的魅力。

2、 PIL

①PIL库是Python语言在图像处理方面的重要第三方库， 支持图像存储、显示和处理，它能够处理几乎所有图片 格式，可以完成对图像的缩放、剪裁、叠加以及向图像 添加线条、图像和文字等操作。

②PIL库主要可以完成图像归档和图像处理两方面功能需求:

i、 图像归档:对图像进行批处理、生成图像预览等;

ii、图像处理:图像基本处理、像素处理、颜色处理等。

③安装PIL库在Windows的cmd命令行使用如下命令:

:>pip install pillow

3、 SymPy

①SymPy是一个支持符号计算的Python第三方库，它是一 个全功能的计算机代数系统。SymPy代码简洁、易于理 解，支持符号计算、高精度计算、模式匹配、绘图、解 方程、微积分、组合数学、离散数学、几何学、概率与 统计、物理学等领域计算和应用。

②安装SymPy库在Windows的cmd命令行使用如下命令:

:>pip install sympy

4、 NLTK

①NLTK是一个非常重要的自然语言处理Python第三方库， 它支持多种语言，尤其对中文支持良好。NLTK可以进 行语料处理、文本统计、内容理解、情感分析等多种应 用，具备非常可靠的应用价值。

②安装NLTK库在Windows的cmd命令行使用如下命令:

:>pip install nltk

5、 WeRoBot

①WeRoBot 是一个微信公众号开发框架，也称为的微信机 器人框架。WeRoBot可以解析微信服务器发来的消息， 并将消息转换成成Message或者Event类型。

②安装WeRoBot库在Windows的cmd命令行使用如下命令:

:>pip install werobot

6、 MyQR

I、MyQR是一个能够产生基本二维码、艺术二维码和动态 效果二维码的Python第三方库。下图给出了一些 MyQR生成二维码的实例。

II、安装MyQR库在Windows的cmd命令行使用如下命令:

:>pip install myqr