书籍<<Python在大数据平台的应用>>
更多信息请关注本书附书代码:[附书代码Github工程:https://github.com/Shadow-Hunter-X/python_practice_stepbystep
Pyspark是Apache Spark的Python应用程序编程接口(API)。Pyspark包括一组公共类、2个模块SQL模块和流数据模块；2个包Mllib和ML用于机器学习，如下图所示。pyspark核心类库](pyspark类库总结
PySpark核心类说明
Pyspark核心类由公共类、SQL模块和流模块的6个子集类组成。这些类表示核心的Pyspark功能，如下表所示。
类型 | 类名 |
公共类 | SparkContext |
公共类 | RDD |
SQL模块 | SparkSession |
SQL模块 | DataFrame |
流数据模块 | StreamingContext |
流数据模块 | DStream |
PySpark公共类说明。
在Pyspark中有8个公共类，分别是SparkContext、RDD、Broadcast、Accumulator、 SparkConf、SparkFiles、StorageLevel和TaskContext，说明如下表所示。
类名 | 说明 |
Accumulator | 一个只加操作共享变量，在任务只能增加值。 |
Broadcast | 广播变量，可用于跨任务复用 |
RDD | 弹性分布式数据集，Spark中基础编程抽象 |
SparkConf | 用于Spark应用程序的参数配置 |
SparkContext | Spark应用程序的主要入口 |
SparkFiles | 提供对文件操作的相关功能 |
StorageLevel | 用于数据存储级别的设置 |
TaskContext | 可以提供关于当前运行任务的信息 |
PySpark SQL模块说明
SQL模块包含了10个类，提供了类型、配置、DataFrames和许多其他功能的SQL函数和方法，具体如下表所示。
类名 | 说明 |
SparkSession | 用于操作DataFrame的入口点 |
Column | 用来表示DataFrame中的列 |
Row | 用来表示DataFrame中的行 |
GroupedData | 用于提供DataFrame中的汇总功能 |
Types | 定义DataFrame中的数据类型 |
Functions | 提供丰富常用的功能，如数学工具，日期计算，数据转换等 |
Window | 提供窗口函数功能 |
DataFrame | 用于创建DataFrame对象 |
DataFrameNaFunctions | 用于处理DataFrame中的null值 |
DataFrameStatFunctions | 用于统计汇总DataFrame中的数据 |
PySpark流数据模块说明。
流数据模块包含3个主要的类StreamingContext、Dstream、StreamingListener。也特别提供针对了Flume、Kafka、Kinesis流数据处理的类，但这里只对前3个类说明,如下表所示。
类名 | 说明 |
StreamingContext | 用于处理Spark Streaming应用的入口 |
DStream | Spark Streaming的基本抽象，DStream是一个连续的数据流 |
StreamingListener | 对Streaming数据流事件监控和处理 |
