PySpark 类型转换
在 PySpark 中，类型转换是一项重要的操作，因为它能够帮助我们在数据处理过程中更好地理解和处理数据。PySpark 提供了一套丰富的类型转换函数，使得我们能够轻松地在不同的数据类型之间进行转换。本文将介绍 PySpark 中常用的类型转换函数，并通过代码示例来演示它们的用法。
1. 类型转换函数
PySpark 提供了以下几种常用的类型转换函数：
1.1. cast 函数
cast 函数用于将一个列或表达式转换为指定的数据类型。它的语法如下：
col.cast(dataType)
其中 col 是一个列或表达式，dataType 是要转换的数据类型。以下是一些常用的数据类型转换示例：
- 将字符串转换为整数类型：
from pyspark.sql.functions import col
df.select(col("age").cast("int"))
- 将整数类型转换为浮点数类型：
df.select(col("price").cast("float"))
1.2. to_date 函数
to_date 函数用于将一个字符串列转换为日期类型。它的语法如下：
to_date(col, format)
其中 col 是一个字符串列，format 是日期的格式。以下是一个示例：
from pyspark.sql.functions import col, to_date
df.select(to_date(col("date"), "yyyy-MM-dd"))
1.3. date_format 函数
date_format 函数用于将一个日期类型列转换为指定格式的字符串。它的语法如下：
date_format(col, format)
其中 col 是一个日期类型列，format 是日期的格式。以下是一个示例：
from pyspark.sql.functions import col, date_format
df.select(date_format(col("date"), "yyyy-MM-dd"))
1.4. 其他函数
除了上述常用的类型转换函数外，PySpark 还提供了许多其他类型转换函数，例如：
cast：将某一列或表达式转换为指定的数据类型。astype：将某一列或表达式转换为指定的数据类型。to_timestamp：将一个字符串列转换为时间戳类型。unix_timestamp：将一个字符串列转换为以秒为单位的时间戳。from_utc_timestamp：将一个时间戳列从 UTC 转换为指定的时区。to_utc_timestamp：将一个时间戳列从指定的时区转换为 UTC。
2. 示例代码
以下是一些示例代码，演示了如何使用 PySpark 进行类型转换：
from pyspark.sql import SparkSession
from pyspark.sql.functions import col, to_date, date_format
# 创建 SparkSession
spark = SparkSession.builder.appName("Type Conversion").getOrCreate()
# 创建示例数据
data = [("Alice", "2020-01-01", "25"),
("Bob", "2020-02-01", "30"),
("Catherine", "2020-03-01", "35")]
df = spark.createDataFrame(data, ["name", "date", "age"])
# 将字符串转换为整数类型
df.select(col("age").cast("int"))
# 将整数类型转换为浮点数类型
df.select(col("price").cast("float"))
# 将字符串列转换为日期类型
df.select(to_date(col("date"), "yyyy-MM-dd"))
# 将日期类型列转换为指定格式的字符串
df.select(date_format(col("date"), "yyyy-MM-dd"))
# 显示转换结果
df.show()
# 停止 SparkSession
spark.stop()
3. Gantt 图
下面是一个使用 Gantt 图表示的任务进度示例：
gantt
dateFormat YYYY-MM-DD
title PySpark 类型转换任务进度
section 数据准备
创建 SparkSession :done, 2022-11-01, 1d
创建示例数据 :done, 2022-11-02, 1d
section 类型转换
字符串转整数类型 :done, 2022-11-03, 1d
整数转浮点数类型 :done, 
