Spark DataFrame 查看前几行

在 Spark 中，DataFrame 是一种强大的数据结构，它提供了一种以结构化的方式处理数据的方法。在使用 DataFrame 进行数据处理时，我们通常需要先查看数据的前几行，以便了解数据的结构和内容。本文将介绍如何使用 Spark DataFrame 查看前几行数据，并提供相关的代码示例。

使用 head 方法查看前几行数据

Spark 提供了 head 方法来查看 DataFrame 的前几行数据。head 方法可以接受一个整数参数，表示要查看的行数，默认为 5。下面是使用 head 方法查看前几行数据的代码示例：

import org.apache.spark.sql.SparkSession

val spark = SparkSession.builder()
  .appName("Spark DataFrame Head Example")
  .master("local[*]")
  .getOrCreate()

val df = spark.read
  .format("csv")
  .option("header", "true")
  .option("inferSchema", "true")
  .load("path/to/data.csv")

val headDF = df.head(10)  // 查看前 10 行数据
headDF.show()

在上面的示例中，我们首先创建了一个 SparkSession 对象，然后使用该对象读取了一个 CSV 文件，并将其加载为一个 DataFrame。接下来，我们使用 head 方法获取了前 10 行数据，并使用 show 方法打印出来。你可以根据实际需求修改参数来查看不同行数的数据。

使用 show 方法查看前几行数据

除了使用 head 方法，我们还可以使用 show 方法来直接查看 DataFrame 的前几行数据。show 方法的参数表示要显示的行数，默认为 20。下面是使用 show 方法查看前几行数据的代码示例：

import org.apache.spark.sql.SparkSession

val spark = SparkSession.builder()
  .appName("Spark DataFrame Show Example")
  .master("local[*]")
  .getOrCreate()

val df = spark.read
  .format("csv")
  .option("header", "true")
  .option("inferSchema", "true")
  .load("path/to/data.csv")

df.show(10)  // 显示前 10 行数据

在上面的示例中，我们同样创建了一个 SparkSession 对象，并使用该对象读取了一个 CSV 文件并加载为 DataFrame。接下来，我们使用 show 方法显示了前 10 行数据。你可以根据需要修改参数来显示不同行数的数据。

查看数据的统计信息

除了查看前几行数据，我们还可以使用 DataFrame 提供的方法来查看数据的统计信息，如平均值、最大值、最小值等。下面是使用 describe 方法查看数据统计信息的代码示例：

import org.apache.spark.sql.SparkSession

val spark = SparkSession.builder()
  .appName("Spark DataFrame Describe Example")
  .master("local[*]")
  .getOrCreate()

val df = spark.read
  .format("csv")
  .option("header", "true")
  .option("inferSchema", "true")
  .load("path/to/data.csv")

df.describe().show()

在上面的示例中，我们同样创建了一个 SparkSession 对象，并使用该对象读取了一个 CSV 文件并加载为 DataFrame。接下来，我们使用 describe 方法获取了数据的统计信息，并使用 show 方法打印出来。describe 方法会返回一个新的 DataFrame，该 DataFrame 包含了各个列的统计信息。你可以根据实际需求对这个 DataFrame 进行进一步的处理和分析。

结语

本文介绍了如何使用 Spark DataFrame 查看前几行数据，并提供了相关的代码示例。通过使用 head 方法和 show 方法，我们可以方便地查看 DataFrame 的前几行数据。此外，我们还可以使用 describe 方法查看数据的统计信息，以便更好地了解数据的分布和特征。希望本文对你在使用 Spark DataFrame 进行数据处理时有所帮助。

pie
    "head 方法" : 50
    "show 方法" : 30
    "describe 方法" : 20

引用：

  1. [Spark SQL, DataFrames and Datasets Guide](