SparkSQL MR Execution Engine is not supported
问题背景
在使用 SparkSQL 进行大数据处理时，有时会出现 "SparkSQL MR Execution Engine is not supported" 的错误。这是一个常见的错误，通常出现在尝试使用 MapReduce 执行引擎来执行 SparkSQL 查询时。
解决步骤
下面是解决该问题的步骤，以及每一步需要做什么和相应的代码示例：
| 步骤 | 描述 | 代码示例 |
|---|---|---|
| 1 | 确定 SparkSQL 版本 | spark-submit --version |
| 2 | 检查是否支持 MR 执行引擎 | spark-shell <br> spark.sql("SET spark.sql.execution.useHive=true").show |
| 3 | 配置 SparkSQL 使用 MR 执行引擎 | spark-shell <br> spark.sql("SET spark.sql.execution.useHive=false").show |
| 4 | 重新启动 Spark 集群 | ./sbin/stop-all.sh <br> ./sbin/start-all.sh |
步骤1：确定 SparkSQL 版本
首先，我们需要确定正在使用的 SparkSQL 版本。在终端中运行以下命令可以查看 SparkSQL 版本：
spark-submit --version
这将显示 SparkSQL 的版本信息。需要确保使用的是支持 MR 执行引擎的版本。
步骤2：检查是否支持 MR 执行引擎
接下来，我们需要确定当前 SparkSQL 是否已经配置为使用 MR 执行引擎。在终端中运行以下命令启动 Spark Shell：
spark-shell
然后，执行以下代码检查是否支持 MR 执行引擎：
spark.sql("SET spark.sql.execution.useHive=true").show
这将输出 SparkSQL 的配置信息，其中 spark.sql.execution.useHive 的值应为 true。
步骤3：配置 SparkSQL 使用 MR 执行引擎
如果步骤2中的配置显示 spark.sql.execution.useHive 的值为 false，说明当前 SparkSQL 配置不支持 MR 执行引擎。我们可以通过以下命令来配置 SparkSQL 使用 MR 执行引擎：
spark.sql("SET spark.sql.execution.useHive=false").show
这将将 spark.sql.execution.useHive 的值更改为 false，以启用 MR 执行引擎。
步骤4：重新启动 Spark 集群
最后，我们需要重新启动 Spark 集群以使配置更改生效。在终端中运行以下命令：
./sbin/stop-all.sh
./sbin/start-all.sh
这将停止和重新启动 Spark 集群。
序列图
以下是使用序列图表示的解决步骤：
sequenceDiagram
participant User
participant SparkShell
participant SparkCluster
User->>SparkShell: spark-shell
SparkShell->>SparkCluster: spark.sql("SET spark.sql.execution.useHive=true").show
SparkCluster-->>SparkShell: Configuration Info
SparkShell-->>User: Configuration Info
User->>SparkShell: spark.sql("SET spark.sql.execution.useHive=false").show
SparkShell->>SparkCluster: Configuration Change
SparkCluster-->>SparkShell: Configuration Change
User->>SparkCluster: ./sbin/stop-all.sh
User->>SparkCluster: ./sbin/start-all.sh
SparkCluster-->>User: Spark Cluster Restarted
旅行图
以下是使用旅行图表示的解决步骤：
journey
title SparkSQL MR Execution Engine is not supported Solution
section Determining the SparkSQL Version
description User determines the SparkSQL version by running `spark-submit --version`
section Checking MR Execution Engine Support
description User starts Spark Shell and executes `spark.sql("SET spark.sql.execution.useHive=true").show` to check MR execution engine support
section Configuring MR Execution Engine
description User executes `spark.sql("SET spark.sql.execution.useHive=false").show` to configure SparkSQL to use MR execution engine
section Restarting the Spark Cluster
description User stops and starts the Spark cluster using `./sbin/stop-all.sh` and `./sbin/start-all.sh`
希望本文对你理解如何解决 "SparkSQL MR Execution Engine is not supported"
