原文:
https://www.cloudera.com/documentation/spark2/latest/topics/spark2_requirements.html
Spark 2要求
以下部分介绍了Apache Spark 2的Cloudera Distribution的软件需求。
继续阅读:
· CDH版本
· Scala 2.11要求
· JDK 8要求
CDH版本
CDH的适用版本如下所述。
Cloudera的Hive兼容性问题Apache Spark 2.0发行版1的分发会影响CDH 5.10.1及更高版本,CDH 5.9.2及更高版本,CDH 5.8.5及更高版本以及CDH 5.7.6及更高版本。
如果您正在使用这些CDH版本之一,则必须升级到Spark 2.0版本2或更高的宗地,以避免在使用Hive功能时出现Spark 2作业失败。
Cloudera分发的Apache Spark 2版本 | CDH版本 |
2.2版本1 | CDH 5.8,CDH 5.9,CDH 5.10,CDH 5.11,CDH 5.12 |
2.1版本1 | CDH 5.7,CDH 5.8,CDH 5.9,CDH 5.10,CDH 5.11 |
2.0版本2 | CDH 5.7,CDH 5.8,CDH 5.9,CDH 5.10 |
2.0版本1 | CDH 5.7高达5.7.5,CDH 5.8高达5.8.4,CDH 5.9高达5.9.1,CDH 5.10.0。任何这些CDH版本中的任何更高维护版本都需要Spark 2.0 Release 2。 |
Spark 1.6服务可以与Spark 2在同一个集群上共存。这两个服务配置为不冲突并在同一个YARN集群上运行。
如果Spark 1已安装,Spark 2将使用CDH安装中的外部随机播放服务,如有必要,则安装随机播放服务。
由单个ClouderaManager实例管理的所有CDH群集必须使用完全相同的Spark2版本。
确保同时在所有集群的所有计算机上安装或升级CSD和包裹。
Cloudera Manager版本
Cloudera Managerfor Spark 2的适用版本如下所述。
Cloudera分发的Apache Spark 2版本 | Cloudera Manager版本 |
2.2版本1 | Cloudera Manager 5.8.3,5.9及更高版本 |
2.1版本1 | Cloudera Manager 5.8.3,5.9及更高版本 |
2.0版本2 | Cloudera Manager 5.8.3,5.9及更高版本 |
2.0版本1 | Cloudera Manager 5.8.3,5.9及更高版本 |
Scala 2.11要求
Spark 2不适用于Scala 2.10。仅使用Scala 2.11。
JDK 8要求
Cloudera发行版Apache Spark 2.2需要JDK 8。