原文:

​https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#os510​

CDH 5和Cloudera Manager 5要求和支持的版本

在企业数据中心中,Cloudera Manager和CDH与Apache Accumulo,Apache Impala(孵化),Hue,Cloudera Search和Cloudera Navigator等多种产品进行交互。本指南提供有关CDH和Cloudera Manager发行版本支持哪些主要和次要版本的产品的信息。

必须考虑不同版本的Cloudera Manager和CDH的兼容性,特别是在执行安装/升级程序时。

不同Cloudera Manager和CDH版本的JDK兼容性也有所不同。某些版本的CDH 5与JDK 7和JDK 8兼容。在这种情况下,请确保所有服务部署在相同的主版本上。例如,在JDK 8上运行Sqoop时,您不应该在JDK 7上运行Hadoop。另外,由于Cloudera不支持混合环境,因此集群中的所有节点都必须运行相同的主要JDK版本。Cloudera仅支持​​Oracle​​提供的JDK 。

安装每个实体后,升级到最新的补丁版本并应用任何其他适当的更新。可用的更新可能特定于安装它的操作系统。例如,如果您在环境中使用CentOS,则可以选择6作为主要版本,将4作为次要版本来指示您正在使用CentOS 6.4。安装此操作系统后,应用所有相关的CentOS 6.4升级和修补程序。在某些情况下,如某些浏览器,可能未列出小版本。

每个产品矩阵至少包含以下字段的子集:

·        功能:此列列出了特定版本中包含的新功能。对于没有此列的产品/版本,请参阅相应的发行说明以获取详细信息。

·        最低支持的Cloudera Manager版本:指定支持产品发布版本的Cloudera Manager的最早版本。

·        最低支持CDH版本:指定支持产品发布版本的CDH的最早版本。Cloudera Search和Impala矩阵是一个例外,因为每个版本仅与特定CDH版本兼容。

·        最低支持的Impala版本:此列可能不适用于所有产品,例如Cloudera Search。

·        最低支持搜索版本:此列可能不适用于所有产品,例如Cloudera Impala。

·        集成到CDH中:此列指定特定版本是CDH还是独立提供。此字段可能不适用于所有产品,例如Cloudera Navigator。

继续阅读:

·        ​​Cloudera Manager的​​CDH要求

·        ​​CDH和​​Cloudera Manager支持的操作系统

·        ​​文件系统要求​

·        ​​CDH和​​Cloudera Manager支持的数据库

·        ​​CDH和​​Cloudera Manager支持的JDK版本

·        ​​Cloudera Manager支持的浏览器​

·        ​​CDH和​​Cloudera Manager支持的传输层安全版本

·        ​​Cloudera经理资源要求​

·        ​​CDH和​​Cloudera Manager网络和安全要求

·        ​​Apache Accumulo​

·        ​​Apache Impala(孵化)​

·        ​​Apache卡夫卡​

·        ​​Apache Kudu​

·        ​​Cloudera导航仪​

·        ​​Cloudera Navigator加密​

·        ​​Apache Sentry​

·        ​​Apache Spark​

·        ​​EMC Isilon​

·        ​​Cloudera Manager备份和灾难恢复​

·        ​​支持虚拟化和云平台配置​

Cloudera Manager的CDH要求

Cloudera Manager小版本必须始终等于或大于CDH次要版本。较旧版本的ClouderaManager可能不支持较新版本的CDH的功能。例如,要升级到CDH5.7.1,您必须先升级到Cloudera Manager 5.7.0。

CDH和Cloudera Manager支持的操作系统

CDH 5.x为选定版本的RHEL兼容,SLES,Ubuntu和Debian操作系统提供64位软件包。

·        ​​CDH和Cloudera Manager5.12.x支持的操作系统​

·        ​​CDH和Cloudera Manager5.11.x支持的操作系统​

·        ​​CDH和Cloudera Manager5.10.x支持的操作系统​

·        ​​CDH和Cloudera Manager5.9.x支持的操作系统​

·        ​​CDH和Cloudera Manager5.8.x支持的操作系统​

·        ​​CDH和Cloudera Manager5.7.x支持的操作系统​

·        ​​CDH和Cloudera Manager5.6.x支持的操作系统​

·        ​​CDH和Cloudera Manager5.5.x支持的操作系统​

·        ​​CDH和Cloudera Manager5.4.x支持的操作系统​

·        ​​CDH和Cloudera Manager5.3.x支持的操作系统​

·        ​​CDH和Cloudera Manager5.2.x支持的操作系统​

·        ​​CDH和Cloudera Manager5.1.x支持的操作系统​

·        ​​CDH和Cloudera Manager5.0.x支持的操作系统​

重要:

为了覆盖Cloudera支持:

·        逻辑集群中的所有CDH主机必须在相同的主要操作系统版本上运行。

·        Cloudera 临时允许在OS升级项目期间进行混合操作系统配置。

·        Cloudera Manager必须与其管理的CDH集群之一运行在相同的操作系统版本上。

Cloudera建议运行相同的次要版本跨群集。但是,由于运行不同的小型操作系统版本而导致的风险被认为低于运行不同主要操作系统版本的风险。

网关主机可能会使用RHEL /Centos 7.2,但受到一些限制。请参阅​​网关主机的操作系统支持(仅限CDH 5.11及更高版本)​

其他免责声明:

·        C5.8及更高版本支持RHEL / CentOS / OL 6.9。在C5.8.x到5.11.0中,它有一个​​已知的密码问题​​(在5.11.1中解决)。

·        支持RHEL / CentOS / OL 7.0 。

·        Red Hat仅支持从RHEL 6到7的特定升级。请与您的操作系统供应商联系,并查看​​升级到RHEL 7的受支持用例是什么?​

·        运行ClouderaManager代理的SLES主机必须使用​​SLESSDK 11 SP1​​。

·        Cloudera不支持Docker容器中的CDH集群部署。

·        ClouderaEnterprise(没有 Cloudera Navigator)在启用安全增强型Linux(SELinux)的平台上得到支持。

重要提示: Cloudera不对政策支持或政策执行负责。如果您遇到SELinux的问题,请联系您的操作系统支持提供商。

CDH和Cloudera Manager 5.12.x支持的操作系统

操作系统

版本(bold = new)

Red Hat Enterprise Linux兼容

RHEL / CentOS

Max SE Linux支持:7.2

7.3,7.2,7.1

6.9,6.8,6.7,6.6,6.5,6.4

5.11,5.10,5.7

Oracle Linux(OL)

7.3,7.2,7.1(UEK默认值)

6.9,6.8(UEK R2,R4)

6.7,6.6,6.5(UEK R2,R3)

6.4(UEK R2)

5.11,5.10,5.7(UEK R2)

SUSE Linux Enterprise Server

SLES

12 SP2,12 SP1

11 SP4,11 SP3,11 SP2

Ubuntu的/ Debian的

Ubuntu的

16.04 LTS(Xenial)

14.04 LTS(Trusty)

12.04 LTS(精确)

Debian的

8.2,8.4(Jessie)

7.0,7.1,7.8(Wheezy)

CDH和Cloudera Manager 5.11.x支持的操作系统

警告: RHEL / OL6.x版本 在5.11.0中具有​​已知的密码问题​​,并在5.11.1中解析。

操作系统

版本(bold = new)

Red Hat Enterprise Linux兼容

RHEL / CentOS

Max SE Linux支持:7.2

7.3,7.2,7.1

6.9,6.8,6.7,6.6,6.5,6.4

5.11,5.10,5.7

Oracle Linux(OL)

7.3,7.2,7.1(UEK默认值)

6.9,6.8(UEK R2,R4)

6.7,6.6,6.5(UEK R2,R3)

6.4(UEK R2)

5.11,5.10,5.7(UEK R2)

SUSE Linux Enterprise Server

SLES

12 SP2,12 SP1

11 SP4,11 SP3,11 SP2

Ubuntu的/ Debian的

Ubuntu的

16.04 LTS(Xenial)

14.04 LTS(Trusty)

12.04 LTS(精确)

Debian的

8.2,8.4(Jessie)

7.0,7.1,7.8(Wheezy)

网关主机的操作系统支持(仅限CDH 5.11及更高版本)

专用于运行ClouderaData Science Workbench的网关主机可以使用RHEL / CentOS 7.2,即使集群中剩余的主机正在运行任何其他​​支持的操作系统​​​。所有主机必须运行相同版本的​​Oracle JDK​​。

CDH和Cloudera Manager 5.10.x支持的操作系统

操作系统

版本(bold = new)

Red Hat Enterprise Linux兼容

RHEL / CentOS

Max SE Linux支持:6.7

7.3,7.2,7.1

6.9,6.8,6.7,6.6,6.5,6.4

5.11,5.10,5.7

Oracle Linux(OL)

7.3, 7.2,7.1(UEK默认)

6.9,6.8(UEK R2,R4)

6.7,6.6,6.5(UEK R2,R3)

6.4(UEK R2)

5.11,5.10,5.7(UEK R2)

SUSE Linux Enterprise Server

SLES

12 SP1

11 SP4,11 SP3,11 SP2

Ubuntu的/ Debian的

Ubuntu的

14.04 LTS(Trusty)

12.04 LTS(精确)

Debian的

8.4,8.2(Jessie)

7.8,7.1,7.0(Wheezy)

CDH和Cloudera Manager 5.9.x支持的操作系统

操作系统

版本(bold = new)

Red Hat Enterprise Linux兼容

RHEL / CentOS

Max SE Linux支持:6.7

7.2,7.1

6.9,6.8,6.7,6.6,6.5,6.4

5.11,5.10,5.7

Oracle Linux(OL)

7.2,7.1(UEK默认值)

6.9,6.8(UEK R2,R4)

6.7,6.6,6.5(UEK R2,R3)

6.4(UEK R2)

5.11,5.10,5.7(UEK R2)

SUSE Linux Enterprise Server

SLES

12 SP1

11 SP4,11 SP3,11 SP2

Ubuntu的/ Debian的

Ubuntu的

14.04 LTS(Trusty)

12.04 LTS(精确)

Debian的

8.4,8.2(Jessie)

7.8,7.1,7.0(Wheezy)

CDH和Cloudera Manager 5.8.x支持的操作系统

操作系统

版本(bold = new)

Red Hat Enterprise Linux兼容

RHEL / CentOS

Max SE Linux支持:6.6

7.2,7.1

6.9,6.7,6.6,6.5,6.4

5.11,5.10,5.7

Oracle Linux(OL)

7.2,7.1(UEK默认值)

6.9(UEK R2,R4)

6.7,6.6,6.5(UEK R2,R3)

6.4(UEK R2)

5.11,5.10,5.7(UEK R2)

SUSE Linux Enterprise Server

SLES

11 SP4,11 SP3,11 SP2

Ubuntu的/ Debian的

Ubuntu的

14.04 LTS(Trusty)

12.04 LTS(精确)

Debian的

8.2(Jessie)

7.8,7.1,7.0(Wheezy)

CDH和Cloudera Manager 5.7.x支持的操作系统

操作系统

版本(bold = new)

Red Hat Enterprise Linux兼容

RHEL / CentOS

Max SE Linux支持:6.6

7.2,7.1

6.7,6.6,6.5,6.4

5.11,5.10,5.7

Oracle Linux(OL)

7.2,7.1(UEK默认)

6.7,6.6,6.5(UEK R2,R3)

6.4(UEK R2)

5.11,5.10,5.7(UEK R2)

SUSE Linux Enterprise Server

SLES

11 SP4,11 SP3,11 SP2

Ubuntu的/ Debian的

Ubuntu的

14.04 LTS(Trusty)

12.04 LTS(精确)

Debian的

7.8,7.1,7.0(喘息)

CDH和Cloudera Manager 5.6.x支持的操作系统

操作系统

版本(bold = new)

Red Hat Enterprise Linux兼容

RHEL / CentOS

Max SE Linux支持:6.6

7.1

6.7,6.6,6.5,6.4

5.10,5.7

Oracle Linux(OL)

7.1(UEK默认值)

6.7,6.6,6.5(UEK R2,R3)

6.4(UEK R2)

5.10,5.6(UEK R2)

SUSE Linux Enterprise Server

SLES

11 SP3,11 SP2

Ubuntu的/ Debian的

Ubuntu的

14.04 LTS(Trusty)

12.04 LTS(精确)

Debian的

7.1,7.0(Wheezy)

CDH和Cloudera Manager 5.5.x支持的操作系统

操作系统

版本(bold = new)

Red Hat Enterprise Linux兼容

RHEL / CentOS

Max SE Linux支持:6.6

7.1

6.7,6.6,6.5,6.4

5.10,5.7

Oracle Linux(OL)

7.1(UEK默认值)

6.7, 6.6,6.5(UEK R2,R3)

6.4(UEK R2)

5.10,5.6(UEK R2)

SUSE Linux Enterprise Server

SLES

11 SP3,11 SP2

Ubuntu的/ Debian的

Ubuntu的

14.04 LTS(Trusty)

12.04 LTS(精确)

Debian的

7.1,7.0(Wheezy)

CDH和Cloudera Manager 5.4.x支持的操作系统

操作系统

版本(bold = new)

Red Hat Enterprise Linux兼容

RHEL / CentOS

Max SE Linux支持:6.5

6.6,6.5,6.4

5.10,5.7

Oracle Linux(OL)

6.6,6.5(UEK R2,R3)

6.4(UEK R2)

5.10,5.6(UEK R2)

SUSE Linux Enterprise Server

SLES

11 SP3,11 SP2

Ubuntu的/ Debian的

Ubuntu的

14.04 LTS(Trusty)

12.04 LTS(精确)

Debian的

7.1,7.0(Wheezy)

CDH和Cloudera Manager 5.3.x支持的操作系统

操作系统

版本(bold = new)

Red Hat Enterprise Linux兼容

RHEL / CentOS

Max SE Linux支持:6.4

6.5,6.4

5.7

Oracle Linux(OL)

6.5(UEK R2,R3)

6.4(UEK R2)

5.6(UEK R2)

SUSE Linux Enterprise Server

SLES

11 SP3,11 SP2

Ubuntu的/ Debian的

Ubuntu的

14.04 LTS(Trusty)

12.04 LTS(精确)

Debian的

7.1,7.0(Wheezy)

CDH和Cloudera Manager 5.2.x支持的操作系统

操作系统

版本(bold = new)

Red Hat Enterprise Linux兼容

RHEL / CentOS

Max SE Linux支持:6.4

6.5,6.4

5.7

Oracle Linux(OL)

6.5(UEK R2,R3)

6.4(UEK R2)

5.6(UEK R2)

SUSE Linux Enterprise Server

SLES

11 SP3,11 SP2

Ubuntu的/ Debian的

Ubuntu的

14.04 LTS(Trusty)

12.04 LTS(精确)

Debian的

7.1,7.0(Wheezy)

CDH和Cloudera Manager 5.1.x支持的操作系统

操作系统

版本(bold = new)

Red Hat Enterprise Linux兼容

RHEL / CentOS

Max SE Linux支持:6.4

6.5,6.4

5.7

Oracle Linux(OL)

6.5(UEK R2,R3)

6.4(UEK R2)

5.6(UEK R2)

SUSE Linux Enterprise Server

SLES

11 SP3,11 SP2

Ubuntu的/ Debian的

Ubuntu的

12.04 LTS(精确)

Debian的

7.1,7.0(Wheezy)

CDH和Cloudera Manager 5.0.x支持的操作系统

操作系统

Red Hat Enterprise Linux兼容

RHEL / CentOS

Max SE Linux支持:6.6

6.5,6.4

5.7

Oracle Linux(OL)

6.5(UEK R2,R3)

6.4(UEK R2)

5.6(UEK R2)

SUSE Linux Enterprise Server

SLES

11 SP3,11 SP2

Ubuntu的/ Debian的

Ubuntu的

12.04 LTS(精确)

Debian的

7.1,7.0(Wheezy)

文件系统要求

支持的文件系统

Hadoop分布式文件系统(HDFS)被设计为在操作系统的基础文件系统之上运行。Cloudera建议您使用在​​受支持的操作系统上​​​测试的以下文件​​系统之一​​:

·        ext3:这是HDFS最受测试的底层文件系统。

·        ext4:更新的Linux版本支持ext3的可伸缩扩展。重要提示: Cloudera不支持从ext3到ext4的就地升级。Cloudera建议您将磁盘格式化为ext4,然后再将其用作数据目录。

·        XFS:这是RHEL 7中的默认文件系统。

文件访问时间

Linux文件系统保留访问每个文件时记录的元数据。这意味着即使读取也会导致写入磁盘。为了加快文件读取速度,Cloudera建议您禁用此选项的atime,使用mount选项 / etc / fstab文件:

/ dev / sdb1 / data1 ext4 defaults,noatime 0

在不重新启动的情况下应用更改:

mount -o remount / data1

文件系统装载选项

文件系统 安装 选项有一个 同步 选项,允许您同步写入。

但是,使用 同步选项将导致将数据写入磁盘的服务(如HDFS,YARN,Kafka和Kudu)的性能较差。在CDH中,大多数写入已经被复制。因此,对磁盘进行同步写入是不必要的,昂贵的,并且不值得增加安全性。

NFS和NAS选项不能用作DataNode数据目录安装,即使在使用分层存储功能时。

CDH和Cloudera Manager支持的数据库

Cloudera Manager和CDH随附一个嵌入式PostgreSQL数据库,用于非生产环境。嵌入式PostgreSQL数据库在生产环境中不受支持。对于生产环境,您必须将集群配置为使用外部数据库。

在大多数情况下(而不是全部),Cloudera支持每个受支持的Linux发行版的本地版本的MariaDB,MySQL和PostgreSQL。

安装数据库后,升级到最新的修补程序并应用适当的更新。可用的更新可能特定于安装它的操作系统。

笔记:

·        对所有自定义数据库使用UTF8编码。

·        对于MySQL 5.6和5.7,您必须安装MySQL共享兼容MySQL共享包。这是Cloudera Manager代理软件包安装所必需的。

·        如果在MySQL中启用了基于GTID的复制,Cloudera Manager安装将失败。

·        Hue 需要安装它的操作系统的默认MySQL / MariaDB版本(如果使用的话)。请参阅​​色相数据库​​。

·        支持社区和企业版本的MySQL以及由AWS RDS服务配置的MySQL。

重要信息:重新启动进程时,将使用保存在Cloudera Manager数据库中的信息重新部署每个服务的配置。如果此信息不可用,您的群集不启动或正常运行。在数据库丢失的情况下,您必须安排并维护Cloudera Manager数据库的常规备份以恢复集群。

5.1

5.5

5.6

 

5.7

 

 

 

 

 

 

 

 

 

 

 MariaDB支持跨CM / CDH 5发行

MariaDB的

5.12

5.11

5.10

5.9

5.8

5.7

5.6

5.5

5.4

5.3

5.2

5.1

5

 跨CM / CDH 5版本的MySQL支持

MySQL的

5.12

5.11

5.10

5.9

5.8

5.7

5.6

5.5

5.4

5.3

5.2

5.1

5

5.5

 

 

 

 

 

10.0

 

 

 

 

 

 

 

 

 

 

8.1

8.3

8.4

9.1

9.2

 

9.3

 

 

9.4

 

 

 

 

 

9.5

 

 

 

 

 

 

 

 

 

 

 

 跨CM / CDH 5发行版的Oracle支持

神谕

5.12

5.11

5.10

5.9

5.8

5.7

5.6

5.5

5.4

5.3

5.2

5.1

5

 PostgreSQL支持跨CM / CDH 5版本

Pgres

5.12

5.11

5.10

5.9

5.8

5.7

5.6

5.5

5.4

5.3

5.2

5.1

5

11g R2

12c R1

 

 

 

 

 

 

CDH和Cloudera Manager支持的JDK版本

仅支持来自​​Oracle的​​​ 64位JDK 。所有版本的Cloudera Manager 5和CDH 5均支持 ​​OracleJDK 7. ​​​​OracleJDK 8​​在C5.3.x及更高版本中受支持。

除非特别排除,否则对于小型JDK版本的支持从Cloudera主要版本开始,其中 添加了对主要JDK版本的支持。例如,对于C5.9而言,8u102已经及时发布,但实际上是由C5.3支持,因为当时添加了JDK 1.8的支持。当安全性受到威胁时,Cloudera将排除或删除对特定Java更新的支持。

不支持在不同JDK版本上运行同一集群中的CDH节点。跨群集的JDK版本需要匹配补丁级别。

·        集群中的所有节点必须运行相同的OracleJDK版本。

·        所有服务必须部署在相同的OracleJDK版本上。

JDK 7

除了特别排除之外,CM /CDH 5.0及更高版本支持从最低要求版本开始的所有JDK 7更新。未列出的最小值更新被支持但未测试。

Cloudera Manager存储库包含Oracle JDK 1.7.0_67(​​例如​​),可以在新的安装或升级过程中自动安装。

支持和测试的JDK 7更新

JDK 7

支持所有C5.x

1.7u80

推荐/最新版本测试

1.7u75

推荐的

1.7u67

推荐的

1.7u55

最低要求

JDK 8

除了特别排除,CM / CDH5.3及更高版本支持从最低要求版本进行的所有JDK 8更新。未列出的最小值更新被支持但未测试。

警告: JDK8u40,8u45和8u60由于安全风险而被排除在支持之外:对于基于Web的UI组件(如HDFS,YARN,SOLR和Oozie),​​HTTP身份验证可能会失败​​。重要提示:支持JDK 8u75,但有一个已知问题:​​当Oozie服务器在JDK 8u75或更高版本上运行时,Oozie Web控制台返回500错误​​。

支持和测试的JDK 8更新

JDK 8

支持C5.3及更高版本

1.8u121

推荐/最新版本测试

1.8u111

推荐的

1.8u102

推荐的

1.8u91

推荐的

1.8u74

推荐的

1.8u31

最低要求

Cloudera Manager支持的浏览器

色调

色相与两个最近的​​LTS​​​(长期支持)或​​ESR​​(扩展支持版本)浏览器配合使用。Cookies和JavaScript必须打开。

·        Chrome:​​版本历史记录​

·        Firefox:​​版本历史​

·        Internet Explorer:​​版本历史记录​

·        Safari(仅限Mac):​​版本历史记录​

色相可以在旧版浏览器和其他浏览器中显示,但您可能无法访问其所有功能。重要提示:要查看Hue Web UI中的所有图标,使用IE和HTTPS的用户必须添加负载平衡器。

Cloudera经理

用于安装,配置,管理和监控服务的Cloudera Manager管理控制台支持最新版本的以下浏览器:

·        火狐浏览器

·        谷歌浏览器

·        IE浏览器

·        苹果浏览器。

CDH和Cloudera Manager支持的传输层安全版本

传输层安全性(TLS)的指定版本支持以下组件:

TLS支持的组件

零件

角色

名称

港口

Cloudera经理

Cloudera Manager服务器

 

7182

TLS 1.2

Cloudera经理

Cloudera Manager服务器

 

7183

TLS 1.2

水槽

 

 

9099

TLS 1.2

水槽

 

Avro源/宿

 

TLS 1.2

水槽

 

Flume HTTP源/宿

 

TLS 1.2

HBase的

HBase Master Web UI端口

60010

TLS 1.2

HDFS

的NameNode

安全NameNode Web UI端口

50470

TLS 1.2

HDFS

次要名称节点

安全的Secondary NameNode Web UI端口

50495

TLS 1.2

HDFS

HttpFS

REST端口

14000

TLS 1.1,TLS 1.2

蜂巢

HiveServer2

HiveServer2端口

10000

TLS 1.2

色调

色相服务器

色相HTTP端口

8888

TLS 1.2

黑斑羚

Impala守护进程

Impala守护进口蜂蜡口

21000

TLS 1.2

黑斑羚

Impala守护进程

Impala守护进程HiveServer2端口

21050

TLS 1.2

黑斑羚

Impala守护进程

Impala后台端口

22000

TLS 1.2

黑斑羚

Impala StateStore

StateStore服务端口

24000

TLS 1.2

黑斑羚

Impala守护进程

Impala守护进程HTTP服务器端口

25000

TLS 1.2

黑斑羚

Impala StateStore

StateStore HTTP服务器端口

25010

TLS 1.2

黑斑羚

Impala目录服务器

目录服务器HTTP服务器端口

25020

TLS 1.2

黑斑羚

Impala目录服务器

目录服务器服务端口

26000

TLS 1.2

Oozie的

Oozie服务器

Oozie HTTPS端口

11443

TLS 1.1,TLS 1.2

Solr的

Solr服务器

Solr HTTP端口

8983

TLS 1.1,TLS 1.2

Solr的

Solr服务器

Solr HTTPS端口

8985

TLS 1.1,TLS 1.2

火花

历史服务器

 

18080

TLS 1.2

的ResourceManager

ResourceManager Web应用程序HTTP端口

8090

TLS 1.2

JobHistory服务器

MRv1 JobHistory Web应用程序HTTP端口

19890

TLS 1.2

Cloudera经理资源要求

Cloudera Manager需要以下资源:

·        磁盘空间

o   Cloudera Manager服务器

§ 5 GB的分区托管 / VAR。

§ 500 MB的分区托管 在/ usr。

§ 对于包裹,所需的空间取决于您下载到Cloudera Manager服务器并分发到代理主机的包裹数量。您可以下载同一产品,不同版本和不同版本的多个包裹。如果您正在管理多个集群,则只有一个产品/版本/构建/分发包在Cloudera Manager服务器上下载,而不是每个集群中的一个。在ClouderaManager服务器上的本地包裹信息库中,各种包裹的大致尺寸如下所示:

§ CDH 5(包括Impala和搜索) - 每个包裹1.5 GB(打包),每个包裹2 GB(未包装)

§ Impala - 每包200 MB

§ Cloudera搜索 - 每个包裹400 MB

o   Cloudera管理服务 - 主机监视器和服务监视器数据库存储在分区主机上/VAR。确保在此分区上至少有20 GB可用。

o   代理 - 在代理主机上,每个解包的包裹需要大约三倍于Cloudera Manager服务器下载的包裹的空间。默认情况下,已打包的包裹位于/选择/ Cloudera的/包裹。

·        RAM - 建议大多数情况下使用4GB,而在使用Oracle数据库时需要使用。对于具有少于100个主机的非Oracle部署,2 GB可能就足够了。但是,要在具有2 GB RAM的计算机上运行Cloudera Manager Server,必须调整其最大堆大小(通过修改)/ etc / default / cloudera-scm-server中的-Xmx)。否则,内核可能会杀死服务器以消耗太多的RAM。

·        Python - Cloudera Manager需要Python 2.4或更高版本(但与Python 3.0或更高版本不兼容)。CDH 5中的色相和CDH 5的软件包安装需要Python 2.6或2.7。所有受支持的操作系统包括Python 2.4或更高版本。Cloudera Manager通过最新版本的Python 2.x与Python 2.4兼容。Cloudera Manager不支持Python 3.0及更高版本。

·        Perl - Cloudera Manager需要​​perl​​。

·        python-psycopg2软件包 - Cloudera Manager 5.8及更高版本对软件包有一个新的依赖蟒蛇-psycopg2。此软件包在标准SLES 11和SLES 12存储库中不可用。在安装或升级Cloudera Manager之前,需要添加该存储库或将其手动安装到运行ClouderaManager Agent的任何计算机。

如果Cloudera Manager Server和Agent在同一主机上运行,请首先安装ClouderaManager Server,然后添加 蟒蛇-psycopg2存储库或包。添加存储库或软件包后,安装Cloudera Manager Agent。

通过选择正确的SLES版本从以下URL下载python-psycopg2存储库或软件包:​​http​​://software.opensuse.org/download.html?project=server%3Adatabase%3Apostgresql&package=python-psycopg2

您可以手动添加和安装存储库,或直接抓包。

要添加存储库并手动安装它,您需要存储库的URL。您可以在下载页面找到您的操作系统版本的URL。

例如,添加并手动安装 蟒蛇-psycopg2 存储库SLES 11SP4,运行以下命令:

zypper addrepohttp://download.opensuse.org/repositories/server:database:postgresql/SLE_11_SP4/server:database:postgresql.repo

zypper刷新

zypper安装python-psycopg2

或者,您可以从下载页面直接获取包。选择蟒-psycopg2-2.6.2- <版本> .x86_64.rpm 文件为您的操作系统版本。

·        iproute包 - Cloudera Manager 5.12及更高版本具有新的依赖关系iproute 包。任何运行ClouderaManager Agent的计算机都需要该软件包。您需要哪个版本取决于操作系统:

iproute包

操作系统

iproute版本

CentOS 6.x

iproute-2.6

CentOS 7.x

iproute-3.10

RHEL 6.x

iproute-2.6

RHEL 7.x

iproute-3.10

SLES 11 SP3

iproute2-2.6

SLES 11 SP4

iproute2-3.0

SLES 12和12 SP1,

iproute2-3.12

SLES 12 SP4

iproute2-4.4

CDH和Cloudera Manager网络和安全要求

Cloudera Manager部署中的主机必须满足以下网络和安全要求:

·        网络协议支持

CDH需要IPv4。不支持IPv6,必须禁用。注意:请联系您的操作系统供应商以帮助禁用IPv6。

另请参阅​​配置网络名称​​。

·        多宿主支持

- Multihoming CDH或ClouderaManager在特定认证的Cloudera合作伙伴设备外不受支持。Cloudera发现,现有的Hadoop架构与现代网络基础架构和安全实践相结合,无需多重引导。然而,Multihoming在器件外形上受益于利用高带宽InfiniBand互连的优势。

虽然产品的某些子区域可能使用不支持的自定义多宿主配置,但是多宿主机已经存在已知问题。此外,未知的问题可能会出现,因为我们的Cloudera认证合作伙伴设备以外的测试矩阵不包括多重引导。

·        

休息加密的数据需要足够的​​熵​​来确保随机性。

见​​熵要求​​。

·        群集主机必须具有正确格式化的网络名称解析系统 /etc / hosts文件文件。所有群集主机必须通过DNS正确配置正向和反向主机解析。该/ etc / hosts文件 文件必须:

o   包含所有主机上主机名和IP地址的一致信息

o   不包含大写主机名

o   不包含重复的IP地址

群集主机不得使用别名 / etc / hosts文件或配置DNS。格式正确/ etc / hosts文件 文件应该类似于以下示例:

127.0.0.1 localhost.localdomain localhost

192.168.1.1 cluster-01.example.com cluster-01

cluster-2.2.168.1.2 cluster-02 .example.com cluster-02

cluster-3.example.com cluster-03

·        在大多数情况下,运行安装或升级向导时,Cloudera Manager Server必须具有访问集群主机的SSH访问权限。您必须使用root帐户或具有无密码的sudo权限的帐户登录。对于安装和升级过程中的身份验证,您必须输入密码或上传root或sudo用户帐户的公钥和私钥对。如果要使用公钥和私钥对,则在使用Cloudera Manager之前,必须在群集主机上安装公钥。

Cloudera Manager在初始安装或升级过程中仅使用SSH。集群设置完成后,您可以禁用root SSH访问或更改root密码。Cloudera Manager不保存SSH凭据,安装完成后,所有凭证信息都将被丢弃。

·        如果未启用​​单用户模式​​,Cloudera Manager代理将以root用户身份运行,以确保所需目录已创建,并且进程和文件由适当的用户拥有(例如,HDFS 和 mapred 用户)。

·        安全增强型Linux(SELinux)没有阻止。注意:启用了安全增强型Linux(SELinux)的平台上支持Cloudera Enterprise。但是,Cloudera不支持使用具有Cloudera Navigator加密功能的SELinux。Cloudera不对政策支持或政策执行负责。如果您遇到SELinux的问题,请与您的操作系统提供商联系。

·        iptables或防火墙无阻塞; 端口7180必须打开,因为它用于在安装后访问Cloudera Manager。Cloudera Manager通过特定端口进行通信,这些端口必须是开放的。

·        对于RHEL和CentOS, 的/etc / SYSCONFIG /网络 每个主机上的文件必须包含您刚刚为该主机设置(或验证)的主机名。

·        Cloudera Manager和CDH使用多个用户帐户和组来完成任务。用户帐户和组的组根据您选择安装的组件而有所不同。不要删除这些帐户或组,也不要修改其权限和权限。确保没有现有的系统阻止这些帐户和组运行。例如,如果您有脚本删除不在白名单中的用户帐户,请将这些帐户添加到允许的帐户列表中。Cloudera Manager,CDH和托管服务创建并使用以下帐户和组:

用户和组

组件(版本)

Unix用户ID

笔记

Cloudera Manager(所有版本)

Cloudera的供应链管理

Cloudera的供应链管理

Cloudera Manager流程,如Cloudera Manager服务器,监控角色以此用户身份运行。

Cloudera Manager的keytab文件必须命名 cmf.keytab 因为该名称在Cloudera Manager中是硬编码的。注意:仅适用于由Cloudera Manager管理的集群。

Apache Accumulo(Accumulo 1.4.3及更高版本)

accumulo

accumulo

Accumulo进程作为此用户运行。

Apache Avro

 

没有特殊用户

Apache Flume(CDH 4,CDH 5)

水槽

水槽

写入HDFS的接收器必须具有写入权限。

Apache HBase(CDH 4,CDH 5)

HBase的

HBase的

Master和RegionServer进程作为该用户运行。

HDFS(CDH 4,CDH 5)

HDFS

hdfs,hadoop

NameNode和DataNodes作为此用户运行,并且HDFS根目录以及用于编辑日志的目录应由其拥有。

Apache Hive(CDH 4,CDH 5)

蜂巢

蜂巢

HiveServer2进程和Hive Metastore进程作为此用户运行。

用户必须定义用于Hive访问其Metastore DB(例如,MySQL或Postgres),但它可以是任何标识符,并且不对应于Unix uid。这是javax.jdo.option.ConnectionUserName在hive-site.xml中。

Apache HCatalog(CDH 4.2及更高版本,CDH 5)

蜂巢

蜂巢

WebHCat服务(用于REST访问Hive功能)运行 蜂巢 用户。

HttpFS(CDH 4,CDH 5)

httpfs

httpfs

HttpFS服务以此用户身份运行。有关如何生成合并的说明, 请参阅​​HttpFS安全配置​​httpfs-http.keytab 文件。

色相(CDH 4,CDH 5)

色调

色调

色彩服务以此用户身份运行。

色相负载均衡器(Cloudera Manager 5.5及更高版本)

阿帕奇

阿帕奇

色相负载均衡器依赖于使用该API的apache2软件包 阿帕奇用户名。Cloudera Manager不使用此用户ID运行进程。

云雀Impala(CDH 4.1及以上,CDH 5)

黑斑羚

野鸭,蜂巢

Impala服务以此用户身份运行。

Apache Kafka(Cloudera分布的Kafka 1.2.0)

卡夫卡

卡夫卡

Kafka服务以此用户身份运行。

Java KeyStore KMS(CDH 5.2.1及更高版本)

公里

公里

Java KeyStore KMS服务以此用户身份运行。

主要受托人KMS(CDH 5.3及更高版本)

公里

公里

Key Trustee KMS服务以此用户身份运行。

主要受托人服务器(CDH 5.4及更高版本)

keytrustee

keytrustee

密钥受托人服务器服务作为此用户运行。

库杜

Kudu服务以此用户身份运行。

骆马(CDH 5)

骆驼

骆驼

骆马以此用户身份运行。

Apache Mahout

 

没有特殊用户

MapReduce(CDH 4,CDH 5)

mapred

mapred,hadoop

没有Kerberos,JobTracker和任务作为这个用户运行。LinuxTaskController二进制文件由Kerberos的此用户拥有。

Apache Oozie(CDH 4,CDH 5)

Oozie的

Oozie的

Oozie服务以此用户身份运行。

实木复合地板

 

没有特殊用户

阿帕奇猪

 

没有特殊用户

Cloudera搜索(CDH 4.3及更高版本,CDH 5)

Solr的

Solr的

Solr进程作为此用户运行。

Apache Spark(CDH 5)

火花

火花

Spark历史记录服务器进程作为此用户运行。

Apache Sentry(CDH 5.1及更高版本)

哨兵

哨兵

Sentry服务以此用户身份运行。

Apache Sqoop(CDH 4,CDH 5)

sqoop

sqoop

此用户仅适用于Sqoop1 Metastore,这是不推荐的配置选项。

Apache Sqoop2(CDH 4.2及更高版本,CDH 5)

sqoop2

sqoop,sqoop2

Sqoop2服务以此用户身份运行。

Apache Whirr

 

没有特殊用户

YARN(CDH 4,CDH 5)

纱线,hadoop

没有Kerberos,所有YARN服务和应用程序都以此用户身份运行。LinuxContainerExecutor二进制文件由Kerberos的此用户拥有。

Apache ZooKeeper(CDH 4,CDH 5)

动物园管理员

动物园管理员

ZooKeeper进程作为此用户运行。它是不可配置的

Apache Accumulo的产品兼容性表

该矩阵包含Apache Accumulo,CDH和Cloudera Manager两种版本之间的兼容性信息。有关每个版本的详细信息,请参阅​​ApacheAccumulo文档​​。

产品

最低支持的Cloudera Manager版本

最低支持CDH版本

最低支持的Impala版本

最低支持搜索版本

集成到CDH中

Accumulo 1.7.2

Cloudera Manager 5.0.0

CDH 5.5.0

不支持

不支持

没有

Accumulo 1.6.0

Cloudera Manager 5.0.0

CDH 4.6.0 - 4.xx,CDH 5.1.0

不支持

不支持

没有

Accumulo 1.4.4

Cloudera Manager 5.0.0

CDH 4.5.0(不适用于CDH 5)

不支持

不支持

没有

Accumulo 1.4.3

Cloudera Manager 5.0.0

CDH 4.3.0(不适用于CDH 5)

不支持

不支持

没有

Apache Impala的产品兼容性表(孵化)

该矩阵包含Impala和CDH / Cloudera Manager版本之间的兼容性信息。有关每个版本的详细信息,请参阅​​Impala文档​​。

产品

支持Cloudera Manager版本

支持的CDH版本

集成到CDH中

CDH 5.12.x的Impala 2.9.x(另加补丁)

Cloudera Manager 5.0.0 - 5.xx

CDH 5.12.x

CDH 5.12.x

对于CDH 5.11.x,Impala 2.8.x(另加补丁)

Cloudera Manager 5.0.0 - 5.xx

CDH 5.11.x

CDH 5.11.x

对于CDH 5.10.x,Impala 2.8.x(加上几个小补丁)虽然版本字符串仍然说Impala 2.7

Cloudera Manager 5.0.0 - 5.xx

CDH 5.10.x

CDH 5.10.x

Impala 2.7.x为CDH 5.9.x

Cloudera Manager 5.0.0 - 5.xx

CDH 5.9.x

CDH 5.9.x

CDH 5.8.x的Impala 2.6.x

Cloudera Manager 5.0.0 - 5.xx

CDH 5.8.x

CDH 5.8.x

Impala 2.5.x for CDH 5.7.x

Cloudera Manager 5.0.0 - 5.xx

CDH 5.7.x

CDH 5.7.x

Impala 2.4.x为CDH 5.6.x

Cloudera Manager 5.0.0 - 5.xx

CDH 5.6.x

CDH 5.6.x

Impala 2.3.x for CDH 5.5.x

Cloudera Manager 5.0.0 - 5.xx

CDH 5.5.x

CDH 5.5.x

Impala 2.2.x for CDH 5.4.x

Cloudera Manager 5.0.0 - 5.xx

CDH 5.4.x

CDH 5.4.x

Impala 2.2.0

Cloudera Manager 5.0.0 - 5.xx

CDH 5.4.0

CDH 5.4.0

Impala 2.1.8

Cloudera Manager 5.0.0 - 5.xx

CDH 5.3.10

CDH 5.3.10

Impala 2.1.7

Cloudera Manager 5.0.0 - 5.xx

CDH 5.3.9

CDH 5.3.9

Impala 2.1.6

Cloudera Manager 5.0.0 - 5.xx

CDH 5.3.8

CDH 5.3.8

Impala 2.1.5

Cloudera Manager 5.0.0 - 5.xx

CDH 5.3.6

CDH 5.3.6

Impala 2.1.4

Cloudera Manager 5.0.0 - 5.xx

CDH 5.3.4和CDH 5.3.5

CDH 5.3.4和CDH 5.3.5

Impala 2.1.3

Cloudera Manager 5.0.0 - 5.xx

CDH 5.3.3

CDH 5.3.3

Impala 2.1.2

Cloudera Manager 5.0.0 - 5.xx

CDH 5.3.2

CDH 5.3.2

Impala 2.1.1

Cloudera Manager 5.0.0 - 5.xx

CDH 5.3.1

CDH 5.3.1

Impala 2.1.0

Cloudera Manager 5.0.0 - 5.xx

CDH 5.3.0

CDH 5.3.0

Impala 2.0.5

Cloudera Manager 5.0.0 - 5.xx

CDH 5.2.6

CDH 5.2.6

Impala 2.0.4

Cloudera Manager 5.0.0 - 5.xx

CDH 5.2.5

CDH 5.2.5

Impala 2.0.3

Cloudera Manager 5.0.0 - 5.xx

CDH 5.2.4

CDH 5.2.4

Impala 2.0.2

Cloudera Manager 5.0.0 - 5.xx

CDH 5.2.3

CDH 5.2.3

Impala 2.0.1

Cloudera Manager 5.0.0 - 5.xx

CDH 5.2.1

CDH 5.2.1

Impala 2.0.0

Cloudera Manager 5.0.0 - 5.xx

CDH 5.2.0

CDH 5.2.0

Impala 1.4.4

Cloudera Manager 5.0.0 - 5.xx

CDH 5.1.5

CDH 5.1.5

Impala 1.4.3

Cloudera Manager 5.0.0 - 5.xx

CDH 5.1.4

CDH 5.1.4

Impala 1.4.2

Cloudera Manager 5.0.0 - 5.xx

CDH 5.1.3

CDH 5.1.3

Impala 1.4.1

Cloudera Manager 5.0.0 - 5.xx

CDH 5.1.2

CDH 5.1.2

Impala 1.4.0

Cloudera Manager 5.0.0 - 5.xx; 推荐:Cloudera Manager 5.1.0

CDH 5.1.0

CDH 5.1.0

Impala 1.3.3

Cloudera Manager 5.0.0 - 5.xx

CDH 5.0.5

CDH 5.0.5

Impala 1.3.2

Cloudera Manager 5.0.0 - 5.xx

CDH 5.0.4

CDH 5.0.4

Impala 1.3.1

Cloudera Manager 5.0.0 - 5.xx

CDH 5.0.1 - 5.0.x

CDH 5.0.1

Impala 1.3.0

Cloudera Manager 5.0.0 - 5.xx

CDH 5.0.0

CDH 5.0.0

Apache Kafka Cloudera分发的产品兼容性矩阵

Cloudera分布的Apache Kafka目前作为一个包和一个独立于CDH包裹的包裹进行分发。该包裹与Cloudera Manager使用自定义服务描述符(CSD)集成。

有关最新的文档,请参阅​​Kafka文档​​。

产品

特征

最低支持的Cloudera Manager版本

支持的CDH版本

集成到CDH中

Kafka 2.2.x

 

Cloudera Manager 5.9.x

CDH 5.9.x及以上

没有

Kafka 2.1.x

哨兵授权

Cloudera Manager 5.9.x

CDH 5.9.x及以上

没有

Kafka 2.0.x

增强安全性

Cloudera Manager 5.5.3

CDH 5.4.x及以上

没有

卡夫卡1.4.x

分发为包裹和包裹

Cloudera Manager 5.2.x

CDH 5.4.x,5.5.x,5.6.x

没有

卡夫卡1.3.x

包括卡夫卡监测

Cloudera Manager 5.2.x

CDH 5.4.x,5.5.x,5.6.x

没有

卡夫卡1.2.x

 

Cloudera Manager 5.2.x

CDH 5.4.x,5.5.x,5.6.x

没有

Apache Kudu的产品兼容性表

Apache Kudu目前作为一个包裹和一个独立于CDH包裹的包裹分发。该包裹与ClouderaManager使用​​自定义服务描述符(CSD)​​集成。

有关最新的文档,请参阅​​Kudu文档​​。

产品

特征

最低支持的Cloudera Manager版本

支持的CDH版本

集成到CDH中

Kudu 1.4.0 / CDH 5.12.x

作为Cloudera经理中的CSD可用。

Cloudera Manager 5.12.0

CDH 5.12.x

没有

Kudu 1.3.0 / CDH 5.11.x

作为Cloudera经理中的CSD可用。

Cloudera Manager 5.11.0

CDH 5.11.x

没有

Kudu 1.2.0 / CDH 5.10.x

分发为包裹和包裹。

Kudu在Cloudera Manager和CDH 5.10.x群集中支持的第一个通用(GA)版本。

Cloudera Manager 5.10.0

CDH 5.10.x

没有

Kudu 1.1.x(及更低版本) - Beta版

在CDH集群上没有商业支持的公开beta版本。

N / A

N / A

没有

Cloudera Navigator的产品兼容性矩阵

该矩阵包含Cloudera Navigator,ClouderaManager和CDH版本的兼容性信息。有关每个版本的详细信息,请参阅​​ClouderaNavigator文档​​。注意:

Cloudera Navigator需要HiveServer2才能完整的管理Hive查询。Cloudera Navigator不会捕获在HiveServer1 / HiveCLI上运行的查询的审核事件,并且不会捕获在HiveServer1上运行的某些类型的操作的血统。

​HiveServer1和Hive CLI在CDH 5中已被弃用​​。如果您使用Cloudera Navigator捕获Hive操作的审核,谱系和元数据,那么如果您还没有这样做,请升级到HiveServer2。

产品

特征

最低支持的Cloudera Manager版本

最低支持CDH版本

最低支持的Impala版本

最低支持搜索版本

Cloudera Navigator 2.11.x

审计,元数据,分析和安全

5.12.0

审计组件

HDFS,HBase - 4.0.0

Hue - 4.4.0,5.5.0用于LDAP用户操作

HiveServer2 - 4.2.0,4.4.0由于缺乏权限而被拒绝的操作。

哨兵 - 5.1.0

元数据组件

HDFS,HiveServer2,MapReduce,Oozie,Sqoop 1 - 4.4.0

猪 - 4.6.0

YARN - 5.0.0

Impala - 5.4.0

火花 - 1.6

Impala 1.2.1与CDH 4.4.0

CDH 5.4.0

Cloudera Navigator 2.10.x

审计,元数据,分析和安全

5.11.0

审计组件

HDFS,HBase - 4.0.0

Hue - 4.4.0,5.5.0用于LDAP用户操作

HiveServer2 - 4.2.0,4.4.0由于缺乏权限而被拒绝的操作。

哨兵 - 5.1.0

元数据组件

HDFS,HiveServer2,MapReduce,Oozie,Sqoop 1 - 4.4.0

猪 - 4.6.0

YARN - 5.0.0

Impala - 5.4.0

火花 - 1.6

Impala 1.2.1与CDH 4.4.0

CDH 5.4.0

Cloudera Navigator 2.9.x

审计,元数据,分析和安全

5.10.0

审计组件

HDFS,HBase - 4.0.0

Hue - 4.4.0,5.5.0用于LDAP用户操作

HiveServer2 - 4.2.0,4.4.0由于缺乏权限而被拒绝的操作。

哨兵 - 5.1.0

元数据组件

HDFS,HiveServer2,MapReduce,Oozie,Sqoop 1 - 4.4.0

猪 - 4.6.0

YARN - 5.0.0

Impala - 5.4.0

Spark(可用但不受支持) - 5.4.0

Impala 1.2.1与CDH 4.4.0

CDH 5.4.0

Cloudera Navigator 2.8.x

审计,元数据,分析和安全

5.9.0

审计组件

HDFS,HBase - 4.0.0

Hue - 4.4.0,5.5.0用于LDAP用户操作

HiveServer2 - 4.2.0,4.4.0由于缺乏权限而被拒绝的操作。

哨兵 - 5.1.0

元数据组件

HDFS,HiveServer2,MapReduce,Oozie,Sqoop 1 - 4.4.0

猪 - 4.6.0

YARN - 5.0.0

Impala - 5.4.0

Spark(可用但不受支持) - 5.4.0

Impala 1.2.1与CDH 4.4.0

CDH 5.4.0

Cloudera Navigator 2.7.x

审计,元数据,分析和安全

5.8.0

审计组件

HDFS,HBase - 4.0.0

Hue - 4.4.0,5.5.0用于LDAP用户操作

Hive - 4.2.0,4.4.0由于缺乏权限而被拒绝的操作。

哨兵 - 5.1.0

元数据组件

HDFS,Hive,MapReduce,Oozie,Sqoop 1 - 4.4.0

猪 - 4.6.0

YARN - 5.0.0

Impala - 5.4.0

Spark(可用但不受支持) - 5.4.0

Impala 1.2.1与CDH 4.4.0

CDH 5.4.0

Cloudera Navigator 2.6.x

审计,元数据,分析和安全

5.7.0

审计组件

HDFS,HBase - 4.0.0

Hue - 4.4.0,5.5.0用于LDAP用户操作

Hive - 4.2.0,4.4.0由于缺乏权限而被拒绝的操作。

哨兵 - 5.1.0

元数据组件

HDFS,Hive,MapReduce,Oozie,Sqoop 1 - 4.4.0

猪 - 4.6.0

YARN - 5.0.0

Impala - 5.4.0

Spark(可用但不受支持) - 5.4.0

Impala 1.2.1与CDH 4.4.0

CDH 5.4.0

Cloudera Navigator 2.5.x

审计,元数据,分析和安全

5.6.0

审计组件

HDFS,HBase - 4.0.0

色相 - 4.2.0

Hive - 4.2.0,4.4.0由于缺乏权限而被拒绝的操作。

哨兵 - 5.1.0

元数据组件

HDFS,Hive,Impala,MapReduce,Oozie,Sqoop 1 - 4.4.0

猪 - 4.6.0

YARN - 5.0.0

Impala和Spark(可用但不受支持) - 5.4.0

Impala 1.2.1与CDH 4.4.0

CDH 5.4.0

Cloudera Navigator 2.4.x

审计,元数据,分析和安全

5.5.0

审计组件

HDFS,HBase - 4.0.0

色相 - 4.2.0

Hive - 4.2.0,4.4.0由于缺乏权限而被拒绝的操作。

哨兵 - 5.1.0

元数据组件

HDFS,Hive,Impala,MapReduce,Oozie,Sqoop 1 - 4.4.0

猪 - 4.6.0

YARN - 5.0.0

Impala和Spark(可用但不受支持) - 5.4.0

Impala 1.2.1与CDH 4.4.0

CDH 5.4.0

Cloudera Navigator 2.3.x

审计,元数据和安全性

5.4.0

审计组件

HDFS,HBase - 4.0.0

色相 - 4.2.0

Hive - 4.2.0,4.4.0由于缺乏权限而被拒绝的操作。

哨兵 - 5.1.0

元数据组件

HDFS,Hive,Impala,MapReduce,Oozie,Sqoop 1 - 4.4.0

猪 - 4.6.0

YARN - 5.0.0

Impala和Spark(可用但不受支持) - 5.4.0

Impala 1.2.1与CDH 4.4.0

CDH 5.4.0

Cloudera Navigator 2.2.x

审计,元数据和安全性

5.3.0

审计组件

HDFS,HBase - 4.0.0

色相 - 4.2.0

Hive - 4.2.0,4.4.0由于缺乏权限而被拒绝的操作。

哨兵 - 5.1.0

元数据组件

HDFS,Hive,Oozie,MapReduce,Sqoop 1 - 4.4.0

猪 - 4.6.0

YARN - 5.0.0

Impala 1.2.1与CDH 4.4.0

不支持

Cloudera Navigator 2.1.x

审计,元数据和安全性

5.2.0

审计组件

HDFS,HBase - 4.0.0

色相 - 4.2.0

Hive - 4.2.0,4.4.0由于缺乏权限而被拒绝的操作。

哨兵 - 5.1.0

元数据组件

HDFS,Hive,Oozie,MapReduce,Sqoop 1 - 4.4.0

猪 - 4.6.0

YARN - 5.0.0

Impala 1.2.1与CDH 4.4.0

不支持

Cloudera Navigator 2.0.1

审计,元数据和安全性

5.1.2

审计组件

HDFS,HBase - 4.0.0

色相 - 4.2.0

Hive - 4.2.0,4.4.0由于缺乏权限而被拒绝的操作。

哨兵 - 5.1.0

元数据组件

HDFS,Hive,Oozie,MapReduce,Sqoop 1 - 4.4.0

猪 - 4.6.0

YARN - 5.0.0

Impala 1.2.1与CDH 4.4.0

不支持

Cloudera Navigator 2.0.0

审计,元数据和安全性

5.1.0

审计组件

HDFS,HBase - 4.0.0

色相 - 4.2.0

Hive - 4.2.0,4.4.0由于缺乏权限而被拒绝的操作。

哨兵 - 5.1.0

元数据组件

HDFS,Hive,Oozie,MapReduce,Sqoop 1 - 4.4.0

猪 - 4.6.0

YARN - 5.0.0

Impala 1.2.1与CDH 4.4.0

不支持

Cloudera Navigator 1.2.x

审计

5.0.0

HDFS,HBase - 4.0.0

色相 - 4.2.0

Hive - 4.2.0,4.4.0由于缺乏权限而被拒绝的操作。

Impala 1.2.1与CDH 4.4.0

不支持

元数据(2.0 beta 2)

5.0.0

HDFS,Hive,Oozie,MapReduce,Sqoop 1 - 4.4.0

猪 - 4.6.0

不支持

不支持

Cloudera Navigator支持的数据库

Cloudera Navigator支持以下数据库:

·        玛丽亚DB 5.5,10

·        MySQL5.1,5.5,5.6,5.7

·        Oracle 11gR2和12c

·        PostgreSQL8.1,8.3,8.4,9.1,9.2,9.3,9.4

Cloudera Navigator支持浏览器

Cloudera Navigator控制台支持以下浏览器:

·        Mozilla Firefox 24及更高版本

·        Google Chrome 36及更高版本

·        Internet Explorer11

·        Safari 5及更高版本

Cloudera Navigator支持CDH和托管服务版本

本节介绍了ClouderaNavigator审核和元数据功能支持的CDH和托管服务版本。

Cloudera导航员审核

本节介绍了Cloudera Navigator审核支持的经审计的操作和服务版本。

零件

操作(有关详细信息,请参阅​​探索审计数据​​)。

最低支持的服务版本

HDFS

访问或修改文件或目录的数据或元数据的操作

操作因缺乏特权而被拒绝

CDH 4.0.0

HBase的

在CDH版本小于4.2.0的情况下,对于授权和撤销操作,日志事件中的操作是 ADMIN

X-4545 X-4545 CEEC X- 假 (默认),日志事件中的用户名为 未知。查看有意义的用户名:

单击HBase服务。

单击配置选项卡。

选择服务范围 > 安全性。

将HBase Secure RPC Engine属性设置为 真正。

保存更改并重新启动服务。

CDH 4.0.0

蜂巢

发送到HiveServer2的操作(仅限授权,撤销和元数据访问)

操作因缺乏特权而被拒绝

限制:

使用Hive CLI对Hive采取的措施未经审核。因此,如果您启用了审核,则应禁用Hive CLI以防止未被审核的Hive操作。

在简单认证模式下,日志事件中的用户名是HiveServer2 connect命令中传递的用户名。如果您没有在connect命令中传递用户名,则该用户名是日志事件匿名。

CDH 4.2.0,CDH 4.4.0由于缺乏特权而被拒绝。

色调

通过蜂蜡服务器发送的操作(授权,撤销和元数据访问除外)

CDH 4.4.0

用户操作,如登录,注销,添加和删除用户,添加和删除LDAP组,添加和删除LDAP组中的用户

CDH 5.5.0

黑斑羚

由于缺乏特权而拒绝查询

通过分析的查询

Impala 1.2.1与CDH 4.4.0

导航元数据服务器

查看和更改审计报告

查看和更改授权配置

查看和更改元数据

查看和更改政策

查看和更改保存的搜索

Cloudera Navigator 2.3

哨兵

操作发送到HiveServer2和Hive Metastore Server角色和Impala服务

添加和删除角色,将角色分配给组并从组中删除角色,创建和删除权限,授予和撤销权限

操作因缺乏特权而被拒绝

您不直接配置Sentry服务进行审核。相反,当您配置Hive和Impala服务进行审核时,授予,撤销和元数据操作将显示在Hive或Impala服务审核日志中。

CDH 5.1.0

Solr的

索引创建和删除

模式和配置文件修改

索引,服务,文档标签访问

CDH 5.4.0

Cloudera Navigator元数据

本节介绍Cloudera Navigator元数据功能支持的CDH和托管服务版本。

零件

最低支持版本

HDFS。但是,不支持联合HDFS 。

CDH 4.4.0

蜂巢

CDH 4.4.0

黑斑羚

CDH 5.4.0

MapReduce的

CDH 4.4.0

Oozie的。支持的操作:

2.4 - map-reduction,pig,hive2,hive2,sqoop

2.3及更低的地图缩小,猪,蜂巢,平方呎

CDH 4.4.0

CDH 4.6.0

火花

CDH 5.4.0

Sqoop 1. 支持所有​​Cloudera连接器​​。

CDH 4.4.0

CDH 5.0.0

Cloudera Navigator加密的产品兼容性矩阵

Cloudera Navigator加密包含几个组件。有关​​加密数据​​​的组件,概念和架构的更多信息,请参阅​​Cloudera Navigator数据加密概述​​。

尽管版本号不同,ClouderaNavigator加密组件版本通常与Cloudera Enterprise协调。有关哪些组件版本与给定的Cloudera Enterprise版本对应的信息,请参见下表:

Cloudera Navigator加密组件版本

Cloudera企业版

Cloudera Navigator主要受托人服务器版本

主要受托人KMS版本

Cloudera Navigator Key HSM版本

Cloudera Navigator加密版本

5.12.x

5.12.x

5.12.x

1.10.x

3.13.x

5.11.x

5.11.x

5.11.x

1.9.x的

3.12.x

5.10.x

5.10.x

5.10.x

没有

3.11.x

5.9.x

5.9.x

5.9.x

1.8.x的

没有

5.8.x

5.8.x

5.8.x

1.7.x

3.10.x

5.7.x

5.7.x

5.7.x

1.6.x版

3.9.x

5.6.x

没有

没有

没有

没有

5.5.X

5.5.X

5.5.X

1.5.x的

3.8.x

5.4.x版本

5.4.x版本

5.4.x版本

1.4.X

3.7.x

5.3.x

3.8.x

5.3.x

1.3.x的

3.6.x的

有关每个组件的各个兼容性矩阵,请参见下文:

·        ​​Cloudera Navigator主要受托人服务器​

·        ​​主要受托人KMS​

·        ​​Cloudera NavigatorHSM KMS​

·        ​​Cloudera NavigatorKey HSM​

·        ​​Cloudera Navigator加密​

Cloudera Navigator主要受托人服务器

由于Key TrusteeServer使用的端口发生更改,Key Trustee Server 5.4及更高版本中不支持低于3.7的导航器加密版本以及低于5.4的密钥受托人KMS版本。

Cloudera Navigator主要受托人服务器兼容性矩阵

Cloudera Navigator主要受托人服务器版本

支持的操作系统

最低支持的Cloudera Manager版本

最低支持的Cloudera Navigator主要HSM版本

支持的主要受托人KMS版本

支持的Cloudera Navigator加密版本

5.12.x

RHEL和CentOS:6.4,6.5,6.6,6.7,6.8,6.9,7.1,7.2,7.3

Oracle Linux:6.7,6.8,6.9,7.1,7.2,7.3

5.12.x

1.4.X

5.4.x,5.5.x,5.7.x,5.8.x,5.9.x,5.10.x,5.11.x,5.12.x

3.7.x,3.8.x,3.9.x,3.10.x,3.11.x,3.12.x,3.13.x

5.11.x

RHEL和CentOS:6.4,6.5,6.6,6.7,6.8,7.1,7.2,7.3

Oracle Linux:6.7,6.8,7.1,7.2,7.3

5.11.x

1.3.x的

5.4.x,5.5.x,5.7.x,5.8.x,5.9.x,5.10.x,5.11.x

3.7.x,3.8.x,3.9.x,3.10.x,3.11.x,3.12.x,3.13.x

5.10.x

RHEL和CentOS:6.4,6.5,6.6,6.7,6.8,7.1,7.2,7.3

Oracle Linux:6.7,6.8,7.1,7.2,7.3

5.10.x

1.3.x的

5.4.x,5.5.x,5.7.x,5.8.x,5.9.x,5.10.x

3.7.x,3.8.x,3.9.x,3.10.x,3.11.x,3.12.x,3.13.x

5.9.x

RHEL和CentOS:6.4,6.5,6.6,6.7,6.8,7.1,7.2

Oracle Linux: 6.7,6.8,7.1,7.2

5.9.x

1.3.x的

5.4.x,5.5.x,5.7.x,5.8.x,5.9.x

3.7.x,3.8.x,3.9.x,3.10.x,3.11.x,3.12.x,3.13.x

5.8.x

RHEL和CentOS:6.4,6.5,6.6,6.7,7.1,7.2

Oracle Linux: 6.7,7.1,7.2

5.8.x

1.3.x的

5.4.x,5.5.x,5.7.x,5.8.x

3.7.x,3.8.x,3.9.x,3.10.x,3.11.x,3.12.x,3.13.x

5.7.x

RHEL和CentOS:6.4,6.5,6.6,6.7,7.1,7.2

Oracle Linux: 6.7,7.1,7.2

5.7.x

1.3.x的

5.4.x,5.5.x,5.7.x

3.7.x,3.8.x,3.9.x,3.10.x,3.11.x,3.12.x,3.13.x

5.5.X

RHEL和CentOS: 6.4,6.5,6.6,6.7,7.1

Oracle Linux: 6.7,7.1,7.2

5.5.X

1.3.x的

5.4.x,5.5.x,5.7.x

3.7.x,3.8.x,3.9.x,3.10.x,3.11.x,3.12.x,3.13.x

5.4.x版本

RHEL和CentOS: 6.4,6.5,6.6

5.4.x版本

1.3.x的

5.4.x,5.5.x,5.7.x

3.7.x,3.8.x,3.9.x,3.10.x,3.11.x,3.12.x,3.13.x

3.8.x

RHEL和CentOS: 6.4,6.5

不支持

1.3.x的

5.3.x

3.6.x的

主要受托人KMS

主要受托人KMS兼容性矩阵

主要受托人KMS版本

支持的操作系统

支持的受托管理服务器版本

最低支持的Cloudera Manager版本

支持的CDH版本

5.12.x

RHEL和CentOS:5.7,5.10,6.4,6.5,6.6,6.7,6.8,6.9,7.1,7.2,7.3

Oracle Linux:5.7,5.10,5.11,6.4,6.5,6.6,6.7,6.8,6.9,7.1,7.2,7.3

SLES: 11 SP2,11 SP3,11 SP4,12 SP1,12 SP2

Debian: 7.1,7.8,8.2,8.4

Ubuntu: 12.04,14.04,16.04

5.4.x,5.5.x,5.7.x,5.8.x,5.9.x,5.10.x,5.11.x,5.12.x

5.12.x

5.3.x,5.4.x,5.5.x,5.7.x,5.8.x,5.9.x,5.10.x,5.11.x,5.12.x

5.11.x

RHEL和CentOS:5.7,5.10,6.4,6.5,6.6,6.7,6.8,7.1,7.2,7.3

Oracle Linux:5.7,5.10,5.11,6.4,6.5,6.6,6.7,6.8,7.1,7.2,7.3

SLES: 11 SP2,11 SP3,11 SP4,12 SP1,12 SP2

Debian: 7.1,7.8,8.2,8.4

Ubuntu: 12.04,14.04,16.04

5.4.x,5.5.x,5.7.x,5.8.x,5.9.x,5.10.x,5.11.x

5.11.x

5.3.x,5.4.x,5.5.x,5.7.x,5.8.x,5.9.x,5.10.x,5.11.x

5.10.x

RHEL和CentOS:5.7,5.10,6.4,6.5,6.6,6.7,6.8,7.1,7.2,7.3

Oracle Linux:5.7,5.10,5.11,6.4,6.5,6.6,6.7,6.8,7.1,7.2,7.3

SLES: 11 SP2,11 SP3,11 SP4,12 SP1

Debian: 7.1,7.8,8.2,8.4

Ubuntu: 12.04,14.04

5.4.x,5.5.x,5.7.x,5.8.x,5.9.x,5.10.x

5.10.x

5.3.x,5.4.x,5.5.x,5.7.x,5.8.x,5.9.x,5.10.x

5.9.x

RHEL和CentOS:5.7,5.10,6.4,6.5,6.6,6.7,6.8,7.1,7.2

Oracle Linux:5.7,5.10,5.11,6.4,6.5,6.6,6.7,6.8,7.1,7.2

SLES: 11 SP2,11 SP3,11 SP4,12 SP1

Debian: 7.1,7.8,8.2,8.4

Ubuntu: 12.04,14.04

5.4.x,5.5.x,5.7.x,5.8.x,5.9.x

5.9.x

5.3.x,5.4.x,5.5.x,5.7.x,5.8.x,5.9.x

5.8.x

RHEL和CentOS:5.7,5.10,6.4,6.5,6.6,6.7,7.1,7.2

Oracle Linux:5.7,5.10,5.11,6.4,6.5,6.6,6.7,7.1,7.2

SLES: 11 SP2,11 SP3,11 SP4

Debian: 7.1,7.8,8.2

Ubuntu: 12.04,14.04

5.4.x,5.5.x,5.7.x,5.8.x

5.8.x

5.3.x,5.4.x,5.5.x,5.7.x,5.8.x

5.7.x

RHEL和CentOS:5.7,5.10,6.4,6.5,6.6,6.7,7.1,7.2

Oracle Linux:5.7,5.10,5.11,6.4,6.5,6.6,6.7,7.1,7.2

SLES: 11 SP2,11 SP3,11 SP4

Debian: 7.1,7.8

Ubuntu: 12.04,14.04

5.4.x,5.5.x,5.7.x

5.7.x

5.3.x,5.4.x,5.5.x,5.7.x

5.5.X

RHEL和CentOS:5.7,5.10,6.4,6.5,6.6,6.7,7.1

Oracle Linux: 5.7,5.10,6.4,6.5,6.6,6.7,7.1

SLES: 11 SP2,11 SP3

Debian: 7.1

Ubuntu: 12.04,14.04

5.4.x,5.5.x

5.5.X

5.3.x,5.4.x,5.5.x

5.4.x版本

RHEL和CentOS: 5.7,5.10,6.4,6.5,6.6

Oracle Linux: 5.7,5.10,6.4,6.5,6.6

SLES: 11 SP2,11 SP3

Debian: 7.1

Ubuntu: 12.04,14.04

5.4.x版本

5.4.x版本

5.3.x,5.4.x

5.3.x

RHEL和CentOS: 5.7,6.4,6.5

Oracle Linux: 5.7,6.4,6.5

SLES: 11 SP2,11 SP3

Debian: 7.1

Ubuntu: 12.04,14.04

3.8.x

5.3.x

5.3.x

Cloudera Navigator HSM KMS

HSM KMS兼容性矩阵

HSM KMS版本

支持的操作系统

支持HSM KMS版本

最低支持的Cloudera Manager版本

支持的CDH版本

5.12.x

RHEL和CentOS:6.8,6.9,7.1,7.2,7.3

5.12.x

5.12.x

5.12.x

Cloudera Navigator Key HSM

Cloudera NavigatorKey HSM必须安装在与Key Trustee Server相同的主机上。虽然Key HSM在所有版本的Key Trustee Server中都兼容,但Cloudera强烈建议您升级Key Trustee Server后,还要升级Key HSM。有关详细信息,请参阅​​安装Cloudera NavigatorKey HSM​​​并​​升级Cloudera NavigatorKey HSM​​。

Cloudera Navigator主要HSM兼容性矩阵

Cloudera Navigator Key HSM版本

支持的操作系统

最低支持的受托管理服务器版本

1.10.x

RHEL和CentOS:6.4,6.5,6.6,6.7,6.8,6.9,7.1,7.2

3.8.x

1.9.x的

RHEL和CentOS:6.4,6.5,6.6,6.7,6.8,7.1,7.2

3.8.x

1.8.x的

RHEL和CentOS:6.4,6.5,6.6,6.7,6.8,7.1,7.2

3.8.x

1.7.x

RHEL和CentOS:6.4,6.5,6.6,6.7,7.1,7.2

3.8.x

1.6.x版

RHEL和CentOS:6.4,6.5,6.6,6.7,7.1,7.2

3.8.x

1.5.x的

RHEL和CentOS: 6.4,6.5,6.6,6.7,7.1

3.8.x

1.4.X

RHEL和CentOS: 6.4,6.5,6.6

3.8.x

1.3.x的

RHEL和CentOS: 6.4,6.5

3.8.x

Cloudera Navigator加密

Cloudera Navigator加密兼容性矩阵

Cloudera Navigator加密版本

支持的操作系统

支持的受托管理服务器版本

3.13.x

RHEL和CentOS:5.7,5.10,6.4,6.5,6.6,6.7,6.8,6.9,7.1,7.2

Oracle Linux: 6.4,6.5,6.6,6.7,6.9,7.1

SLES: 11 SP2,11 SP3,11 SP4,12 SP1

Debian: 7.1,7.8

Ubuntu:12.04,14.04,14.04.3,16.04

5.4.x,5.5.x,5.7.x,5.8.x,5.9.x,5.10.x,5.11.x,5.12.x

3.12.x

RHEL和CentOS:5.7,5.10,6.4,6.5,6.6,6.7,6.8,6.9,7.1,7.2

Oracle Linux: 6.4,6.5,6.6,6.7,6.9,7.1

SLES: 11 SP2,11 SP3,11 SP4,12 SP1

Debian: 7.1,7.8

Ubuntu:12.04,14.04,14.04.3,16.04

5.4.x,5.5.x,5.7.x,5.8.x,5.9.x,5.10.x,5.11.x,5.12.x

3.11.x

RHEL和CentOS:5.7,5.10,6.4,6.5,6.6,6.7,6.8,7.1,7.2

Oracle Linux: 6.4,6.5,6.6,6.7,7.1

SLES: 11 SP2,11 SP3,11 SP4,12 SP1

Debian: 7.1,7.8

Ubuntu: 12.04,14.04,14.04.3

5.4.x,5.5.x,5.7.x,5.8.x,5.9.x,5.10.x,5.11.x

3.10.x

RHEL和CentOS:5.7,5.10,6.4,6.5,6.6,6.7,6.8,7.1,7.2

Oracle Linux: 6.4,6.5,6.6,6.7,7.1

SLES: 11 SP2,11 SP3,11 SP4

Debian: 7.1,7.8

Ubuntu: 12.04,14.04,14.04.3

5.4.x,5.5.x,5.7.x,5.8.x,5.9.x,5.10.x,5.11.x

3.9.x

RHEL和CentOS:5.7,5.10,6.4,6.5,6.6,6.7,7.1,7.2

Oracle Linux: 6.4,6.5,6.6,6.7,7.1

SLES: 11 SP2,11 SP3,11 SP4

Debian: 7.1,7.8

Ubuntu: 12.04,14.04,14.04.3

5.4.x,5.5.x,5.7.x,5.8.x,5.9.x,5.10.x,5.11.x

3.8.x

RHEL和CentOS:5.7,5.10,6.4,6.5,6.6,6.7,7.1

Oracle Linux: 6.4,6.5,6.6,6.7,7.1

SLES: 11 SP2,11 SP3

Debian: 7.1

Ubuntu: 12.04,14.04

5.4.x,5.5.x,5.7.x,5.8.x,5.9.x,5.10.x,5.11.x

3.7.x

RHEL和CentOS:5.7,5.10,6.4,6.5,6.6

Oracle Linux: 6.4,6.5,6.6

SLES: 11 SP2,11 SP3

Debian: 7.1

Ubuntu: 12.04,14.04

5.4.x,5.5.x,5.7.x,5.8.x,5.9.x,5.10.x,5.11.x

3.6.x的

RHEL和CentOS: 5.7,6.4,6.5

Oracle Linux: 6.4,6.5

SLES: 11 SP2,11 SP3

Debian: 7.1

Ubuntu: 12.04,14.04

3.8.x

Apache Sentry的产品兼容性表

Sentry支持HiveServer2的基于角色的细粒度授权,并为Hive,Cloudera Impala和Cloudera Search提供经典的数据库式授权。您可以使用Sentry服务(在Cloudera Manager 5.1.0和CDH 5.1.0中引入)或策略文件方法来保护数据。

注意:单个群集可以同时使用Sentry服务(Hive和Impala)和Sentry策略文件(对于Solr)。

产品

特征

最低支持的Cloudera Manager版本

最低支持CDH版本

最低支持的Impala版本

最低支持搜索版本

集成到CDH中

Apache Sentry

哨兵服务

Cloudera Manager 5.1.0

CDH 5.1.0

Impala 1.4.0 CDH 5

搜索CDH 5.8.0

策略文件

Cloudera Manager 4.7.0

CDH 4.3.0

Impala 1.2.1

搜索1.1.0

是; 启动CDH 4.4.0

支持其他文件系统

文件系统

支持最低版本

亚马逊S3(s3a)

Apache Sentry for CDH 5.8

亚马逊RDS

CDH的Apache Sentry 5.9

Apache Spark的产品兼容性表

Spark是用于大规模数据处理的快速通用引擎。有关安装和配置说明,请参阅​​Spark安装​​​。要查看每个版本引入的新功能,请参阅​​CDH 5发行说明​​。

由于Spark已经集成到CDH软件包中,因此与Cloudera Manager和CDH的兼容性取决于它随附的CDH 5.xx版本。

产品

最低支持的Cloudera Manager版本

最低支持CDH版本

最低支持的Impala版本

最低支持搜索版本

集成到CDH中

Apache Spark 1.6.x

Cloudera Manager 5.7.x

CDH 5.7.x

不支持

不支持

CDH 5.7.0

Apache Spark 1.5.x

Cloudera Manager 5.5.x和Cloudera Manager 5.6.x

CDH 5.5.x和CDH 5.6.x

不支持

不支持

CDH 5.5.0和CDH 5.6.0

Apache Spark 1.3.x

Cloudera Manager 5.4.x

CDH 5.4.x

不支持

不支持

CDH 5.4.0

Apache Spark 1.2.x

Cloudera Manager 5.3.x

CDH 5.3.x

不支持

不支持

CDH 5.3.0

Apache Spark 1.1.x

Cloudera Manager 5.2.x

CDH 5.2.x

不支持

不支持

CDH 5.2.0

Apache Spark 1.0.x

Cloudera Manager 5.1.x

CDH 5.1.x

不支持

不支持

CDH 5.1.0

Apache Spark 0.9.x

Cloudera Manager 5.0.x

CDH 5.0.x

不支持

不支持

CDH 5.0.0

EMC Isilon的产品兼容性

要获得与ClouderaManager复制和快照功能的​​兼容性​​​,请参阅​​产品兼容性表以进行备份和灾难恢复​​​。有关使用Isilon与CDH的信息,请参阅​​使用CDH与Isilon存储​​。

CDH版本

Isilon OneFS版本

5.12

8.0.1.x

8.0.0.4

8.0.0.x版本高于8.0.0.4。

5.11

8.0.0.4

8.0.0.x版本高于8.0.0.4。

5.10

8.0.0.3(附补丁184679)注意:该修补程序修复了阻止高可用性服务在Kerberized环境中正常工作的错误。

8.0.0.4

8.0.0.x版本高于8.0.0.4。

5.9

8.0.0.2

8.0.0.3注意:版本8.0.0.1,8.0.0.2和8.0.0.3中有一个错误,可以防止高可用性服务在Kerberized环境中正常工作。

8.0.0.4

8.0.0.x版本高于8.0.0.4。

5.8

8.0.0.x

5.4.4及以上

7.2.0.3及以上

Cloudera建议使用7.2.1.1

用于备份和灾难恢复的产品兼容性表

该矩阵包含Cloudera Manager备份和灾难恢复以及CDH和Cloudera Manager功能的兼容性信息。

产品

特征

最低支持的Cloudera Manager版本

最低支持CDH版本

支持的服务

备份和灾难恢复

复制

Cloudera Manager 4.5.0

CDH 4.0.1

HDFS,Hive,Impala

复制到和从Amazon S3

Cloudera Manager 5.9.0

CDH 5.9.0

HDFS,Hive,Impala

快照

Cloudera Manager 5.0.0

CDH 5.0.0

HDFS,Hive,Impala

​Isilon存储的​​快照

不支持

不支持

HDFS,Hive,Impala

下表列出了支持和不受支持的复制方案:

支持的复制方案

在Cloudera Manager 5中,CDH 5或CDH 4群集之间支持复制。下表描述了对HDFS和Hive / Impala复制的支持。表中列出的版本是执行复制所需的ClouderaManager和CDH的最低版本。例如,在源和目标集群上的Hadoop服务上启用TLS / SSL的复制需要源和目标上的Cloudera Manager和CDH版本5.0或更高版本。

服务

资源

目的地

 

Cloudera Manager版本

CDH版本

评论

Cloudera Manager版本

CDH版本

评论

HDFS,Hive

4

4

 

4

 

HDFS,Hive

4

4.4

 

 

HDFS,Hive

在Hadoop服务上启用了TLS / SSL

在Hadoop服务上启用了TLS / SSL

HDFS,Hive

在Hadoop服务上启用了TLS / SSL

Hadoop服务上未启用TLS / SSL

HDFS,Hive

5.1

在Hadoop服务和YARN上启用了TLS / SSL

4或5

 

HDFS,Hive

4

 

4.7.3以上

4

 

HDFS,Hive

4

 

4

 

HDFS,Hive

 

 

HDFS,Hive

 

4.4以上

 

HDFS,Hive

5.7

5.7,用Isilon存储

请参阅​​使用Isilon存储的群集支持的复制方案​​。

5.7

5.7,用Isilon存储

请参阅​​使用Isilon存储的群集支持的复制方案​​。

HDFS,Hive

5.7

5.7

5.7

5.7,用Isilon存储

HDFS,Hive

5.7

5.7,用Isilon存储

5.7

5.7

HDFS,Hive

5.8

5.8,带或不带Isilon存储

可以启用Kerberos

请参阅​​使用Isilon存储的群集支持的复制方案​​。

5.8

5.8,带或不带Isilon存储

可以启用Kerberos

请参阅​​使用Isilon存储的群集支持的复制方案​​。

不支持的复制方案

注意:如果您使用Isilon存储CDH,请参阅​​使用Isilon存储的集群支持的复制方案​​。

服务

资源

目的地

 

Cloudera Manager版本

CDH版本

评论

Cloudera Manager版本

CDH版本

评论

任何

4或5

4或5

启用Kerberos。

4或5

4或5

未启用Kerberos

任何

4或5

4或5

未启用Kerberos

4或5

4或5

启用Kerberos

HDFS,Hive

4或5

4

其中复制数据包含包含大量文件或子目录(数十万条)的目录,导致内存不足错误。

要解决此问题,请​​按照此过程​​。

4或5

 

蜂巢

4或5

4

复制HDFS文件被禁用。

4或5

4或5

启用了线上加密功能。

蜂巢

4或5

4

如果NameNode在复制期间故障转移,则复制可能会失败。

4或5

5,启用高可用性

如果NameNode在复制期间故障转移,则复制可能会失败。

蜂巢

4或5

4

集群使用不同的Kerberos领域。

4或5

部署了较旧的JDK。(升级CDH 4群集以使用JDK 7或JDK6u34解决此问题。)

任何

4或5

4

Hadoop服务启用了SSL。

4或5

4或5

 

蜂巢

4或5

4.2以上

如果Hive架构包含视图。

4或5

4

 

HDFS

4或5

4,启用高可用性

在复制期间发生NameNode故障切换时,复制失败。

4或5

5,没有高可用性

在复制期间发生NameNode故障切换时,复制失败。

HDFS

4或5

4或5

通过线加密启用。

4或5

4

 

HDFS

4或5

有URL编码字符的集群,如 % 在文件和目录名称。

4或5

4

 

蜂巢

4或5

4或5

启用电线加密功能,并启用复制HDFS文件。

4或5

4

 

蜂巢

4或5

4或5

从一个群集到同一个群集。

4或5

4或5

从一个群集到同一个群集。

HDFS,Hive

4或5

其中复制数据包含包含大量文件或子目录(数十万条)的目录,导致内存不足错误。

要解决此问题,请​​按照此过程​​。

4或5

4

 

HDFS

4或5

集群使用不同的Kerberos领域。

4或5

4

部署了较旧的JDK。(升级CDH 4群集以使用JDK 7或JDK6u34解决此问题。)

蜂巢

4或5

复制HDFS文件已启用,集群使用不同的Kerberos领域。

4或5

4

部署了较旧的JDK。(升级CDH 4群集以使用JDK 7或JDK6u34解决此问题。)

任何

4或5

Hadoop服务和YARN启用了SSL。

4或5

4或5

 

任何

4或5

Hadoop服务启用了SSL。

4或5

4

 

HDFS

4或5

5,启用高可用性

在复制期间发生NameNode故障切换时,复制失败。

4或5

4,没有高可用性

在复制期间发生NameNode故障切换时,复制失败。

HDFS,Hive

 

4

4

 

蜂巢

5.2

5.2或更低

跳过Impala UDF的复制。

4或5

4或5

 

使用Isilon存储的集群支持的复制方案

在使用Isilon存储的集群安排复制作业时,请注意以下事项:

·        从CDH 5.8及更高版本,对源或目标集群或两者使用Kerberos和Isilon存储的集群支持复制。请参阅​​使用Kerberos和Isilon配置复制​​。CDH 5.7不支持使用Isilon存储和Kerberos进行集群之间的复制。

·        确保 HDFS用户是Isilon系统中的超级用户。如果在创建复制计划时使用“ 运行方式”选项指定备用用户,那么这些用户也必须是超级用户。

·        Cloudera建议您使用Isilon 根用户进行复制作业。(指定根在创建复制计划时的“运行方式”字段中。)

·        创建复制计划时选择跳过校验和检查属性。

·        使用Isilon存储的群集不支持​​快照​​。快照用于确保在源文件被修改的情况下的复制期间的数据一致性。因此,当从Isilon集群复制时,Cloudera建议您不要复制在复制完成之前可以修改的Hive表或HDFS文件。

请参阅​​使用CDH与Isilon存储​​。

支持虚拟化和云平台配置

本节列出了用于部署Cloudera软件的支持的云和虚拟化平台。链接的参考架构不是上述支持语句的替代,而是辅助部署和调整大小选项的指南。

亚马逊网络服务

有关在Amazon WebServices(AWS)云基础架构上部署Cloudera软件的信息,请参阅​​用于AWS部署​​​的​​ClouderaEnterprise参考体系结构​​。

Google云端平台

有关在Google CloudPlatform基础架构上部署Cloudera软件的信息,请参阅​​ClouderaEnterprise Reference Architecture for Google Cloud Platform Deployments​​。

Microsoft Azure

有关在MicrosoftAzure云基础架构上部署Cloudera软件的信息,请参阅​​Azure部署​​​的​​Cloudera企业参考体系结构​​。

Microsoft Azure中CDH和Cloudera Manager的支持限制

·        虚拟机必须使用Cloudera发布的CentOS 6.x / 7.x OS映像或Red Hat发布的6.x / 7.x映像。Red Hat映像必须包含Cloudera Director GitHub存储库中的​​AzureBootstrap Scripts文件夹​​中指定的引导配置。

·        群集必须使用ClouderaDirector(即Microsoft Azure Marketplace中的​​ClouderaEnterprise Data Hub)​​​进行部署,也可以使用Azure QuickStart GitHub资源库中的​​Clouderaon CentOS​​ Azure资源管理器模板进行定制。

·        主节点服务必须使用 AzurePremium Storage Disks进行永久存储。

·        VM本地​​临时磁盘​​ 不得用于HDFS,Kudu或其他服务的任何持久数据。

·        ​​MicrosoftAzure存储 -块Blob​​(以前称为Windows Azure存储Blob,通过wasb:// URI访问)仅支持使用Hadoop的DistCP进行备份。不支持直接针对Azure Storage block blob运行其他服务。

VMware的

有关在基于VMware的基础架构上部署Cloudera软件的信息,请参阅​​在VMware上进行部署​​​的​​参考架构​​。

在当前版本中部署在VMware上时的建议:

·        使用已在​​HADOOP-8468中​​实现的部分Hadoop虚拟扩展。当主机两个或多个DataNodes的物理节点关闭时,这将防止数据丢失。