CDP Data Center概述

CDP Data Center是CDP(Cloudera Data Platform)的on-premise版本。这个新产品结合了Cloudera EDH和HDP两者的优点包括新功能或增强功能。该发行版是一个可扩展和可定制的平台,你可以在之上运行多种类型的工作负载。


CDP Data Center支持各种混合解决方案,包括计算和存储分离,并且可以从远程集群访问数据。这种混合方法通过管理存储,表schema,身份认证,授权与治理为容器化应用程序提供了基础。


CDP Data Center由各种组件组成,比如Apache HDFS,Apache Hive 3,Apache HBase和Apache Impala,以及许多其他用于特殊工作负载的组件。你可以选择这些服务的任意组合来创建满足你业务需求和工作负载的集群。Cloudera已经为你预配置好了几个服务包可用于常见的工作负载,包括:

  • Data Engineering

Ingest, transform, and analyze data.


Services: HDFS, YARN, Ranger, Atlas, Hive Metastore, Hive on Tez, Spark, Oozie, Hue, and Data Analytics Studio


  • Data Mart

Browse, query, and explore your data in an interactive way.


Services: HDFS, YARN, Ranger, Atlas, Hive Metastore, Impala, and Hue


  • Operational Database

Real-time insights for modern data-driven business.


Services: HDFS, Ranger, Atlas, and HBase


当安装CDP Data Center集群时,你会安装一个单独的Parcel,称为Cloudera Runtime,它包含了所有的组件,详细组件列表见下图:

Component

Apache  Version

Atlas

2.0.0

Avro

1.8

DAS

1.4

Hadoop

3.1

HBase

2.2

Hive

3.1

Hive  Warehouse Connector

1.0  (Technical Preview)

Hue

4.3

Impala

3.3

Kafka

2.3

Kudu

1.11

Oozie

5.1

ORC

1.5

Ozone

0.4.0  (Technical Preview)

Parquet

1.1

Phoenix

5

Ranger

2

Solr

7.4

Spark

2.4

Sqoop

1.4

Tez

0.9

Zookeeper

3.5.5


注意Ozone已经TP,作为Hadoop的对象存储新产品可以尝鲜试试。


1.1 CDP Data Center工具 - Cloudera Manager

CDP Data Center使用Cloudera Manager来管理一个或多个集群及其配置,并监控集群性能。你还可以使用Cloudera Manager来管理安装,升级,维护工作流,加密,访问控制和数据复制。在未来的版本中,通过CM也能够管理Cloudera企业版CDH集群。同时你还可以使用CM创建虚拟私有集群(Virtual Private cluster),它允许你将计算资源和数据存储分开,并在计算资源之间共享数据存储。


1.2 CDP Data Center工具 - Apache Atlas

CDP Data Center使用Apache Atlas来进行数据治理。Apache Atlas被设计为一个通用的元数据存储,旨在在Hadoop技术栈内外交换元数据。Atlas通过与Apache Ranger的深度集成,可以让你在所有Hadoop组件之间一致的定义,管理安全和合规策略。对于熟悉Cloudera企业版的客户来说,Apache Atlas取代了Cloudera Navigator。


1.3 CDP Data Center工具 - Apache Ranger

CDP Data Center使用Apache Ranger来进行审计,认证和授权功能。Apache Ranger提供了一个集中式框架,用于收集访问审计历史记录,在访问这些历史审计记录时也支持多种参数过滤。Ranger对Hadoop各组件的审计信息进行了增强,并通过统一的访问页面为你提供方便。


Apache Ranger提供Web UI来进行管理访问控制,以确保CDP Data Center各组件能实现一致的安全策略管理。安全管理员可以在数据库,表,列和文件级别定义安全策略,还可以管理基于LDAP的特定组或单个用户的权限。也可以将基于动态条件(例如时间或地理位置)的规则添加到现有策略规则中。Ranger授权模型是可插入的,并且可以使用基于服务的定义轻松扩展到任何数据源。


对于熟悉Cloudera企业版的客户来说,Apache Ranger取代了Sentry,并且还提供以下功能:

1.更好的细粒度访问控制:

  • 动态行过滤
  • 动态列脱敏
  • 基于属性的访问控制
  • SparkSQL细粒度授权


2.丰富的策略功能

  • Allow/Deny constructs,自定义策略条件/上下文增强器,基于时间的策略,Atlas集成(用于基于标签的策略)


3.丰富的事件元数据的访问审计


下载试用CDP Data Center

1.访问试用下载链接,注意你需要注册cloudera.com的账号,并登陆。

https://www.cloudera.com/downloads/cdp-data-center-trial.html


2.点击TRY NOW

0732-Cloudera  Data Center7.0今天正式GA_apache

0732-Cloudera  Data Center7.0今天正式GA_apache_02


3.这时你可以获得CM7与CDH7试用版的地址如下:

https://archive.cloudera.com/cdh7/
https://archive.cloudera.com/cm7/


注意:试用版的有效期为60天