大数据基础支撑平台应用软件

Eacyun Data Platform

Eacyun Data Platform产品架构


映云大数据平台由Apache Hadoop、Elastic Search、Spark、Storm、DataX和Manager管理服务构成。

Eacyun Data Platform(EDP)企业级一站式大数据综合平台

基于分布式存储、分布式计算、交互式查询、系统容灾等技术构建的集数据存储、分析计算、数据可视化、资源管理、安全管控等于一体，提供了图形化的管理界面、系统安装、集群配置，安全访问控制、监控及预警等全方面服务，并对外提供标准化访问接口的一站式大数据综合平台。

1.系统平台和管理组件

●Eacyun Base System

为大数据应用量身定做的云操作系统。支持对EDP的一键式部署，同时其他服务和大数据服务共享集群资源，从而提供集群CPU、内存、存储、网络资源的利用率。

●Eacyun Manager

Manager负责安装、配置、管理、运维集群的图形化工具，同时提供安全管控服务。Manager提供预警、监控和健康度检测服务。用户可以轻松查看各服务状态，并且当有预警信息及告警信息出现后及时采取应对措施。同时Manager还集成了软件栈升级等服务。


●Apache Hadoop及其他组件

基于Apache Hadoop 2.7.1开发，以HDFS为文件系统,以YARN为资源管理平台。对其各组件和Spark、Storm、ElasticSearch性能和安全性都进行了优化，提升了稳定性，从而提供了24小时不间断服务。

2.核心数据产品

●实时流处理引擎

结合SparkStreaming和Storm，并做了大量优化，提供实时计算的产品。为复杂事件处理和复杂实时计算业务提供稳定、可靠的支持。

●分布式数据库

以Apache Hbase为基础，优化性能并融合了MongoDB数据库。支持全局索引和次级索引,实现高速的非主键查询，并提供原生的JSON/BSON格式支持。

●企业级数据仓库

用于批处理及分析的数据库，对SQL标准有很好的支持。比Apache Hadoop处理速度处理效率更高，拥有更好的大数据分析性能。

●搜索引擎

基于ElasticSearch，用于构建企业业务全文搜索引擎。它能够在海量数据上实现低延迟的搜索功能，内置支持近实时搜索和多租户，为客户构建自己的搜索业务提供高效的工具。

●数据挖掘及机器学习套件

分布式机器学习平台，提供丰富的机器学习算法库。提供了多语言支持，R、Python以及SQL接口，帮助算法工程师和数据科学家构建自己的数据挖掘算法和数据模型。通过Zepplin可以实现交互式数据分析，高效支持数据挖掘算法的开发和数据模型的建立。

●深度学习

融合Spark Deep Learning和Tensorflow的深度学习框架，帮组数据科学家和算法工程师构建卷积神经网络(CNN)、循环神经网络(RNN)、深度神经网络(DNN)。

●数据可视化

融合Echarts和D3.js，提供一套丰富的拖拽式的图表控件。帮助用户打造自己专属的数据可视化服务。通过与其他产品的结合，高效构建数据分析和数据挖掘应用。

- Eacyun Data Platform产品功能 -

- 大数据集群一键式部署和统一管理

-大数据组件的全生命周期管理

-支持丰富的存储类型，具备海量存储能力

-提供丰富的数据挖掘算法库

- 提供离线处理、实时处理引擎

- 提供数据备份恢复模块

- 具备日志审计功能

- 提供数据安全模块

- 提供标准化访问接口

- 客户收益 -

- 让用户只关注业务开发。

- 快速部署、集中配置、统一管理。

- 丰富的数据挖掘算法库、灵活的分析模板。

-高效、稳定、安全的处理引擎。

-强大的数据容灾机制和备份机制。

-高可扩展性，用户可以通过增加集群节点数量,线性提 高系统的处理能力。