大数据架构 cdh

原创

mob649e815b1a71 2024-10-04 03:39:01 ©著作权

文章标签 cloudera bash MySQL 文章分类 架构后端开发

©著作权归作者所有：来自51CTO博客作者mob649e815b1a71的原创作品，请联系作者获取转载授权，否则将追究法律责任

如何实现大数据架构 CDH：新手指南

在这个数字化时代，大数据技术应用越来越广泛。而 Cloudera 的 CDH (Cloudera Distribution including Apache Hadoop) 是构建大数据处理架构的一个重要工具。本文将为刚入行的小白开发者提供有关如何搭建 CDH 的详细指导，包括步骤、代码和视觉流程图。

CDH 架构搭建流程

步骤	描述
1	环境准备
2	安装 CDH
3	配置集群
4	启动各个服务
5	验证安装
6	部署应用

具体步骤及代码详解

1. 环境准备

在开始安装CDH之前，确保服务器满足以下要求：

操作系统：支持的 Linux 发行版(如 CentOS、Ubuntu)
JDK 版本：1.8 或更高版本

首先，使用以下命令检查 JDK 是否已安装：

java -version

输出 Java 版本信息，如果没有安装，请从 [Oracle网站]( 下载并安装。

2. 安装 CDH

确保你有 Cloudera 的安装包以及一些基本的命令行工具（如 wget、tar 等）。可以使用以下命令下载 CDH：

wget

这条命令通过 wget 工具下载 CDH 6.3.1 的 Cloudera Manager 安装包。

然后，安装 Cloudera Manager Server：

sudo rpm -ivh cloudera-manager-server-6.3.1-1.el7.x86_64.rpm

该命令将 CDH 安装包以 RPM 格式安装。

3. 配置集群

在安装完 CDH 之后，我们需要对集群进行配置。编辑 Cloudera Manager 的配置文件：

sudo vi /etc/cloudera-scm-server/db.properties

在文件中添加数据库连接信息，需要具体的数据库如 MySQL 或 PostgreSQL。

例如，添加以下内容：

# MySQL database connection configuration
# Remember to replace placeholders with actual values
# Use jdbc:mysql://<db_host>:<port>/<dbname> 
# For MySQL connectivity
# If you use PostgreSQL, use jdbc:postgresql://<db_host>:<port>/<dbname>
# db.type=mysql
# db.host=localhost
# db.name=cloudera_manager
# db.user=cloudera_manager
# db.password=cloudera_manager_password

确保保存并关闭文件。

4. 启动各个服务

首先启动 Cloudera Manager Server：

sudo systemctl start cloudera-scm-server

启动 Cloudera Manager 服务。

接着，启动 Cloudera Manager 的 agent 服务：

sudo systemctl start cloudera-scm-agent

启动 agent，用于管理 CDH 资源。

5. 验证安装

在浏览器中访问 Cloudera Manager 的用户界面：

http://<your_server_ip>:7180

输入 admin 用户名和密码（默认 admin/admin）。

这里会让你进行一系列集群配置向导，包括选择 Hadoop 组件等。

6. 部署应用

一旦集群配置完成，可以使用 MapReduce、Hive 或 Spark 等框架搭建分析应用程序。下面是一个简单的 Hive 表创建和数据插入示例：

CREATE TABLE IF NOT EXISTS sample_table (
    id INT,
    name STRING
);

INSERT INTO sample_table VALUES (1, 'Alice'), (2, 'Bob');

以上 SQL 命令创建了一个名为 sample_table 的表并插入了两条记录。

旅行图

journey
    title 夜间大数据云架构构建
    section 环境准备
      准备环境: 5: 5
    section 安装 CDH
      下载 CDH: 5: 5
      安装 CDH: 4: 4
    section 配置集群
      配置数据库: 4: 4
    section 启动各个服务
      启动服务: 5: 5
    section 验证安装
      登录 Cloudera Manager: 5: 5
    section 部署应用
      部署 Hive 应用: 4: 4