CAP理论是在分布式集群环境下讨论的，为什么分布式集群环境下会存在CAP问题呢？举个例子，假设我们后端存储服务使用Redis中间件，如果只部署一台Redis服务器，那么这台Redis如果挂了，整个存储服务都挂了，那么我们就想要提高它的可用性，怎么办呢？最简单的方法就是加机器：可用性：简单来说就是通过搭建集群来防止单机部署服务出现
转载
2024-08-13 12:31:58
54阅读
转自：http://blog.51cto.com/teacheryan/1912116 本文介绍如何搭建cloudera manager去接入已有hadoop组件（cdh）。一、下载必备文件：1.cloudera manager：http://archive-primary.cloudera.com/cm5/cm/5/大部分公司内大数据集群环境都无公网访问权限，针对当前集群系统环境和想要
写在前面上一篇，我们从零开始搭建好了ClouderaManager的安装环境。 接下来，我们开始安装大数据生态组件，并对CDH的一些告警进行调试。一、创建集群并安装HDFS服务安装步骤： 选择功能授权版本 ->> 创建集群 ->> 为集群添加服务1. 版本选择1.1 使用默认用户名密码登录CM用户名：admin
密码：admin1.2 登录成功来到环境界面-继续1.3 接受
转载
2023-10-10 15:16:14
235阅读
# CDH集成Redis
## 1. 介绍
在大数据应用中，缓存是必不可少的一环，而Redis作为一款高性能的内存缓存数据库，被广泛应用于各种场景中。本文将介绍如何在CDH集群中集成Redis，以提高数据处理的效率和性能。
## 2. Redis简介
Redis是一个开源的内存数据库，数据存储在内存中，读写速度非常快。它支持多种数据结构，如字符串、列表、集合、哈希表等，同时具有丰富的指令集
原创
2024-05-08 07:54:49
40阅读
一、软件介绍1、CDH 概览CDH（Cloudera Distribution of Apache Hadoop） 是 Apache Hadoop 和相关项目中最完整、经过测试和流行的发行版。CDH 提供 Hadoop 的核心元素，可伸缩存储和可扩展分布式计算，以及基于 web 的用户界面和关键的企业功能。CDH 是 apache 授权的开放源码，是惟一提供统一批处理、交互式 SQL 和交互式搜索
转载
2024-01-04 23:32:53
65阅读
首先声明，这篇博文相对比较长，大约需要10 min1、阿里云官网登录，购买ecs云服务器 www.aliyun.com/ 如果你是新用户，需要注册，之后充值100购买ecs服务器我们可以看到公网和内网IP，将公网IP配置笔记本上的hosts文件，地址自己去找吧，这里不说了，我配置后的结果：这里顺便说下停止ecs服务器 2、配
转载
2024-01-04 23:33:56
119阅读
安装前的准备工作配置主机名、hosts、开启PermitRootLogin、设置密码 、做免密 、java环境变量、时间同步安装过程概述（Ubuntu18.04安装）(centos7离线安装参考)http://ro-bucharest-repo.bigstepcloud.com/cloudera-repos/cm6/redhat/7/x86_64/cm/6.2.0/RPMS/x86_64/(免费的
转载
2024-05-12 18:09:44
164阅读
CDH集群安装步骤参考文章安装前准备配置网络名称禁用防火墙设置SELinux模式启用NTP服务配置集群ssh免密登录安装安装jdk安装服务和配置TLS安装服务配置TLS安装并配置MySQL安装MySQL配置MySQL初始化数据库，启动服务初始化数据库启动服务 主要记录CDH安装过程，以及遇到的问题和解决方案。 未完待续 参考文章官网：https://docs.cloudera.com/docu
转载
2024-08-22 20:04:27
55阅读
文章目录CDH 6.3.2集群安装部署一 CDH概要1.1 CDH的背景1.2 CDH介绍二 环境准备2.1 安装部署环境2.2 部署规划2.3 服务器主机映射2.4 服务器免登录配置2.5 防火墙关闭2.6 关闭Selinux2.7 设置最大打开文件2.8 关闭最大透明页面压缩2.9 设置Swappiness空间2.10 安装JDK2.11 MySQL安装部署2.11.1 MySQL5.7.2
转载
2024-04-25 16:09:18
199阅读
目录一、编译Flink1 下载flink源码2 增加maven镜像3 执行编译命令二、编译parcel1 下载flink-parcel2 修改参数3 复制安装包4 编译parcel5 编译csd6 上传文件三、CDH集成1 登录CDH2 进入Parcel操作界面3 分配Parcel4 激活Parcel5 回主界面6 添加服务问题1报错解决问题2报错解决参考资料 版本： Centos7.6 JDK
搭建要求： 1.CDH环境已经搭建成功，在CDH上搭建kafka。要求用CDH上zookeeper管理kafka而不用kafka自带的zookeeper 2.kafka_2.11-0.8.2.1.tgz已经上传到kafka集群环境中 搭建步骤 1. 主机操作 改动hosts 10.10.0.11 s
转载
2017-05-10 18:44:00
221阅读
2评论
## Redis集成到CDH
### 介绍
Redis是一个开源的内存数据库，它提供了高性能、高可靠性和可扩展性的数据存储解决方案。它被广泛用于缓存、会话管理、消息队列等场景。
Cloudera Distribution of Hadoop (CDH) 是一个基于 Apache Hadoop 的大数据平台，它提供了各种组件和工具来处理和分析大规模数据。CDH可以集成多种数据存储和处理引擎，包
原创
2024-01-02 05:14:06
33阅读
实验背景笔者需要维护线上的hadoop集群环境，考虑在本地搭建一套类似的hadoop集群，便于维护与管理。Cloudera 简介经过搜索发现Cloudera产品很适合笔者当前需求，于是开始研究Cloudera（CDH）的安装与使用，参考：Cloudera 官网：https://www.cloudera.com
Cloudera 官方文档： https://www.cloudera.com/docu
Centos7+CDH5.7.2集群搭建欢迎使用Markdown编辑器一、前期准备1、虚拟机配置（本例为3节点）2、软件资源3、集群的规划二、开始安装前配置和预装软件1、服务器配置1.1 设置本地虚拟机网络的连接模式及网关1.2 节点的IP配置1.3 hostname修改1.4．关闭防火墙1.5 selinux关闭1.6 免密登录配置1.7 ip和主机名映射关系1.8 NTP服务器设置(可选，节
转载
2024-05-14 20:29:13
129阅读
1、 redis源码介绍在（3）中详细介绍了redis的几种持久化模式，接下来就在redis的源码中介绍，其持久化的实现方式。 在详细介绍其代码之前先简单介绍一下redis源码的目录结构。在官网下载的文件解压后可以得到以下目录：源码在src目录中，其内容如下：文件很多，有一百多个，其中与持久化相关的有server.c、aof.c、rdb.c等等。2、 RDB源码代码入口从之前的分析可以知道redi
转载
2024-10-19 20:25:25
11阅读
序言本文集群搭建为三台机器，cdh版本为5.13.0，以下是安装过程中所用到的软件包等，可以自行下载。一、前期准备1.安装环境 系统：centos7.5/最小安装版本/64位 内存：主节点 --> 32G/从节点 --> 16G三台机器组成小集群（物理机）
cdh01cdh02cdh03需要下载的安装包
cloudera-manager-
转载
2024-05-14 21:14:24
417阅读
CDH 5.16.1集群环境搭建集群节点192.168.10.1 hadoop01 235G+4T192.168.10.2 hadoop02 235G+4T192.168.10.3 hadoop03 235G+4T192.168.10.4 hadoop04 235G+4T集群节点初始化1.配置节点hosts192.168.10.1 hadoop01.office.gdapi.net h
转载
2024-08-17 16:09:40
119阅读
Hadoop是一个复杂的系统组合，搭建一个用于生产的Hadoop环境是一件非常麻烦的事情。但这个世界上总有一些牛人会帮你解决一些看似痛苦的问题，如果现在没有，那也是早晚的事。CDH是Cloudera旗下的Hadoop套装环境，CDH的相关介绍请各位亲自己查阅www.cloudera.com，我就不再多说了。这里主要是介绍使用CDH5.3安装一个可以用于生产的Hadoop环境。虽然人家Clouder
转载
2024-03-29 07:07:37
20阅读
CDH4.1.2 CDH 是Cloudera 完全开源的Hadoop 分布式系统架构，为了满足企业的需求而特别构建的系统。即一个开源的企业级分布式存储系统。全称：Cloudera Hadoop。它是在Apache Hadoop基础上打入了很多patch。使之性能更好，更加满足生产环境。CDH4.1.2使用的是apache 的hadoop 2.0版本，与之前的稳定的hadoop-1.x相比，Apa
转载
2023-12-07 15:34:44
73阅读
cdh集群安装1、 配置主机 vim/etc/hosts (hadoop1,hadoop2,hadoop3)代表在3台机器执行操作192.168.157.128hadoop1192.168.157.129hadoop2192.168.157.130 hadoop32、 关闭防火墙 (所有机器)chkconfig iptables off3、 
转载
2024-03-18 15:23:42
48阅读
