目录组件版本0.CDH介绍1.Linux 虚拟机基础环境1.1 虚拟机环境设置（不改变已生的MAC地址）1.2 虚拟机修改Mac和IP1.3 虚拟机修改对应主机名与域名映射1.4 虚拟机关闭防火墙1.5 SELinux 关闭1.6 虚拟机免密码登录1.7 三台机器时钟同步 & 安装一些依赖包1.8 修改系统参数2. 安装 java3. 安装 mysql4. CM服务安装5. CDH等相关安
转载
2023-07-14 18:30:23
240阅读
一、准备工作$ hostnamectl set-hostname hadoop01
$ hostnamectl set-hostname hadoop02
......
所有机器关闭防火墙
$ systemctl stop firewalld.service
设置Master到其他机器的ssh免密登录
$ ssh-kengen
$ ssh-copy-id hadoop01
$ ssh-copy-i
转载
2023-07-04 14:38:05
87阅读
## 实现Docker CDH5的步骤
为了让新手开发者能够更好地理解和实现Docker CDH5，我将按照以下步骤进行说明：
```mermaid
flowchart TD
A[准备环境] --> B[安装Docker]
B --> C[配置Docker镜像加速]
C --> D[拉取CDH5镜像]
D --> E[创建并启动CDH5容器]
```
###
原创
2023-12-03 14:41:19
60阅读
背景：已有CDH5.13.1，集成CDS 2.3.4(Apache Spark 2.3.4）。1. 环境：操作系统：CentOS7.3CM：CM-5.13.1CDH：CDH5.13.1JDK：1.8.0_151Scala：Scala 2.11.12 2. 集成步骤：2.1 环境准备按照官方文档要求安装好所有的软件：CDH版本CDH 5.9 +CM版本CM 5.11+ 
转载
2023-12-11 21:31:57
59阅读
环境介绍：在我的CDH5.11.1的集群中，默认已经安装的spark是1.6版本，这里需要将其升级为spark2.1版本。经查阅官方文档，发现spark1.6和2.x是可以并行安装的，也就是说可以不用删除默认的1.6版本，可以直接安装2.x版本，它们各自用的端口也是不一样的。我尝试了安装spark2.0版本和spark2.1版本，均告成功。这里做一下安装spark2.1版本的步骤记录。官网发布Cl
转载
2023-08-31 20:58:17
85阅读
环境介绍：
master 192.168.2.18
node1 192.168.2.19
node2 192.168.2.20
CentOS 7.5
Docker 19.03.13
2核+CPU，2GB+内存
报错信息：
1.在k8s_master1上进行初始化时出现以下报错
[root@k8s_master1 ~]# kubeadm init --kubernetes-version=v1.
原创
2021-08-31 13:48:29
1006阅读
环境介绍：master 192.168.2.18node1 192.168.2.19node2 192.168.2.20CentOS 7.5Docker 19.03.132核+CPU，2GB+内存报错信息： 1.在k8s_master1上进行初
原创
2022-01-16 17:53:14
517阅读
文件下载CDH (Cloudera’s Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件，对集群中主机、Hadoop、H
转载
精选
2016-11-30 16:35:51
3648阅读
hive以hadoop集群为基础，提供hdfs的SQL支持；hive一般可以以mysql为元数据存储，默认Derby；hadoop，hive安装自行百度吧；介绍hive的远程访问： 未配置之前使用beeline的话，每次都要为连接输入用户名密码，较为麻烦； 实现目标：在非集群节点上敲beeline命令，直接进入到hive的命令行1，在hive服务的安装节点的hive-site.xml配置文件中
转载
2023-06-30 14:55:17
171阅读
前言：无论是CM或者CDH使用的过程中，学习研究CDH使用、CDH升级、CM升级等等原因而考虑卸载CM、CDH，本教程使用于基于CM安装的CDH的卸载。当然，如果CDH采用独立安装方式安装，在删除对应目录时，更改相应目录即可，主要分为CM卸载和CDH卸载两部分，理论上使用于CDH4和CDH5的卸载（新版本如有更改则不适用）。一、卸载CM：（CM主机执行）1、移除所有服务 &
原创
2015-05-22 15:54:02
2823阅读
前言 基于前面的搭建，就会发现三台容器都是发布到一台物理机上，在一台物理机上实现了CDH集群的效果，这拿来测试还行，当时实际环境下，资源是远远不够用的。 接下来，将基于前面的的步骤，使用安装包搭建完全分布式的CDH集群，在多个物理机上时间CDH集群的搭建。 跨服务容器之间的通讯问题是搭建完全
转载
2023-07-04 09:50:09
243阅读
1. 相关目录 /var/log/cloudera-scm-installer : 安装日志目录。
/var/log/* : 相关日志文件（相关服务的及CM的）。
/usr/share/cmf/ : 程序安装目录。
/usr/lib64/cmf/ : Agent程序代码。
/var/lib/cloudera-scm-server-db/data : 内嵌数据库目录。
/usr/bin/p
http://blog.csdn.net/yhl27/article/details/37726639
转载
2017-11-07 13:32:30
635阅读
昨天晚上刚刚配置好了3台主机的集群，想着把集群的配置过程详细的记录下来，以备不时之需，就顺便把cdh-Hadoop伪分布式安装教程也详细记录下来。在没有深入接触大数据之前，我也不知道cdh和Apache的Hadoop有什么区别。但是随着不断的深入，慢慢的了解到cdh的好处，cdh版本的Hadoop会帮我们编译好Hadoop。例如当我们学习到hive，flume，sqoop……时，如果用的是Apac
转载
2024-10-12 11:35:56
16阅读
文章目录版本查看命令创建主题查看有哪些主题查看某个主题的描述生产和消费压测1、创建单分区单副本主题2、写测试3、读测试配置最大Java堆大小日志数据存储路径默认副本数日志保留策略接受消息的大小其它 版本查看在页面查看：点击具有Kafka服务的主机，然后点击组件在服务器查看 如图2.11是Scala版本，2.2.1是Kafka版本 如果不知道CDH装哪，就把/opt/cloudera换成/find
转载
2024-05-22 10:16:09
170阅读
1.文档编写目的Cloudera于2018年8月30日正式发布CDH6.0.0，至2019年2月19日，最新的迭代版本为CDH6.1.1，可能马上就会发布CDH6.2。CDH6是基于Hadoop3同时包含大量其他组件的大版本更新的发布版本，许多用户考虑到未来CDH的版本主要是基于C6，而CDH5会慢慢的停止更新，所以考虑新搭集群使用CDH6，或者想把已有的CDH5集群升级到CDH6。第一个问题就是
原创
2021-06-02 09:30:30
1541阅读
原文：https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#os510CDH 5和Cloudera Manager 5要求和支持的版本在企业数据中心中，Cloudera Manager和CDH与Apache Accumulo，Apache Impala（
翻译
2022-11-03 14:51:05
883阅读
