本篇文章主要讲述安装Cloudera Manager和CDH前的准备工作。
原创
2023-01-05 15:44:51
1277阅读
hadoop实操
转载
2021-07-27 12:09:59
765阅读
公众号"Hadoop足迹"作者：罗康1 文档编写目的本文主要讲述安装部署CDH集群的前置准备工作以及个人的一些理解。安装部署CDH集群的前置准备通常包括以下步骤：1. 安装操作系统并配置IP地址2. 更改主机名及hosts文件3. 关闭防火墙4. 关闭SELinux5. 配置操作系统的Repo源6. 配置时钟同步7. 安装数据库并初始化8. 安装My
转载
2022-09-27 09:25:09
128阅读
CDH 安装市场上免费大数据框架主要有三个版本，原生的 Apache 版本，Cloudera(https://www.cloudera.com/) 公司研发的（Cloudera Distribution Hadoop，简称“CDH”）CDH 版本，也是市场上使用最多的，Hortonworks 版本（Hortonworks Data Platform，简称“HDP”）cm-cloudera mana
目录 一、简介：二、安装装备二、开始安装三、添加和启动spark2服务一、简介：在我的CDH5.16集群中，默认安装的spark是1.6版本，这里需要将其升级为spark2.x版本。经查阅官方文档，发现spark1.6和2.x是可以并行安装的，也就是说可以不用删除默认的1.6版本，可以直接安装2.x版本，它们各自用的端口也是不一样的。我尝试了安装spark2.0版本和spark2.1版本
【一】Cloudera Manager 安装 一\\系统环境准备(三台机器server1,
原创
2022-11-07 08:36:45
590阅读
点赞
登录CM1、版本选择免费版本的CM5已经去除50个节点数量的限制。 各个Agent节点正常启动后，可以在当前管理的主机列表中看到对应的节点。选择要安装的节点，点继续。 接下来，出现以下包名，说明本地Parcel包配置无误，直接点继续就可以了。 点击，继续，如果配置本地Parcel包无误，那么下图中的已下载，应该是瞬间就完成了，然后就是耐心等待分
转载
2023-09-04 19:40:36
82阅读
1.1 CM简介1.1.1 CM简介Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具，使得安装集群从几天的时间缩短在几个小时内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。1.1.2 CM架构1.2 环境准备1.2.1 虚拟机准备克隆三台虚拟机（hadoop102、hadoop103、hadoop104），配置好对应主机的网络IP、主
第 1 章. NTP服务器安装及客户机配置配置之前要确定时间和现实时间一致，手动配置时间命令sudo date -s "2018-04-18 14:50:02"配置时区如果已有NTP服务器，则使用已有NTP服务器，不使用集群内部重新搭建的NTP服务器。已有NTP服务器地址为：10.131.11.48，端口为123。lsof -i:123(端口号) 查看该端口下面对
转载
2023-09-20 21:34:59
81阅读
目录目录第1章 配置环境1.1.准备阶段1.1.1.服务器1.1.2.操作系统1.2.安装配置1.2.1.安装操作系统1.2.2.配置操作系统1.2.3.安装Oracle JDK （所有节点）1.2.4.配置SSH免密1.2.5.安装配置mysql1.2.6. NTP时间同步第2章 安装CDH2.1.安装配置Cloudera Manager2.2.安装配置CDH2.3 CDH的组件升级前
转载
2023-07-04 22:39:54
84阅读
登录CM1、版本选择免费版本的CM5已经去除50个节点数量的限制。 各个Agent节点正常启动后，可以在当前管理的主机列表中看到对应的节点。选择要安装的节点，点继续。 接下来，出现以下包名，说明本地Parcel包配置无误，直接点继续就可以了。 点击，继续，如果配置本地Parcel包无误，那么下图中的已下载，应该是瞬间就完成了，然后就是耐心等待分
转载
2023-05-19 16:42:21
102阅读
前几天终于把Cloudera 5.1配置好了，配置完的第一感受就是干什么都要仔细，说实话，在这里面确实遇到了很多自己不知道的问题，自己可能对Linux一些配置还是不熟吧，为了避免新手以后在安装Cloudera遇到不必要的问题，所以我打算写这篇博客，让新手少走一些弯路。 &nb
转载
2023-10-12 10:57:40
42阅读
文章目录1. 配置主机名2. 时间同步3. ssh免密登录4. 关闭防火墙5. 禁用SELinux6. 安装Java环境7. 元数据库安装卸载mariadb安装MySQL8. 安装 Cloudera Manager9. 启动CM相关服务10. Web端操作 在云计算时代，可能很多公司为了成本的考虑，会采用第三方厂商提供的大数据集群，比如阿里的Maxcompute、华为的FusionInsigh
转载
2023-07-04 14:16:16
254阅读
一、安装包下载链接：https://pan.baidu.com/s/1G6V9u5PDyxlixZ2PwGWdJA
提取码：q8mb注：以上安装包是一个zip包，内包含安装CDH6.1所有的包，下载后解压即可二、上传安装包到master节点注意：这里的安装目录最好以本文为主，这样后面的指令直接可以粘贴复制即可，不用修改1、在root目录下新建cloudera目录，并将下载的安装包放于里面指令：#
1 CDH 安装impala 1.1 直接选择 cluster, 服务添加服务即可。 1.2 安装时，注意组件impalad 基本同datanode一致。 而 catalogd, statestored不限。 2 组件2.1 Impala Daemon impalad是Imp
1.基础环境准备1.1创建一个新的虚拟机1.2安装虚拟机，设置ROOT密码并创建用户名为cdh的用户。 1.3修改配置文件 1.4测试是否可以联网 1.5安装常用命令 1.6关闭防火墙 1.7复制两台虚拟机并修改名称 1.8生成MAC地址并记录此地址之后取消 1.9启动第二台虚拟机 1.10修改配置文件，修改以下三处内容（MAC地址为之前记录的）。 1.11修改MAC地址与配置文件中一致 1.12
CDH安装步骤0.机器配置我在虚拟机和实际生产中配置CDH均已成功，下面详细谈一下整体的过程。物理网卡12G三台虚拟机【Centos 7系统】，分别是192.168.211.3，192.168.211.4，192.168.211.5物理硬盘100G【由三个虚拟机配置，server3=40G，server4=server5=30G】三台虚拟机的分配内存分别是3G，2G，2G...
原创
2021-07-13 11:45:13
931阅读
安装准备介质准备本文采用parcel包方式安装，需要下载相关的3个文件。parcel包地址：http://archive-primary.cloudera.com/cdh5/parcels/5.3.2/需要下载如下三个文件如果采用rpm方式安装，地址为：http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/5.3.2/系统配置a) 用户创建CDH
一、cm安装 软件下载： 1、cm下载 http://archive.cloudera.com/cm5 下载cm-5.4.1 bin文件 http://archive.clo
原创
2022-08-11 17:09:54
116阅读
CDH安装文档目录 文章目录0、准备1、配置免密码登录2、配置环境变量2.1、配置主机名，安装JDK2.2、安装mysql2.2.1、查看mysql是否安装2.2.2、主节点安装mysql2.4、NTP安装3、CDH Manager包文件文件上传分发4、CDH5的安装配置5、hdfs的高可用配置6、kafka安装7、配置修改8、断电启动异常（重要） 0、准备虚拟机或者实体机，安装CenterOs
转载
2023-08-18 13:21:36
135阅读
