文章目录问题场景问题环境问题原因确定重启命令尝试连接页面确定环境查看日志解决方案数据库配置文件是否正常权限是否赋权正常总结随缘求赞转发关注三连 问题场景因为园区突发断电，导致服务器断电。部署在服务器上面的CDH集群都挂了。现在需要重新启动起来，但是重启之后，服务一直启动不起来。本篇博文主要是针对这种情况，阐述解决问题的思路和问题解决的过程。问题环境软件版本Centos7CDH5.15.1问题原因
转载
2023-12-21 02:42:34
65阅读
CDH环境介绍：Cloudera Manager是为了简化hadoop及其组件的部署，但是由于包含的组件较多，对内存要求也比较大。所以我们尽量要保持主节点master和副节点足够的内存和磁盘空间，否则会出现一些无法预估的错误。官方推荐配置主节点 内存10G以上 磁盘30G 副节点 内存4G以上 磁盘30
转载
2023-12-21 13:11:23
81阅读
基于以下环境提供参考值： 5台内存32G、cpu8核的服务器，操作系统为centos6.8 总内存： 160G 总核数： 40核 不同的环境可以根据自己环境的总内存以及总内核和这个参考值得出系数,那么：值= 推荐值 X 系数hdfs参数解释值NameNode 的 Java 堆栈大小Java 进程堆栈内存的最大大小,改Java进程主要是：维护整个系统的的文件目录树，维护文件/目录的信息和每个文
转载
2023-11-25 22:08:49
89阅读
注意：
1)n5为Cloudera Server
2)n5、n6、n7为Cloudera Agent
3)首先先分配内存，总共电脑一般超过10G
4)即使输入Cloudera Server启动命令后，真正启动可能需要12分钟及以上
5)开启Cloudera服务前，需开启mysql(命令：service mysqld start)n5
1.网络配置：/etc/sysconfig/networ
转载
2024-05-09 12:00:51
51阅读
impala 基于内存计算。 spark不绝对基于内存计算，可以配置为完全基于内存计算。
CDH :
整合技术，依赖版本。部署和管理，日志分析和健康检查 搭建CDH环境 三台虚拟机
宿主机window操作
转载
2023-07-16 21:12:56
14阅读
一.搭建之前的准备1.需要用到的工具包Cm 下载https://archive.cloudera.com/cm5/cm/5/CDH 下载http://archive.cloudera.com/cdh5/parcels/5.14.4/ Mysql : 参考我的博客 离线安装Mysql2.搭建环境安装包版本 :linux : centos7 mysql : 5.7 jdk : 1.8 CDH : 5.
转载
2023-12-18 23:37:20
88阅读
一、系统centOS7以上，至少三台主机 添加ip 主机名映射关系：（每台主机都要做）vim /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localho
转载
2024-07-30 16:12:34
36阅读
序言本文集群搭建为三台机器，cdh版本为5.13.0，以下是安装过程中所用到的软件包等，可以自行下载。一、前期准备1.安装环境 系统：centos7.5/最小安装版本/64位 内存：主节点 --> 32G/从节点 --> 16G三台机器组成小集群（物理机）
cdh01cdh02cdh03需要下载的安装包
cloudera-manager-centos7-
转载
2023-07-04 14:32:27
186阅读
1、主机准备这里以三节点为例；准备三台环境纯净的centos7主机， 要可以正常连接yum源, root用户操作；随便安装一个包，测试一下yum:yum -y install lrzsz 主机情况：2核 4G，硬盘40G；这个配置其实太小，单节点内存尽量要给到8G以上比较好；主机资源看个人情况，我这里是因为我的电脑一共才16G内存，用的VMware虚拟机； 2、更改三台主机的h
转载
2024-03-13 21:32:49
64阅读
环境篇：CDH优化篇为什么出这篇文章？近期有很多公司开始引入大数据，由于各方资源有限，并不能合理分配服务器资源，和服务器选型，小叶这里将工作中的总结出来，给新入行的小伙伴带个方向，以下会将企业级测试环境和线上环境的基础方案给出，不敢说一定对，但是本人亲自测试，发现集群使用率稳定提高了3分之1，最高可达到2分之1，有不对的地方欢迎留言指出。注：可能有些服务没有设计，使用到的小伙伴可以参照这种方式去规
转载
2023-09-09 18:33:54
286阅读
一、hadoop yarn 简介Apache YARN (Yet Another Resource Negotiator) 是 hadoop 2.0 引入的集群资源管理系统。用户可以将各种服务框架部署在 YARN 上，由 YARN 进行统一地管理和资源分配。 二、YARN架构 1. ResourceManagerResourceManager 通常在独立的机器上以后台进程的
0.绪论之前完全没有接触过大数据相关的东西，都是书上啊，媒体上各种吹嘘啊，我对大数据，集群啊，分布式计算等等概念真是高山仰止，充满了仰望之情，觉得这些东西是这样的：当我搭建的过程中，发现这些东西是这样的：对于初学者来说，我认为缺点如下：1.需要控制，配置的东西太多，并且配置对应并不是很清晰（以后优化集群是否会有很高含金量？）2.整个集群，我觉的从硬件到软件整体来说还是稳定性有待提高，尤其CDH
最近新购了一台工作站，急切的想试一下手，就搭建个CDH集群吧，练练手，顺便了解一下最新版的CDH长成什么样子了…… 工作站的配置：Thinkpad P50，Intel（R）Xeon E3 1505M v5@2.80GHz 2.81GHz ;内存48G;显卡4G……1 下载CDH各种RPM包1.1 下载cloudera-manager-installer.bin这个地址可以选择最新的CM的安装文件
转载
2024-07-19 10:42:40
58阅读
CDH6集群的搭建1、虚拟机和组件的获取和选择1.1、虚拟机1.2、版本选择1.3 、架包下载2、配置基础环境2.1、虚拟机IP配置2.2、配置hostname2.3、配置hosts2.4、禁用防火墙2.5、卸载mariadb数据库2.6、禁用SELinux功能2.7、安装第三方依赖2.8、配置ssh免密登陆2.9、配置时间同步2.9.1、server服务器配置2.9.1、client服务器配置
转载
2024-01-04 19:57:08
19阅读
一、搭建环境1.云服务器硬件服务器名称内网IPCPU内存硬盘nn172.30.128.212CPU2核内存16G硬盘40Gsnn172.30.128.213CPU2核内存16G硬盘40Gdn1172.30.128.211CPU1核内存4G硬盘40Gdn2172.30.128.214CPU1核内存4G硬盘40Gdn3172.30.128.215CPU1核内存4G硬盘40G2.软件环境 所有服务器系统
转载
2024-01-04 23:38:19
123阅读
本案例基于centos6.5安装CDH5.8.2分布式集群环境，都是在root用户下进行操作。到官网下载相应的安装包与校验文件集群环境：192.168.168.124 master；192.168.168.125 slaver1；192.168.168.126 slaver2一、准备工作1、卸载原jdk并安装jdk1.7.0_45，然后配置环境变量2
转载
2023-07-04 14:14:20
195阅读
CDH集群服务器：192.168.195.128（cdh1），192.168.195.133（cdh2），192.168.195.131（cdh3）操作系统：CentOS6.5 x64(32位最高只能支持8G内存)Cloudera Manager：5.11.2CDH: 5.11.2主节点至少分配8G内存. 采用parcel离线安装方式,而且重装什么的都非常方便。后期的集群统一包升级也非常
转载
2024-01-10 15:45:26
137阅读
说在前面的话：本文适合电脑内存16G以上的，安装的是纯正的CDH，不是三个节点的，纯正四节点。建议配置主节点3G内存，从节点1.5G内存，硬盘大小建议单节点配置20G以上，CDH版本比apache吃内存和硬盘，请准备好再安装如果你是新手学习，强烈！建议不要瞎改瞎命名，因为后面都是有关联的。如果跟我的一模一样，完全无脑CV保证安装成功，安装过程中遇到的报错各种问题都在相应的环节有说明，不要慌稍微往后
转载
2023-11-27 16:10:32
132阅读
上一篇，我们从零开始搭建好了ClouderaManager的安装环境。 接下来，我们开始安装大数据生态组件，并对CDH的一些告警进行调试。创建集群并安装HDFS服务 选择功能授权版本 ->> 创建集群 ->>
转载
2024-03-08 19:32:47
347阅读
前言 折腾了一段时间hadoop的部署管理，写下此系列博客记录一下。 为了避免各位做部署这种重复性的劳动，我已经把部署的步骤写成脚本，各位只需要按着本文把脚本执行完，整个环境基本就部署完了。部署的脚本我放在了开源中国的git仓库里()。 本文的所有部署都基于cloudera公司的CDH4,CDH4是cloudera公司包装好的hadoop生态圈一系列yum包，把
转载
2024-08-02 12:08:02
97阅读
