北京小辉的博客_【大数据】CDH管理及优化

大数据系列的默认端口（hbase，hadoop，hived等）

组件Daemon端口配置说明HDFSDataNode50010dfs.datanode.add

hadoop

hive

hbase

zookeeper

服务端

原创 2022-12-28 15:18:02 197 阅读

CDH--HDFS和Yarn存储不足

备注：最近公司CDH集群中的某个DataNode存储一直报警，分析如下：1）一个集群有多个DataNode2）一个DataNode的数

解决方法

重启

服务器

原创 2022-12-28 15:17:26 175 阅读

CDH问题及维护汇总

目录：一、HIVE错误二、HDFS错误三、oozie错误四、Kafka错误五、Hbase错误六、Yarn和CM错误七、维护及添加服务八、其他错

CDH

CDH维护

java

kafka

hadoop

原创精选 2022-12-28 15:16:45 2126 阅读

CDH5.14安装指南和维护(亲自搭建好多次)

目录：1、安装文件准备2、系统环境准备3、cloudera manager 调优4、Cloudera Manager安装5、CDH安装6、常用工具地址7、一些常见

CDH5.14安装

CDH

CDH维护

cloudera

hadoop

原创 2022-12-28 15:16:18 1286 阅读

CDH5.14定期清理指南

目录：1、将HDFS备份数降低2、删除无用HDFS数据和Hbase表格3、设置kafk

优化

hdfs

HDFS

kafka

原创 2022-12-28 15:15:04 769 阅读

CDH5.14 Impala的静态资源和动态资源设置

目录1、静态资源和动态资源说明2、静态资源设置3、使用准入控制4、设置每个查询的内存限制5、创建动态资

hive

Max

Memory

原创 2022-12-28 15:12:11 1293 阅读

CDH集群迁移

目录一：集群搭建二：hdfs数据迁移三：kafka节点添加四：hbase数据迁移——————————————————————

hbase

集群

迁移

cloudera

数据迁移

原创 2022-12-28 15:04:19 871 阅读

CDH启动和日志和组件lib包路径查看

目录：cdh集群启动cdh集群Linux日志查看集群管理界面日志查看组件lib包路径cdh集群启动**备注：**公司CDH集群为CDH-5.7.1版本1）登录Master机器CDH-5.14.0的版本执行命令：/etc/init.d/cloudera-scm-server startCDH-5.7.1的版本执行命令：/opt/cm-5.7.1/etc/init.d/cloudera-scm-ser

cloudera

集群管理

微信公众号

原创 2022-12-28 15:03:58 275 阅读

CDH邮件报警配置(亲测)

cloudera manager提供邮箱警告功能，方便管理员在集群出现问题的第一时间维护集群

cloudera

搜索

微信公众号

原创 2022-12-28 14:59:41 420 阅读

CDH5.14.4离线安装Spark2.2.0详细步骤

目录一、简介：二、安装准备三、开始安装一、简介：在我的CDH5.14.4集群中，默csd包：http...

Spark2.1安装

spark

cloudera

java

原创 2022-12-28 14:59:23 210 阅读

kakfa的维护：Brock停止

错误1：kakfa的Brock停止org.apache.spark.SparkException: Couldn’t find leader offsets for Set()原因：1、TopicName复制数Replication为1；2、TopicName的Partitions一部分落在Brock上面，而这个Brock没有复制数，导致Partitions丢失北京小辉微信公众号大数据资料分

资料分享

微信公众号

apache

原创 2022-12-28 14:59:18 144 阅读

CDH5.14.4之HDFS-Hbase-Yarn的高可用配置

需求：CDH5.14.4需要将HDFS、Hbase、Yarn做一个高可用设置HDFS高可用配置前提

CDH管理

HDFS的高可用

Hbase的高可用

Yarn的高可用

高可用

原创 2022-12-28 14:59:17 161 阅读

kakfa的维护：CDH的kafka及kafka manager安装

CDH的kafka安装第一步下载，分配，激活parcel第二步每台机器broker设置【broker.id】，第一行是路径，第二行

CDH

Kafka

kafkamanager

kafka

github

原创 2022-12-28 14:58:34 493 阅读

CDH动态资源池--yarn资源的任务队列

需求：1、让不同的application任务，在不同的队列中运行任务2、这些队列是并行执行的，相互不干扰目录：1、队列的配置2、队列运行命令3、队列运行展现1、队列的配置2、队列运行命令--queue root.streaming3、队列运行展现北京小辉微信公众号大数据资料分享请关注

yarn

应用

需求

资料分享

微信公众号

原创 2022-12-28 14:57:42 332 阅读

HDFS 的Trash回收站功能的配置、使用

文件的删除和恢复和Linux系统的回收站设计一样，HDFS会为每一个用户创建一个回收站目录：/user/用户名/.Trash/，每一个被用户通过Shell删除的文件/目录，在系统回收站中都一个周期，也就是当系统回收站中的文件/目录在一段时间之后没有被用户回复的话，HDFS就会自动的把这个文件/目录彻底删除，之后，用户就永远也找不回这个文件/目录

hdfs

hadoop

HDFS

原创 2022-12-28 14:57:27 1584 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

北京小辉的博客