测试环境参考方案
1.0 资源：集群服务安排
服务名称
子服务
CM-24G
ZK-Kafka(3台)-12G
DataNode(3台)-64G
NameNode1-16G
NameNode2-16G
Resourcemanager1-16G
Resourcemanager2-16G
hive-hbase-24G
hive-hbase-24G
MySQL
MySQL
√
原创
2021-08-30 19:38:12
738阅读
环境篇：CDH优化篇为什么出这篇文章？近期有很多公司开始引入大数据，由于各方资源有限，并不能合理分配服务器资源，和服务器选型，小叶这里将工作中的总结出来，给新入行的小伙伴带个方向，以下会将企业级测试环境和线上环境的基础方案给出，不敢说一定对，但是本人亲自测试，发现集群使用率稳定提高了3分之1，最高可达到2分之1，有不对的地方欢迎留言指出。注：可能有些服务没有设计，使用到的小伙伴可以参照这种方式去规
# CDH Yarn 优化配置实现方法
## 整体流程
首先，我们需要了解CDH Yarn的优化配置流程，然后按照一定的步骤进行配置。下面是整个流程的步骤表格：
| 步骤 | 操作 |
| ---- | ---- |
| 1 | 修改yarn-site.xml |
| 2 | 修改mapred-site.xml |
| 3 | 重启Yarn服务 |
## 具体操作步骤
### 步骤 1：
1.hive.metastore.warehouse.dirHive 仓库目录是在 HDFS 中存储 Hive 表格的位置。注意此仓库目录的 Hive 默认值为“/user/hive/warehouse”。
2.hive.warehouse.subdir.inherit.perms让表目录继承仓库或数据库目录的权限，替代使用从 dfs umask 派生权限创建。该操作允许通过 Hive 将 Imp
原创
精选
2021-08-03 23:39:39
1191阅读
目录1 测试环境参考方案1.0 资源：集群服务安排1.1 优化：Cloudera Management1.2 优化：Zookeeper1.3 优化：HDFS1.4 优化：YARN + MapReduce1.5 优化：Kafka1.6 优化：HBase1.7 优化：Hive1.8 优化：Oozie、Hue、Solr、Spark2 线上集群参考方案2.0 资源：集群服务安排2.1 优化：Clouder
环境篇：CDH优化篇为什么出这篇文章？近期有很多公司开始引入大数据，由于各方资源有限，并不能合理分配服务器资源，和服务器选型，小叶这里将工作中的总结出来，给新入行的小伙伴带个方向，以下会将企业级测试环境和线上环境的基础方案给出，不敢说一定对，但是本人亲自测试，发现集群使用率稳定提高了3分之1，最高可达到2分之1，有不对的地方欢迎留言指出。注：可能有些服务没有设计，使用到的小伙伴可以参照这种方式去规
转载
2023-09-09 18:33:54
254阅读
CDH常用性能优化
原创
2022-05-13 21:37:53
848阅读
CDH Hive on Spark 是一种优化配置，可以提高 Hive 查询的性能。对于刚入行的开发者来说，可能不太清楚如何实现这个配置。在本文中，我将向你介绍整个配置过程，并提供每个步骤所需的代码和注释。
## 整个配置过程
下面是CDH Hive on Spark 优化配置的整个流程：
| 步骤 | 描述 |
| ---- | ---- |
| 步骤一 | 安装CDH以及相关组件 |
|
cdh相关需要优化链接HDFS集群优化篇https://www.cnblogs.com/yinzhengjie/p/10006880.htmlHBase最佳实践－列族设计优化http://hbasefly.com/2016/07/02/hbase-pracise-cfsetting/HBase最佳实践－内存规划http://hbasefly.com/2016/06/18/hbase-practis
原创
2019-03-15 11:49:52
848阅读
点赞
和 MapReduce 一样，Spark 也遵循移动计算比移动数据更划算这一大数据计算基本原则。但是和 MapReduce 僵化的 Map 与 Reduce 分阶段计算相比，Spark 的计算框架更加富有弹性和灵活性，进而有更好的运行性能。Spark 的计算阶段我们可以对比来看。首先和 MapReduce 一个应用一次只运行一个 map 和一个 reduce 不同，Spark 可以根据应用的复杂程
1.dfs.block.sizeHDFS中的数据block大小，默认是64M，对于较大集群，可以设置为128或264M2.dfs.datanode.socket.write.timeout增加dfs.datanode.socket.write.timeout和dfs.socket.timeout两个属性的时间，避免出现IO超时3.dfs.datanode.max.transfer.threads增
Hive本身将SQL转化为M/R执行任务1、列裁剪hive.optimize.cp=true（默认值为真） Hive 在读数据的时候，可以只读取查询中所需要用到的列，而忽略其它列。2、分区裁剪hive.optimize.pruner=true（默认值为真） 可以在查询的过程中减少不必要的分区。 将分区条件条件放入子查询中更为高效，可以减少读入的分区 数目。 Hive 自动执行这种裁剪优化。3、JO
转载
2023-08-18 18:24:56
7阅读
HBase建表的基本准则常见rowKey设计遇到的问题以及相应的解决方案建模案例分析：电商中宝贝点击量建模示例HBase客户端的使用HBase优化HBase连续分页问题查询的参考解决方案分享的目的：合理地使用HBase，发挥HBase本身所不具有的功能，提高HBase的执行效率一、HBase建表的基本准则1. family数量的控制:不能太多，建议不要超过2个，一般的情况 下，一张表，一个fami
Hadoop HDFS详解一、HDFS名词解释 1.Block： 在HDFS中，每个文件都是采用的分块的方式存储，每个block放在不同的datanode上（副本策略），每个block的标识是一个三元组（block id， numBytes，generationStamp），其中block id是具有唯一性，具体分配是由namenode节点设置，
2019/3/21星期四1、操作系统级别优化选择Linux的文件系统为：XFS文件系统2、预读缓冲预读技术可以有效的减少磁盘寻道次数和应用的I/O等待时间，增加Linux文件系统预读缓冲区的大小(默认为256sectors，128KB)，可以明显提高顺序文件的读性能，建议调整到1024或2048sectors。预读缓冲区的设置可以通过blockdev命令来完成。[root@NewCDH-0--14
翻译
2019-03-25 18:35:53
10000+阅读
点赞
1.dfs.block.sizeHDFS中的数据block大小，默认是64M，对于较大集群，可以设置为128或264M2.dfs.datanode.socket.write.timeout增加dfs.datanode.socket.write.timeout和dfs.socket.timeout两个属性的时间，避免出现IO超时3.dfs.datanode.max.transfer.threads增
原创
2021-08-02 10:38:01
776阅读
cdh搭建之前期优化：具体见链接地址：03搭建cdh生产环境前的Linux优化（涉及到Linux内存参数优化）https://blog.51cto.com/12445535/2365948
原创
2019-03-28 11:31:01
474阅读
HDFS dfs.block.size HDFS中的数据block大小，默认是64M，对于较大集群，可以设置为128或264M dfs.datanode.socket.write.timeout/dfs.socket.timeout 增加dfs.datanode.socket.write.timeout和dfs.socket.timeout两个属性的设置（默认300
原创
2015-05-14 16:59:44
6120阅读
搭建是开始，优化才是关键！
转载
2021-06-23 09:51:16
632阅读
HDFS dfs.block.size HDFS中的数据block大小，默认是64M，对于较大集群，可以设置为128或264M dfs.datanode.socket.write.timeout/dfs.socket.timeout 增加dfs.datanode.socket.write.timeout和dfs.socket.timeout两个属性的设置（默认300）
