51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
信创认证
公众号矩阵
移动端
视频课 免费课 排行榜 短视频 直播课 软考学堂
全部课程 软考 信创认证 华为认证 厂商认证 IT技术 PMP项目管理 免费题库
在线学习
文章 资源 问答 课堂 专栏 直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库

Using CGroups with YARN（官网转载）

Using CGroups with YARN CGroups Configuration CGroups and Security CGroups is a mechanism for aggregating/partitioning sets of tasks, and all their future children, into hierarchical groups with speci

yarn
原创 2021-08-16 13:32:18 699 阅读

Yarn聚合日志

  一、聚合日志介绍 日志聚集是YARN提供的日志中央化管理功能，它能将运行完成的Container任务日志上传到HDFS上，从而减轻NodeManager负载，且提供一个中央化存储和分析机制。默认情况下，Container 任务日志存在在各个NodeManager上，保存在"yarn.nodemanager.log-dirs"配置的目录下，保存的时间由"yarn.nodemanager.

yarn
原创 2021-08-16 13:11:52 1416 阅读

Apache Hadoop与CDH、HDP的比较

一、Hadoop版本综述 不收费的 Hadoop 版本主要有三个（均是国外厂商），分别是： Apache（最原始的版本，所有发行版均基于这个版本进行改进） Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称CDH） Hortonworks版本(Hortonworks Data Platform，简称HDP） 对于国

hadoop
原创 2021-08-16 12:36:56 3189 阅读

yarn使用cgroup隔离cpu资源

yarn默认只管理内存资源,虽然也可以申请cpu资源,但是在没有cpu资源隔离的情况下效果并不是太好.在集群规模大,任务多时资源竞争的问题尤为严重.还好yarn提供的LinuxContainerExecutor可以通过cgroup来隔离cpu资源 cgroup cgroup是系统提供的资源隔离功能,可以隔离系统的多种类型的资源,yarn只用来隔离cpu资源 安装cgroup 默认系统已经安装了cg

yarn
原创 2021-08-13 11:29:25 677 阅读

yarn任务报错任务和yarn超时长1小时任务的

一、yanr的flink任务被kill和fail的告警 1.需要安装的python3的pip3库（添加钉钉机器人略，自己百度） pip3 install  apscheduler pip3 install dingtalkchatbot pip3 install chatbot 2.需要用dingdinglkchatbot下的chatbot.py替换/usr/local/lib/python3.

任务告警开发
原创 精选 2021-08-09 13:58:11 1572 阅读 2收藏

CDH6.3.0 SPARK-SHELL启动报错

前言在正常的CDH6.1后台运行spark-shell进入scala交互界面报错。 报错信息：报错信息如下： Exception in thread "main" org.apache.spark.SparkException: Cluster deploy mode is not applicable to Spark shells.    at org.apache.spark.deploy.

spark
原创 2021-08-06 15:14:41 1064 阅读

CDH6.3.0安装配置waterdrop1.5.1local和yarn提交

1.上传waterdrop1.5.1到opt目录 2.解决压缩 3.设置waterdrop的环境变量 4.打开 waterdrop-env.sh 注意：SPARK_HOME的变更设置成CDH6.3.0的spark的目录位置  SPARK_HOME=/opt/cloudera/parcels/CDH-6.3.0-1.cdh6.3.0.p0.1279813/lib/spark 5.测试wate

waterdrop
原创 2021-08-05 19:02:32 868 阅读

Cloudera Manager 7.3.1新增的功能

What's New in Cloudera Manager 7.3.1 New features and changed behavior for Cloudera Manager 7.3.1. New Ranger Configuration Option for Audit Log Archival You can now use Cloudera Manager to configure

cdp
原创 2021-08-05 13:48:33 405 阅读

CDH常用优化配置

1.hive.metastore.warehouse.dirHive 仓库目录是在 HDFS 中存储 Hive 表格的位置。注意此仓库目录的 Hive 默认值为“/user/hive/warehouse”。 2.hive.warehouse.subdir.inherit.perms让表目录继承仓库或数据库目录的权限，替代使用从 dfs umask 派生权限创建。该操作允许通过 Hive 将 Imp

hive
原创 精选 2021-08-03 23:39:39 1294 阅读

如何使用Hive合并小文件

目前集群存于一个非常不健康的状态，主要问题是小文件太多，单个DataNode的block数量阈值是500,000，而现在单个DataNode的block为2,631,218，约为阈值的5倍，现在所有DataNode都处于黄色不健康状态。   小文件问题会直接带来NameNode的压力巨大，从而导致HDFS的稳定性，同时对HDFS日常的数据读写带来性能下降。目前已可以看到集群的NameNode频繁出

hive
原创 2021-08-03 18:48:59 5609 阅读

cdh 6.3.0的新特性

1CM/CDH6.3及更高版本支持OpenJDK11你现在可以在ClouderaEnterprise6.3中使用OpenJDK11，在集群中安装OpenJDK11时，默认使用G1GC为CDH大多数服务作为垃圾回收机制，这可能需要进行调优以避免内存过量使用。OPSAPS50993,OPSAPS49390,OPSAPS516432ApacheHadoop2.1YARN1.YARNDistributed

cdh
原创 2021-08-03 10:28:34 1247 阅读

CDH之hdfs的常规优化项

1.dfs.block.sizeHDFS中的数据block大小，默认是64M，对于较大集群，可以设置为128或264M2.dfs.datanode.socket.write.timeout增加dfs.datanode.socket.write.timeout和dfs.socket.timeout两个属性的时间，避免出现IO超时3.dfs.datanode.max.transfer.threads增

cdh
原创 2021-08-02 10:38:01 876 阅读

HDFS数据保护之回收站功能

　　引言：当从HDFS删除文件时，将释放与该文件相关联的块。而配置HDFS的回收站功能后，其会将删除的文件和目录存储在特定回收站目录中一定的时间后释放块，然后再将其永久删除，即可防止意外数据删除。如果配置了回收站功能且回收间隔大于0，那么删除的文件或者目录会在用户主目录下的.Trash目录保存。　　回到顶部一、进入主题，配置回收站功能：　　配置coresite.xml文件中的fs.trash.in

hdfs
原创 精选 2021-08-02 09:46:18 2058 阅读 1收藏

clickhouse常用的命令

版本root@localhostclickhouseclientClickHouseclientversion21.4.5.46(officialbuild).Connectingtolocalhost:9000asuserdefault.ConnectedtoClickHouseserverversion21.4.5revision54447.localhost:)exitBye.常用参数hos

clickhouse
原创 2021-08-01 19:17:42 1984 阅读

clickhouse三他节点部署，整理的有点乱，明天在重新整理一下。

10.1.48.12实例1端口tcp_port9000,http_port8123,interserver_http_port9009;config.xml文件为/etc/clickhouseserver/config01.xml;metrika.xml文件为/etc/clickhouseserver/metrika01.xml;users.xml文件为/etc/clickhouseserver/

clickhouse
原创 2021-07-29 19:53:24 1426 阅读

大数据面试题

  版本 时间 描述 V1.0 2020-12-18 创建 V1.2 2021-01-17 新增 spark 面试题 V1.3 2021-01-18 新增  kafka  面试题 V1.4 2021-01-20 新增 hbase 面试题 V1.5 2021-01-30 新增  flink  面试题     目录   Hadoo

面试
原创 2021-07-28 06:42:57 624 阅读 1收藏

cdh动态资源池的设置

1. 静态资源池 在CDH中，一般情况下不建议使用静态资源池，在CDH中默认的资源池是动态资源池，为什么不建议使用静态资源池，原因如下： 假设给NodeManager分配了4G内存，刚刚开始使用的时候使用了3G，一段时间后任务增多，使用到了4G内存，当任务再增多时，静态资源池会OOM，但动态资源池会从其他地方调集资源过来接着使用。 2. 动态资源池的三种默认使用池 1、使用池已在运行时指定 ，如果

cdh
原创 2021-07-27 12:45:31 762 阅读

CDH yarn设置管理 ACL后，无法访问yarn的日志。

yarn设置acl的配置 设置以上之后，就无法查看yarn运行的flink任务的日志。提示报以下错误。 job的日志 HDFS： User [dr.who] is not authorized to view the logs for container_e25_1508567262904_0002_01_000001 in log file [i-bsbhj3uw_8041] 此时是没有权限访

cdh
原创 2021-07-27 11:12:44 983 阅读

flink on yarn的配置及报错处理

flink的下载地址 https://archive.apache.org/dist/flink/ 我下载的是1.13.1版本的，下面配置flink on yarn模式的提交 1.下载好的tgz上传到/opt目录下面。 2.使用tar -xvf  flink.tgz 解压flink包 3.设置flink软链接   4.配置flink的环境变量 环境变量的配置 #set default j

flink
原创 2021-07-26 15:25:49 2763 阅读 1点赞

一键式完全删除CDH 6.3.0脚本

 CDH集群的安装部署虽然步骤比较多，但只要严格按照文档操作，一般不会有太大问题。然而，如果安装过程中出错，或因为其它原因需要重新安装CDH，在不重装操作系统的前提下，是比较困难的。难点在于需要删除的东西太多，删除不干净非常容易造成安装失败。网上找的所谓“CDH完全卸载”其实都不够完全。经过一天的反复尝试，终于写了一个一键式删除CDH脚本，在我自己的测试环境下是可行的。删除脚本文件remove_c

Hadoop
原创 2021-07-23 09:07:18 404 阅读

高可用部署二进制 Kubernetes

二进制安装k8s 节点名称 IP k8s-master-01 172.16.1.71 k8s-master-02 172.16.1.72 k8s-master-03 172.16.1.73 k8s-node-01 172.16.1.74 k8s-node-02 172.16.1.75 # 修改IP和主机名# 关闭防火墙和selinux# host解析 (五台机器都要做，太长不重复复制) [roo

k8s
原创 推荐 2021-07-22 10:00:21 1680 阅读 1收藏

安装CDH 6.3.0的时候报cannot open /etc/group

  解决办法  修改文件权限chattr -i /etc/gshadowchattr -i /etc/shadowchattr -i /etc/groupchattr -i /etc/passwd

hadoop
原创 2021-07-22 09:56:33 351 阅读

Waterdrop同步hive数据到clickhouse的异常数据导致8123端口挂掉

报错日志 815842 2021.07.20 14:13:52.876678 [ 11529 ] {817bb959-534e-44b3-898c-a1a3d88b9d63} <Error> DynamicQueryHandler: Cannot send exception to client: Code: 27, e.displayText() = DB::ParsingExcep

clickhouse
原创 2021-07-20 16:46:51 2100 阅读

ClickHouse 的一些优化参数

      1.max_table_size_to_drop 此参数在 /etc/clickhouse-server/config.xml 中, 应用于需要删除表或分区的情况, 默认 50GB。 如果你要删除的分区或表, 数据量达到了此参数值大小, 会删除失败。 建议修改为 0, 代表无论数据多大, 都可以删除。 max_memory_usage 在 /etc/clickho

clickhouse
原创 2021-07-15 17:20:28 3294 阅读

Clickhouse优缺点及性能情况

优点： 1，为了高效的使用CPU，数据不仅仅按列存储，同时还按向量进行处理； 2，数据压缩空间大，减少IO；处理单查询高吞吐量每台服务器每秒最多数十亿行； 3，索引非B树结构，不需要满足最左原则；只要过滤条件在索引列中包含即可；即使在使用的数据不在索引中，由于各种并行处理机制ClickHouse全表扫描的速度也很快； 4，写入速度非常快，50-200M/s，对于大量的数据更新非常适用。 缺点：

clickhouse
原创 2021-07-15 17:18:03 4484 阅读

hdfs datanode通过添加数据盘扩容

最近，在生产环境中，hdfs集群数据量已达到存储的90%，亟需对存储空间进行扩容。 通过调研和实验，确定添加datanoe的存储目录比较适合我们的生产环境！在这里记录一下添加数据目录的过程。 第一步：备份hdfs-site.xml配置文件 cp hdfs-site.xml hdfs-site.xml.20210714.bak 第二步：添加数据磁盘、格式化，并挂载到/data2目录   #

hadoop
原创 2021-07-15 15:22:47 903 阅读

记一次生产上单点DataNode其中一块磁盘空间不足的处理

1.如下图，此节点的datanode为两块磁盘，两块磁盘的数据放置不均衡导致hdfs、yarn、hive等服务均呈挂起状态，CDH上一片红 2.参考CDH的官网，说明如下图，支持单点磁盘级别的平衡，另外，贴出Apache hadoop 2.x和Apache hadoop3.x的官网对此参数的说明： 上图是hadoop2.6-cdh5.16.1截图 上图是Apache hadoop 3.2.1

cdh
原创 2021-07-15 09:12:44 729 阅读

clickhouse迁移集群时同步数据报max_partitions_per_insert_bloc

报错信息 Received exception from server (version 21.3.4):Code: 252. DB::Exception: Received from localhost:9000. DB::Exception: Too many partitions for single INSERT block (more than 100). The limit is co

clickhouse
原创 2021-07-13 13:56:00 3892 阅读

clickhouse无法清空大表的解决办法

inster into 插入数据超过50G以后，清空表数据的时候报错如下： SQL 错误 [359]: ClickHouse exception, code: 359, host: 47.106.166.137, port: 8123; Code: 359, e.displayText() = DB::Exception: There was an error on [db-Clickhouse-

clickhouse
原创 2021-07-13 13:20:06 4336 阅读

从0开始建设大数据平台

  1、大数据平台前期调研 1.1业务需求调研 从运维角度看，主要调研公司的有哪业务的数据运营需求，是离线计算需求还是实时计算需求。 1）离线计算组件需求： 数据采集组件：FlinkX/DataX   数据存储组件：HDFS 数据加工组件：YARN/Hive/Spark/Flink 数据服务组件：HBase/Elasticsearch/Geomesa（时空数据库）/Kylin

hadoop
原创 精选 2021-06-24 15:59:05 1256 阅读

Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 全部文章 热门标签 班级博客
了解我们 网站地图 意见反馈
友情链接
鸿蒙开发者社区 51CTO学堂
51CTO 软考资讯