1.添加服务cat /etc/systemd/system/catalogd-monitor.service [Unit] Description=CDH Catalogd Log Monitor [Service] ExecStart=/opt/scripts/catalogd_monitor.sh Restart=always RestartSec=5s [Install] WantedB
背景由于 CDH6.3.2 以上，已不开源。常用组件只能自编译升级，比如 Spark 。看网上的资料，有人说 Spark3 的 SQL 运行性能比 Spark2 可提升 20%，本人未验证，但是 Spark3 的 AE 功能的确很香，能自适应解决 Spark SQL 的数据倾斜。下载软件软件版本：jdk-1.8、maven-3.8.4、scala-2.12.15 、spark-3.3.0说明：ma
解决办法： 1.根据审计日志查出来的ip，通知相应的同学，停止对那个超大目录的count操作，用其他合理的方式代替 2.其它需要优化的 NameNode 配置（修改完成后，需要重启 NameNode 生效）： a. 8021 端口的 handler 个数（dfs.namenode.servic
GET_JSON_OBJECT，impala在CDH 6.1.1版本中有bug，低版本的需要自己引用hive的jar包，并新建函数。1.找到function所在的hive包,找到hive-exec-1.1.0-cdh5.14.2.jar2.上传hive-exec-1.1.0-cdh5.14.2.jar到HDFShdfs dfs -mkdir /udf #新建hdfs的UDF路径
一、问题描述近期滚动重启Yarn NodeMagager时（hadoop版本3.0.0），发现滚动重启NM会卡很久，然后滚动重启失败（测试了好几台，基本都滚动重启失败）深入排查后，发现失败的原因如下：NM在启动的时候会去加载yarn-nm-recovery下面的leveldb数据库，主要是为了恢复机器上正在运行的container的相关信息。我们发现，重启失败的NM在启动的时候一直卡在读取leve
#!/usr/bin/env -S bash --posix # 文件名：sftp_to_hdfs.sh # 功能：多用户动态日期目录的SFTP数据拉取（自动删除.ok文件）并上传HDFS # 作者：王昱翔 # 版本：2.0（新增自动删除.ok文件功能） set +o posix # -------------------------------- 配置参数 ----------------
新加的机器网卡的mtu默认是1500，原来的集群调整到了9000解决方案：新增加的机器从1500调整到9000，问题解决
LLVM hit fatal error: Cannot select: intrinsic %llvm.x86.sse42.crc32.32.32 解决方案：set disable_codegen=true;
Starrcoks的部署一、环境初始化1.1服务器配置1.2CPU指令集检查StarRocks 依靠 AVX2 指令集充分发挥其矢量化能力。因此，在生产环境中，强烈建议您将 StarRocks 部署于 x86 架构 CPU 的服务器上。您可以在终端中运行以下命令来检查 CPU 是否支持 AVX2 指令集：cat /proc/cpuinfo | grep avx21.3hosts添加主机名（每一台
1.上传下载好的python3.8.8包2.部署个人环境python3.81.解压 [yuxiang3.wang@cdhjupter1 ~]$ tar -xvf Python-3.8.8.tgz [yuxiang3.wang@cdhjupter1 ~]$ mv Python-3.8.8 python3.8.8 [yuxiang3.wang@cdhjupter1 ~]$ mkdir -p pytho
Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号
