1.脚本#!/bin/bash # 设置Impala的连接属性 im_host="192.168.1.1" im_port="21050" im_user="hive" im_password="11111" # 刷新元数据 echo "刷新Impala元数据..." # 执行刷新元数据的Impala命令 cmd="refresh dc_dev
[root@linux ~]# tar [-cxtzjvfpPN] 文件与目录 .... 参数： -c ：建立一个压缩文件的参数指令(create 的意思)； -x ：解开一个压缩文件的参数指令！ -t ：查看 tarfile 里面的文件！ 特别注意，在参数的下达中， c/x/t 仅能存在一个！不可同时存在！ 因为不可能同时压缩与解压缩。 -z ：是否同时具有 gzip 的属性？亦即是否需要用 g
namevaluedescriptionhadoop.hdfs.configuration.version1version of this configuration filedfs.namenode.rpc-addressRPC address that handles all clients requests. In the case of HA/Federation where mul
1.目录1、需求和步骤2、项目结构3、项目代码 3.1建表语句 hdfs_Ctreate_table 3.2删除文件记录 hdfs_delete_file_record.py 3.3文件路径的小时监控 hdfs_path_Monitor.py
1.Hbase 清空整个表数据注意：清空表数据是否要保留预分区# truncate会把表分区也清除掉 truncate 'namespace:tableName' # truncate_preserve只清除数据 truncate_preserve 'namespace:tableName2.删除具体数据# 删除emp表中特定的单元格数据 delete 'emp','row','col
背景：因公司使用的图数据是Nebula，在部署监控的过程发现无法获取网络监控的前端显示 ，原因是生产上有虚拟网络，而且不是以eth开头的，这个需要修改源码才能解决1.进入nebula-dashboard的前端修改界面cd /opt/nebula-dashboard/public2.打开main.1314ff9d9190129689ac.js修改device=~"(eth|en)[a-z0-9]*"
增量同步add_peer '5', CLUSTER_KEY => "192.168.1.1,192.168.1.2,192.168.1.3:2181:/hbase", STATE => "ENABLED" set_peer_tableCFs '5', { "jfrcs:graph" => ["e", "f", "g", "h", "i", "l", "m", "s", "t"]
报错日志 Error running canary: org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after attempts=2, exceptions: Tue Jul 18 11:04:15 CST 2023, RpcRetryingCaller{globalStartTime=1689649455392,
提示如下,提示可用内存为0Admission result : QueuedLatest admission queue reason : Not enough aggregate memory available 8245f198ee96ec8:74134 max mem resources 150.00 GB. Needed 38.43 GB but only 0 was available.
HBaselnterClusterReplicationEndpoint Can't replicate because of an error on the remote cluster: org.apache.hadoop.hbase.client.RetriesExhaustedWithDetailsException:org.apache.hadoop.hbase.client.Retri
背景：因公司每天中午11:08~11:40之间，DataNode所有的节点都会挂一会，主要是因为任务太过于集中的原因，在加上公司的HDFS的数据存储已经快达到了2P，DataNode的GC参数还是原来的4G，需要针对问题进行处理处理方案：先查看DataNode的GC情况 jps jstat -gcutil 55336查看FGC有1574次1.先把集群中的小文件删除掉#!/usr/bin/bas
集群部署(Cluster) 1、基础软件安装(必装项请自行安装) PostgreSQL (8.2.15+) or MySQL (5.7系列)：两者任选其一即可，如 MySQL 则需要 JDBC Driver 5.1.47+ JDK (1.8+)：必装，请安装好后在 /etc/profile 下配置 JAVA_HOME 及 PATH 变量 ZooKeeper (3.4.6+)：必装 Hadoop
一.背景:因为公司使用的调度平台是没有加入到CDH集群,所以只复制了/opt/cdh下的所有文件到调度平台的work节点,公司的平台一直使用的是MR引擎为调度,上周接到一个项目,必须跑spark,调度平台执行了以后报错找不到hive on spark找不到spark的客户端.FAILED: Execution Error,return code 30041 from org.apache.hado
1.在Hive外表时没有报错,但是把hive外表的数据插入到Starrcoks内表时报错如下: [Err] 1064 - HdfsOrcScanner.:do open failed. reason = Failed to read 0.error=Error(255): Unknown error 255, root cause=EOFException: End of f
一. 故障原因:同事晚上收到服务器告警,其中OS磁盘被占用到85%(500G),查找整个OS盘下的文件占用量也没有找到占用几十几百G的大文件,其中先找到了十几个5G多的文件清理掉后,解决磁盘告警的问题,第二天同事反馈到我这里,让我排查一下原因.二.排查思路1.inode小文件,查看存在的并不多2.查看删除未释放的文件,发现有非常多调度系统中的UDF函数调用的未释放(大约有6W多)losf | gr
#!/bin/bash oss_size1=`hdfs dfs -du -s oss://dbbigdatapro/group/user/tools/meta/hive-temp-table/test_dbjs_home_nav/${date_desc} | awk '{print $1}'` if [[ oss_size1 -gt 0 ]] then echo "${date_desc}数据已
#!/bin/bash #set -x DB=$1 #获取hive表定义 ret=$(hive -e 'use ${DB};show tables;'|grep -v _es|grep -v _hb|grep -v importinfo) for tem in $ret; do hive -e "use ${DB};show create table $tem" >> /t
原因:因为主机扩容内存重启以后发现有七台服务器无法进入系统,重启之前Centos7的启动项被修改过导致无法重启,只能重新安装操作系统,但是HDFS的数据是保存到data盘中.系统OS:CentOS Linux release 7.6.1810 (Core) CDH版本:6.2.1 重新安装操作系统的服务器 10.170.12.43 db-pro-datanode-12-43 10.170.12
Starrocks是什么，它与其他OLAP数据库的区别是什么？Starrocks是一种分布式列式存储的MPP（Massively Parallel Processing）OLAP数据库，能够支持PB级别的数据存储和查询。与传统的基于Hadoop的OLAP系统相比，Starrocks具有以下几点优势：灵活的存储格式：Starrocks使用列式存储，可以根据数据特点和查询需求进行灵活的存储格式选择，从
因Kafka消费太慢，导致StarrocksFE报错，报错信息如下ErrorReason{errCode = 104, msg='be 11024 abort task with reason: fetch failed due to requested offset not available on the broker: Broker: Offset out of range'}"解决方案：重
背景：一个监控告警的项目，执行了一条非常复杂的sql，但是执行完6S后报错如下：1064 - StarRocks planner use long time 3000 ms, This probably because 1. FE Full GC, 2. Hive external table fetch metadata took a long time, 3. The SQL is very
背景:在调度中出现这个报错,但是在后台执行的时候是成功的,每次在调度上执行6分钟即360S的时候出现了这个报错,排查后发现使用的nginx代理中设置的timeout设置的是360s,所以才会出现这个报错ERROR 2013 (HY000) at line 3: Lost connection to MySQL server during query解决方案:nginx中的timeout的时间调整到
报错问题如下：java.lang.NoSuchMethodException: org.apache.hadoop.yarn.api.records.Resource.setResourceInformation(java.lang.String, org.apache.hadoop.yarn.api.records.ResourceInformation) at java.lang.Class
报此问题的主要原因是因为Agent的通信问题导致的解决方案：重启agent服务systmectl restart cloudera-scm-agent稍等2分钟后问题解决
升级集群您可以通过滚动升级的方式平滑升级 StarRocks。StarRocks 的版本号遵循 Major.Minor.Patch 的命名方式，分别代表重大版本，大版本以及小版本。注意由于 StarRocks 保证 BE 后向兼容 FE，因此您需要先升级 BE 节点，再升级 FE 节点。错误的升级顺序可能导致新旧 FE、BE 节点不兼容，进而导致 BE 节点停止服务。StarRocks 2.0 之
Starrocks默认是100个表分区，如果超过这个时间，动态分区创建之后会被自动删除解决方案：ALTER TABLE dwd_iov_test SET ("dynamic_partition.start" = "-2000");使用表分区漂移变成2000动态分区动态分区功能开启后，您可以按需为新数据动态地创建分区，同时 StarRocks 会⾃动删除过期分区，从而确保数据的时效性。创建支持动态分
现象：FE节点上安装了KVM之后，虚拟网卡多了一个192.168.12.1的地址，导致FE在重启的时候无法找到元数据的故障，报错如下2023-02-15 09:53:22,082 WARN (UNKNOWN 10.172.128.77_9015_1667993591722(-1)|1) [BDBJEJournal.open():319] catch exception, retried: 0 co
ERROR 1105 (HY000): errCode = 2, detailMessage = NoClassDefFoundError: Could not initialize class org.apache.doris.catalog.PrimitiveType这个报错是jar包的问题1.下载此java-udf-jar-with-dependencies.jarhttps://jia
解决办法：CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel.sha1此文件没有变更到CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel.shacd /opt/cloudera/parcel-repomv CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel.sha1 CDH-6.2.1-1.cdh
报错日志JAVA_HOME=/usr/java/jdk1.8.0_181-clouderaVerifying that we can write to /etc/cloudera-scm-serverWed Jan 18 22:11:22 EST 2023 WARN: Establishing SSL connection without server's identity verificatio
Copyright © 2005-2023 51CTO.COM 版权所有 京ICP证060544号
