一.背景:因为公司使用的调度平台是没有加入到CDH集群,所以只复制了/opt/cdh下的所有文件到调度平台的work节点,公司的平台一直使用的是MR引擎为调度,上周接到一个项目,必须跑spark,调度平台执行了以后报错找不到hive on spark找不到spark的客户端.FAILED: Execution Error,return code 30041 from org.apache.hado
1.在Hive外表时没有报错,但是把hive外表的数据插入到Starrcoks内表时报错如下: [Err] 1064 - HdfsOrcScanner.:do open failed. reason = Failed to read 0.error=Error(255): Unknown error 255, root cause=EOFException: End of f
一. 故障原因:同事晚上收到服务器告警,其中OS磁盘被占用到85%(500G),查找整个OS盘下的文件占用量也没有找到占用几十几百G的大文件,其中先找到了十几个5G多的文件清理掉后,解决磁盘告警的问题,第二天同事反馈到我这里,让我排查一下原因.二.排查思路1.inode小文件,查看存在的并不多2.查看删除未释放的文件,发现有非常多调度系统中的UDF函数调用的未释放(大约有6W多)losf | gr
#!/bin/bash oss_size1=`hdfs dfs -du -s oss://dbbigdatapro/group/user/tools/meta/hive-temp-table/test_dbjs_home_nav/${date_desc} | awk '{print $1}'` if [[ oss_size1 -gt 0 ]] then echo "${date_desc}数据已
#!/bin/bash #set -x DB=$1 #获取hive表定义 ret=$(hive -e 'use ${DB};show tables;'|grep -v _es|grep -v _hb|grep -v importinfo) for tem in $ret; do hive -e "use ${DB};show create table $tem" >> /t
原因:因为主机扩容内存重启以后发现有七台服务器无法进入系统,重启之前Centos7的启动项被修改过导致无法重启,只能重新安装操作系统,但是HDFS的数据是保存到data盘中.系统OS:CentOS Linux release 7.6.1810 (Core) CDH版本:6.2.1 重新安装操作系统的服务器 10.170.12.43 db-pro-datanode-12-43 10.170.12
Starrocks是什么，它与其他OLAP数据库的区别是什么？Starrocks是一种分布式列式存储的MPP（Massively Parallel Processing）OLAP数据库，能够支持PB级别的数据存储和查询。与传统的基于Hadoop的OLAP系统相比，Starrocks具有以下几点优势：灵活的存储格式：Starrocks使用列式存储，可以根据数据特点和查询需求进行灵活的存储格式选择，从
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号
