51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
信创认证
公众号矩阵
移动端
视频课 免费课 排行榜 短视频 直播课 软考学堂
全部课程 软考 信创认证 华为认证 厂商认证 IT技术 PMP项目管理 免费题库
在线学习
文章 资源 问答 课堂 专栏 直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
# 大数据篇

Hbase报Master is initializing

报错日志 Error running canary: org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after attempts=2, exceptions: Tue Jul 18 11:04:15 CST 2023, RpcRetryingCaller{globalStartTime=1689649455392,

apache
hadoop
java
置顶 原创 2023-07-18 17:45:26 526 阅读

解决impala查询时提示内存不足的问题

提示如下,提示可用内存为0Admission result : QueuedLatest admission queue reason : Not enough aggregate memory available 8245f198ee96ec8:74134 max mem resources 150.00 GB. Needed 38.43 GB but only 0 was available.

服务器
sql
开发人员
置顶 原创 2023-07-17 18:00:49 972 阅读
DataNode的FullGC的处理过程

DataNode的FullGC的处理过程

背景：因公司每天中午11:08~11:40之间，DataNode所有的节点都会挂一会，主要是因为任务太过于集中的原因，在加上公司的HDFS的数据存储已经快达到了2P，DataNode的GC参数还是原来的4G，需要针对问题进行处理处理方案：先查看DataNode的GC情况 jps jstat -gcutil 55336查看FGC有1574次1.先把集群中的小文件删除掉#!/usr/bin/bas

hdfs
Java
4G
置顶 原创 2023-06-27 12:39:18 436 阅读

调度平台找不到CDH的Spark客户端

一.背景:因为公司使用的调度平台是没有加入到CDH集群,所以只复制了/opt/cdh下的所有文件到调度平台的work节点,公司的平台一直使用的是MR引擎为调度,上周接到一个项目,必须跑spark,调度平台执行了以后报错找不到hive on spark找不到spark的客户端.FAILED: Execution Error,return code 30041 from org.apache.hado

spark
客户端
hive
置顶 原创 2023-04-20 23:11:25 184 阅读

Starrocks在建查hive外表时报EOFException: End of file reached before reading fully

1.在Hive外表时没有报错,但是把hive外表的数据插入到Starrcoks内表时报错如下: [Err] 1064 - HdfsOrcScanner.:do open failed. reason = Failed to read  0.error=Error(255): Unknown error 255, root cause=EOFException: End of f

hive
数据
建表
置顶 原创 2023-04-15 08:29:05 1517 阅读

HDFS中的数据迁移到阿里云的OSS脚本

#!/bin/bash oss_size1=`hdfs dfs -du -s oss://dbbigdatapro/group/user/tools/meta/hive-temp-table/test_dbjs_home_nav/${date_desc} | awk '{print $1}'` if [[ oss_size1 -gt 0 ]] then echo "${date_desc}数据已

数据
hive
hdfs
置顶 原创 2023-04-11 21:44:06 334 阅读
生产环境CDH集群主机加内存导致系统无法启动,重装系统后CDH数据修复的过程

生产环境CDH集群主机加内存导致系统无法启动,重装系统后CDH数据修复的过程

原因:因为主机扩容内存重启以后发现有七台服务器无法进入系统,重启之前Centos7的启动项被修改过导致无法重启,只能重新安装操作系统,但是HDFS的数据是保存到data盘中.系统OS:CentOS Linux release 7.6.1810 (Core) CDH版本:6.2.1 重新安装操作系统的服务器 10.170.12.43 db-pro-datanode-12-43 10.170.12

hdfs
重启
服务器
置顶 原创 2023-04-09 14:59:36 626 阅读

Starrocks的知识

Starrocks是什么，它与其他OLAP数据库的区别是什么？Starrocks是一种分布式列式存储的MPP（Massively Parallel Processing）OLAP数据库，能够支持PB级别的数据存储和查询。与传统的基于Hadoop的OLAP系统相比，Starrocks具有以下几点优势：灵活的存储格式：Starrocks使用列式存储，可以根据数据特点和查询需求进行灵活的存储格式选择，从

数据
Hive
高可用性
置顶 原创 精选 2023-04-03 22:14:03 5987 阅读

Kafka的问题导致Starrocksr报错

因Kafka消费太慢，导致StarrocksFE报错，报错信息如下ErrorReason{errCode = 104, msg='be 11024 abort task with reason: fetch failed due to requested offset not available on the broker: Broker: Offset out of range'}"解决方案：重

报错信息
重置
解决方案
置顶 原创 2023-03-16 15:03:10 2153 阅读

Starrocks出现Lost connection to MySQL server during query

背景:在调度中出现这个报错,但是在后台执行的时候是成功的,每次在调度上执行6分钟即360S的时候出现了这个报错,排查后发现使用的nginx代理中设置的timeout设置的是360s,所以才会出现这个报错ERROR 2013 (HY000) at line 3: Lost connection to MySQL server during query解决方案:nginx中的timeout的时间调整到

nginx
MySQL
后台执行
置顶 原创 2023-03-07 21:44:18 985 阅读
CDH报主机网络问题处理

CDH报主机网络问题处理

报此问题的主要原因是因为Agent的通信问题导致的解决方案：重启agent服务systmectl restart cloudera-scm-agent稍等2分钟后问题解决

cloudera
解决方案
重启
置顶 原创 2023-02-28 09:15:02 365 阅读

Starrocks版本升级

升级集群您可以通过滚动升级的方式平滑升级 StarRocks。StarRocks 的版本号遵循 Major.Minor.Patch 的命名方式，分别代表重大版本，大版本以及小版本。注意由于 StarRocks 保证 BE 后向兼容 FE，因此您需要先升级 BE 节点，再升级 FE 节点。错误的升级顺序可能导致新旧 FE、BE 节点不兼容，进而导致 BE 节点停止服务。StarRocks 2.0 之

回滚
版本升级
重启
置顶 原创 精选 2023-02-28 09:09:18 1920 阅读

Starrocks默认100个表分区的解决方案

Starrocks默认是100个表分区，如果超过这个时间，动态分区创建之后会被自动删除解决方案：ALTER TABLE dwd_iov_test SET ("dynamic_partition.start" = "-2000");使用表分区漂移变成2000动态分区动态分区功能开启后，您可以按需为新数据动态地创建分区，同时 StarRocks 会⾃动删除过期分区，从而确保数据的时效性。创建支持动态分

取值
后缀
动态创建
置顶 原创 精选 2023-02-28 08:52:23 3145 阅读

Starrocks上安装KVM导致FE无法启动

现象：FE节点上安装了KVM之后，虚拟网卡多了一个192.168.12.1的地址，导致FE在重启的时候无法找到元数据的故障，报错如下2023-02-15 09:53:22,082 WARN (UNKNOWN 10.172.128.77_9015_1667993591722(-1)|1) [BDBJEJournal.open():319] catch exception, retried: 0 co

java
jar
sed
置顶 原创 精选 2023-02-15 11:12:41 1214 阅读 1收藏
Doris报Could not initialize class org.apache.doris.catalog.PrimitiveType

Doris报Could not initialize class org.apache.doris.catalog.PrimitiveType

ERROR 1105 (HY000): errCode = 2, detailMessage = NoClassDefFoundError: Could not initialize class org.apache.doris.catalog.PrimitiveType这个报错是jar包的问题1.下载此java-udf-jar-with-dependencies.jar​​https://jia

jar
java
ci
置顶 原创 精选 2023-01-19 17:16:29 2236 阅读
部署CDH显示对于此 Cloudera Manager 版本 (6.2.1) 太新的 CDH 版本不会显示

部署CDH显示对于此 Cloudera Manager 版本 (6.2.1) 太新的 CDH 版本不会显示

解决办法：CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel.sha1此文件没有变更到CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel.shacd /opt/cloudera/parcel-repomv CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel.sha1 CDH-6.2.1-1.cdh

cloudera
重启
置顶 原创 2023-01-19 14:20:44 1013 阅读

Starrocks的FE报元数据丢失的解决方案

2023-01-13 09:50:07,603 ERROR (main|1) [BDBEnvironment.setup():233] error to open replicated environment. will exit.com.sleepycat.je.EnvironmentFailureException: (JE 7.3.7) 10.179.110.250_9015_1653712

java
jar
元数据
置顶 原创 精选 2023-01-13 10:06:28 2523 阅读

Ambari安装Hive启动时报无法创建虚拟机

[root@hdp03 hive]# cat hive-server2.errError: VM option 'UseG1GC' is experimental and must be enabled via -XX:+UnlockExperimentalVMOptions.Error: Could not create the Java Virtual Machine.Error: A fat

解决方案
hive
Machine
置顶 原创 2023-01-11 21:51:15 782 阅读
org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask

org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask

Error: org.apache.hive.service.cli.HiveSQLException: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask这个问题是hive进行map join

数据
hive
apache
置顶 原创 2022-12-26 13:07:17 443 阅读

hive执行大SQL的时候hive.server2.thrift.max.worker.threads if applicable.

Unexpected end of file when reading from HS2 server. The root cause might be too many concurrent connections. Please ask the administrator to check the number of active connections, and adjust hive.se

nginx
解决方案
hive
置顶 原创 2022-12-19 12:23:17 2130 阅读

算法环境jupyter安装及启动

设置密码jupyter notebook password设置配置文件jupyter notebook --generate-configc.NotebookApp.allow_root =Truec.NotebookApp.ip = '*'c.NotebookApp.open_browser = Falsec.NotebookApp.password='sha1:31aa1f72a166:6e5

tensorflow
spark
5e
置顶 原创 精选 2022-11-29 14:40:11 337 阅读
Starrocks提示be找不到JAVA_HOME

Starrocks提示be找不到JAVA_HOME

解决方案：vim /etc/profile这里面添加java的环境变量source /etc/profile重启be进程

环境变量
vim
重启
置顶 原创 2022-11-25 15:30:22 551 阅读

CDH6.2.1的hive 2.1.1升级到2.3.9后的beeline报错处理

org.apache.hive.com.esotericsoftware.kryo.KryoException: java.lang.ArrayIndexOutOfBoundsException: -2

java
hive
apache
置顶 原创 精选 2022-11-25 14:56:26 1045 阅读 2点赞 2收藏
hue添加水印功能

hue添加水印功能

1.备份hue.makocp -rf /opt/cloudera/parcels/CDH/lib/hue/desktop/core/src/desktop/templates/hue.mako /opt/cloudera/parcels/CDH/lib/hue/desktop/core/src/desktop/templates/hue.mako.bak2.打开hue.mako文件vim /opt

desktop
cloudera
ico
置顶 原创 精选 2022-11-10 12:28:23 650 阅读

统计hive每张表中的数据量的行数

or line in $(cat tables.txt)do echo "tablename :$line"; value=$(hive --database test --hiveconf v=v1 -S -e "select count(*) from $line;") echo "$value" > /tmp/tmp_table_cnt.txt cnt=`s

hive
sed
置顶 原创 2022-11-07 07:09:57 1262 阅读

如何在 Hive 中配置会话超时

hive.server2.session.check.intervalhive.server2.idle.operation.timeout 中配置以下设置。hive.server2.idle.session.timeout1）. hive.server2.idle.session.timeout会话将在这段时间内未访问时关闭，以毫秒为单位;通过设置为零或负值来禁用。例如，值“86400000”指

hive
数据
运行时间
置顶 原创 精选 2022-11-02 07:33:33 2756 阅读
HiveServer2 配置深入讨论

HiveServer2 配置深入讨论

HiveServer2 是一个节俭服务器，它是一个精简的服务层，以无缝的方式与 HDP 集群进行交互。它同时支持 JDBC 和 ODBC 驱动程序，以提供用于查询数据的 SQL 层。传入的 SQL 查询将转换为 TEZ 或 MR 作业，获取结果并将其发送回客户端。HS2内部无需进行繁重的起重工作。它只是充当一个拥有 TEZ/MR 驱动程序、扫描元数据和应用护林员策略进行授权的地方。HiveServ

hive
sql
客户端
置顶 原创 精选 2022-11-02 06:43:29 2212 阅读
hue查询hive数据一直处理查询状态

hue查询hive数据一直处理查询状态

原因是因为session不释放导致的解决方案：需要设置的参数会话检查间隔hive.server2.session.check.interval=5分钟空闲操作超时hive.server2.idle.operation.timeout=0空闲会话超时hive.server2.idle.session.timeout=0重启hiveserver2问题解决

hive
解决方案
重启
原创 精选 2022-11-01 23:47:57 744 阅读

hive创建管理员角色和授权

create role admin;grant ALL on server server1 to role admin;grant role admin to group admin;grant ALL on database default to role admin;create role hive;grant ALL on server server1 to role hive;grant

hive
置顶 原创 2022-10-30 17:46:00 422 阅读
CDH重启换了Namenode节点后，提示Encountered exception loading fsimage

CDH重启换了Namenode节点后，提示Encountered exception loading fsimage

报错代码如下：Encountered exception loading fsimagejava.io.IOException: NameNode is not formatted. at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:237) at org.apache.

hadoop
hdfs
java
置顶 原创 精选 2022-10-30 16:05:16 1206 阅读

Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 全部文章 热门标签 班级博客
了解我们 网站地图 意见反馈
友情链接
鸿蒙开发者社区 51CTO学堂
51CTO 软考资讯