江南独孤客的博客_大数据篇,数据库篇,Linux原创(3)

按发布时间
按阅读量
时间轴

全部656篇
2025年34篇 09月3篇 08月8篇 07月2篇 06月3篇 05月10篇 04月6篇 03月2篇 2024年19篇 12月3篇 11月1篇 08月1篇 07月1篇 06月2篇 05月1篇 04月1篇 03月4篇 02月2篇 01月3篇 2023年50篇 12月3篇 11月6篇 10月3篇 09月2篇 08月4篇 07月5篇 06月1篇 04月7篇 03月4篇 02月10篇 01月5篇 2022年300篇 12月2篇 11月11篇 10月20篇 09月10篇 08月3篇 07月16篇 06月26篇 05月51篇 04月64篇 03月27篇 02月48篇 01月22篇 2021年253篇 12月37篇 11月18篇 10月31篇 09月66篇 08月53篇 07月21篇 06月25篇 05月2篇
推荐/精选
原创

全部原创转载翻译

解决impala查询时提示内存不足的问题

提示如下,提示可用内存为0Admission result : QueuedLatest admission queue reason : Not enough aggregate memory available 8245f198ee96ec8:74134 max mem resources 150.00 GB. Needed 38.43 GB but only 0 was available.

服务器

sql

开发人员

置顶原创 2023-07-17 18:00:49 974 阅读

Hbase报 Above paralle1PutTostoreThreadLimit

HBaselnterClusterReplicationEndpoint Can't replicate because of an error on the remote cluster: org.apache.hadoop.hbase.client.RetriesExhaustedWithDetailsException:org.apache.hadoop.hbase.client.Retri

apache

hadoop

java

置顶原创 2023-07-07 09:20:44 687 阅读

DataNode的FullGC的处理过程

背景：因公司每天中午11:08~11:40之间，DataNode所有的节点都会挂一会，主要是因为任务太过于集中的原因，在加上公司的HDFS的数据存储已经快达到了2P，DataNode的GC参数还是原来的4G，需要针对问题进行处理处理方案：先查看DataNode的GC情况 jps jstat -gcutil 55336查看FGC有1574次1.先把集群中的小文件删除掉#!/usr/bin/bas

hdfs

Java

置顶原创 2023-06-27 12:39:18 436 阅读

Apache Dolphinscheduler集群部署

集群部署(Cluster) 1、基础软件安装(必装项请自行安装) PostgreSQL (8.2.15+) or MySQL (5.7系列)：两者任选其一即可，如 MySQL 则需要 JDBC Driver 5.1.47+ JDK (1.8+)：必装，请安装好后在 /etc/profile 下配置 JAVA_HOME 及 PATH 变量 ZooKeeper (3.4.6+)：必装 Hadoop

调度

置顶原创 2021-08-05 11:45:08 2694 阅读

调度平台找不到CDH的Spark客户端

一.背景:因为公司使用的调度平台是没有加入到CDH集群,所以只复制了/opt/cdh下的所有文件到调度平台的work节点,公司的平台一直使用的是MR引擎为调度,上周接到一个项目,必须跑spark,调度平台执行了以后报错找不到hive on spark找不到spark的客户端.FAILED: Execution Error,return code 30041 from org.apache.hado

spark

客户端

hive

置顶原创 2023-04-20 23:11:25 184 阅读

Starrocks在建查hive外表时报EOFException: End of file reached before reading fully

1.在Hive外表时没有报错,但是把hive外表的数据插入到Starrcoks内表时报错如下: [Err] 1064 - HdfsOrcScanner.:do open failed. reason = Failed to read 0.error=Error(255): Unknown error 255, root cause=EOFException: End of f

hive

数据

建表

置顶原创 2023-04-15 08:29:05 1517 阅读

HiveServer2加载UDF函数不释放的处理

一. 故障原因:同事晚上收到服务器告警,其中OS磁盘被占用到85%(500G),查找整个OS盘下的文件占用量也没有找到占用几十几百G的大文件,其中先找到了十几个5G多的文件清理掉后,解决磁盘告警的问题,第二天同事反馈到我这里,让我排查一下原因.二.排查思路1.inode小文件,查看存在的并不多2.查看删除未释放的文件,发现有非常多调度系统中的UDF函数调用的未释放(大约有6W多)losf | gr

hive

重启

解决方案

置顶原创精选 2023-04-11 20:58:14 828 阅读

HDFS中的数据迁移到阿里云的OSS脚本

#!/bin/bash oss_size1=`hdfs dfs -du -s oss://dbbigdatapro/group/user/tools/meta/hive-temp-table/test_dbjs_home_nav/${date_desc} | awk '{print $1}'` if [[ oss_size1 -gt 0 ]] then echo "${date_desc}数据已

数据

hive

hdfs

置顶原创 2023-04-11 21:44:06 334 阅读

CDH集群之间迁移hive数据脚本

#!/bin/bash #set -x DB=$1 #获取hive表定义 ret=$(hive -e 'use ${DB};show tables;'|grep -v _es|grep -v _hb|grep -v importinfo) for tem in $ret; do hive -e "use ${DB};show create table $tem" >> /t

hive

hadoop

hdfs

置顶原创 2023-04-09 17:11:27 350 阅读 1点赞

生产环境CDH集群主机加内存导致系统无法启动,重装系统后CDH数据修复的过程

原因:因为主机扩容内存重启以后发现有七台服务器无法进入系统,重启之前Centos7的启动项被修改过导致无法重启,只能重新安装操作系统,但是HDFS的数据是保存到data盘中.系统OS:CentOS Linux release 7.6.1810 (Core) CDH版本:6.2.1 重新安装操作系统的服务器 10.170.12.43 db-pro-datanode-12-43 10.170.12

hdfs

重启

服务器

置顶原创 2023-04-09 14:59:36 625 阅读

Starrocks的知识

Starrocks是什么，它与其他OLAP数据库的区别是什么？Starrocks是一种分布式列式存储的MPP（Massively Parallel Processing）OLAP数据库，能够支持PB级别的数据存储和查询。与传统的基于Hadoop的OLAP系统相比，Starrocks具有以下几点优势：灵活的存储格式：Starrocks使用列式存储，可以根据数据特点和查询需求进行灵活的存储格式选择，从

数据

Hive

高可用性

置顶原创精选 2023-04-03 22:14:03 5978 阅读

Kafka的问题导致Starrocksr报错

因Kafka消费太慢，导致StarrocksFE报错，报错信息如下ErrorReason{errCode = 104, msg='be 11024 abort task with reason: fetch failed due to requested offset not available on the broker: Broker: Offset out of range'}"解决方案：重

报错信息

重置

解决方案

置顶原创 2023-03-16 15:03:10 2153 阅读

Starrcksr报错StarRocks planner use long time 3000 ms

背景：一个监控告警的项目，执行了一条非常复杂的sql，但是执行完6S后报错如下：1064 - StarRocks planner use long time 3000 ms, This probably because 1. FE Full GC, 2. Hive external table fetch metadata took a long time, 3. The SQL is very

JVM

SQL

Hive

置顶原创 2023-03-10 15:36:17 3691 阅读

Starrocks出现Lost connection to MySQL server during query

背景:在调度中出现这个报错,但是在后台执行的时候是成功的,每次在调度上执行6分钟即360S的时候出现了这个报错,排查后发现使用的nginx代理中设置的timeout设置的是360s,所以才会出现这个报错ERROR 2013 (HY000) at line 3: Lost connection to MySQL server during query解决方案:nginx中的timeout的时间调整到

nginx

MySQL

后台执行

置顶原创 2023-03-07 21:44:18 983 阅读

使用flink离线压缩hudi(mor模式)的任务时报错处理

报错问题如下：java.lang.NoSuchMethodException: org.apache.hadoop.yarn.api.records.Resource.setResourceInformation(java.lang.String, org.apache.hadoop.yarn.api.records.ResourceInformation) at java.lang.Class

flink

apache

hadoop

置顶原创 2022-01-11 11:43:03 1013 阅读

CDH报主机网络问题处理

报此问题的主要原因是因为Agent的通信问题导致的解决方案：重启agent服务systmectl restart cloudera-scm-agent稍等2分钟后问题解决

cloudera

解决方案

重启

置顶原创 2023-02-28 09:15:02 365 阅读

Starrocks版本升级

升级集群您可以通过滚动升级的方式平滑升级 StarRocks。StarRocks 的版本号遵循 Major.Minor.Patch 的命名方式，分别代表重大版本，大版本以及小版本。注意由于 StarRocks 保证 BE 后向兼容 FE，因此您需要先升级 BE 节点，再升级 FE 节点。错误的升级顺序可能导致新旧 FE、BE 节点不兼容，进而导致 BE 节点停止服务。StarRocks 2.0 之

回滚

版本升级

重启

置顶原创精选 2023-02-28 09:09:18 1920 阅读

Starrocks默认100个表分区的解决方案

Starrocks默认是100个表分区，如果超过这个时间，动态分区创建之后会被自动删除解决方案：ALTER TABLE dwd_iov_test SET ("dynamic_partition.start" = "-2000");使用表分区漂移变成2000动态分区动态分区功能开启后，您可以按需为新数据动态地创建分区，同时 StarRocks 会⾃动删除过期分区，从而确保数据的时效性。创建支持动态分

取值

后缀

动态创建

置顶原创精选 2023-02-28 08:52:23 3144 阅读

Starrocks上安装KVM导致FE无法启动

现象：FE节点上安装了KVM之后，虚拟网卡多了一个192.168.12.1的地址，导致FE在重启的时候无法找到元数据的故障，报错如下2023-02-15 09:53:22,082 WARN (UNKNOWN 10.172.128.77_9015_1667993591722(-1)|1) [BDBJEJournal.open():319] catch exception, retried: 0 co

java

jar

sed

置顶原创精选 2023-02-15 11:12:41 1213 阅读 1收藏

Doris报Could not initialize class org.apache.doris.catalog.PrimitiveType

ERROR 1105 (HY000): errCode = 2, detailMessage = NoClassDefFoundError: Could not initialize class org.apache.doris.catalog.PrimitiveType这个报错是jar包的问题1.下载此java-udf-jar-with-dependencies.jarhttps://jia

jar

java

置顶原创精选 2023-01-19 17:16:29 2232 阅读

部署CDH显示对于此 Cloudera Manager 版本 (6.2.1) 太新的 CDH 版本不会显示

解决办法：CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel.sha1此文件没有变更到CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel.shacd /opt/cloudera/parcel-repomv CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel.sha1 CDH-6.2.1-1.cdh

cloudera

重启

置顶原创 2023-01-19 14:20:44 1012 阅读

scm初始化的时候报com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Access denied for user 'root'@'

报错日志JAVA_HOME=/usr/java/jdk1.8.0_181-clouderaVerifying that we can write to /etc/cloudera-scm-serverWed Jan 18 22:11:22 EST 2023 WARN: Establishing SSL connection without server's identity verificatio

java

mysql

jar

置顶原创精选 2023-01-19 11:35:39 902 阅读

Starrocks的FE报元数据丢失的解决方案

2023-01-13 09:50:07,603 ERROR (main|1) [BDBEnvironment.setup():233] error to open replicated environment. will exit.com.sleepycat.je.EnvironmentFailureException: (JE 7.3.7) 10.179.110.250_9015_1653712

java

jar

元数据

置顶原创精选 2023-01-13 10:06:28 2523 阅读

Ambari安装Hive启动时报无法创建虚拟机

[root@hdp03 hive]# cat hive-server2.errError: VM option 'UseG1GC' is experimental and must be enabled via -XX:+UnlockExperimentalVMOptions.Error: Could not create the Java Virtual Machine.Error: A fat

解决方案

hive

Machine

置顶原创 2023-01-11 21:51:15 782 阅读

org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask

Error: org.apache.hive.service.cli.HiveSQLException: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask这个问题是hive进行map join

数据

hive

apache

置顶原创 2022-12-26 13:07:17 445 阅读

hive执行大SQL的时候hive.server2.thrift.max.worker.threads if applicable.

Unexpected end of file when reading from HS2 server. The root cause might be too many concurrent connections. Please ask the administrator to check the number of active connections, and adjust hive.se

nginx

解决方案

hive

置顶原创 2022-12-19 12:23:17 2130 阅读

算法环境jupyter安装及启动

设置密码jupyter notebook password设置配置文件jupyter notebook --generate-configc.NotebookApp.allow_root =Truec.NotebookApp.ip = '*'c.NotebookApp.open_browser = Falsec.NotebookApp.password='sha1:31aa1f72a166:6e5

tensorflow

spark

置顶原创精选 2022-11-29 14:40:11 337 阅读

Starrocks提示be找不到JAVA_HOME

解决方案：vim /etc/profile这里面添加java的环境变量source /etc/profile重启be进程

环境变量

vim

重启

置顶原创 2022-11-25 15:30:22 551 阅读

CDH6.2.1的hive 2.1.1升级到2.3.9后的beeline报错处理

org.apache.hive.com.esotericsoftware.kryo.KryoException: java.lang.ArrayIndexOutOfBoundsException: -2

java

hive

apache

置顶原创精选 2022-11-25 14:56:26 1045 阅读 2点赞 2收藏

Centos7挂载超过2T以上的硬盘

1.使用fdisk -l查看磁盘信息2.使用parted进行分区parted /dev/nvme0n1输入mklabel 输入gpt输入mkpartPartition name?[]hdfs1 #输入一个名称File system type?[ext2]? xfsStart? 1 #全盘开始End? -1 #全盘结束w保存quit退出 3.格式化分区mkfs.xfs /dev/nvme0n1p1

hdfs

自动挂载

vim

置顶原创精选 2022-11-12 15:33:04 2471 阅读

欢迎

首页
1
2
3
4
5
6
7
8
共614条记录

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客