江南独孤客的博客_大数据篇,数据库篇,Linux(1)

按发布时间
按阅读量
2023年 50篇

全部619篇
2024年16篇 11月1篇 08月1篇 07月1篇 06月2篇 05月1篇 04月1篇 03月4篇 02月2篇 01月3篇 2023年50篇 12月3篇 11月6篇 10月3篇 09月2篇 08月4篇 07月5篇 06月1篇 04月7篇 03月4篇 02月10篇 01月5篇 2022年300篇 12月2篇 11月11篇 10月20篇 09月10篇 08月3篇 07月16篇 06月26篇 05月51篇 04月64篇 03月27篇 02月48篇 01月22篇 2021年253篇 12月37篇 11月18篇 10月31篇 09月66篇 08月53篇 07月21篇 06月25篇 05月2篇
推荐/精选
全部

全部原创转载翻译

欢迎

CM金丝雀Canary报错

CM金丝雀Canary报错1 HDFS 金丝雀Canary 测试无法为 /tmp/.cloudera_health_monitoring_canary_files 创建父目录。2 Hive Metastore CanaryHive Metastore canary 创建 hue hdfs 主目录失败。检查：1）hdfs是否处于safemode，正常是off# hdfs dfsadmin -safe

hdfs

cloudera

错误提示

置顶原创 10月前 10000+阅读

hive 查看表权限命令行 hive 查询表权限

一、acl权限 1、设置acl权限 hadoop fs -setfacl -R -m user:ly.feng:rw- /user/hive/warehouse/ucar.db/t_b_city 2、删除用户acl权限 hadoop fs -setfacl -x user:ly.feng /user/hive-0.13.1/warehouse/ucar.db/t_b_city 3、删除所有a

hive

用户权限

置顶原创 10月前 181 阅读

统计HDFS中文件数量、大小、以及在某范围大小的文件数量

说明：统计HDFS文件数量大小，小于20M文件数量1、HDFS 相关命令# 统计文件大小 hdfs dfs -du -h / # 统计文件数量，返回的数据是目录个数，文件个数，文件总计大小，输入路径 hdfs dfs -count / #统计所有文件的信息，过滤文件夹, 只统计文件，因为使用-ls -R 之后,可以看到文件是”-“开头，文件夹是”d”开头 hdfs dfs -ls -R /

hdfs

HDFS

数据

置顶原创 10月前 10000+阅读

配置impala自动同步HMS元数据

由于Impala 的 Automatic Invalidate/Refresh Metadata的功能在CDH6.3版本才有的功能，通过以上两个升级，已经具备的该功能，下面是需要配置该功能测试环境1.CM和CDH版本为6.1.1(hive的版本升级到了CDH6.3.2-2.1.1)2.操作系统版本为RedHat 7.63.impala3.4版本操作步骤进入CM界面 > Hive > 配

hive

hadoop

置顶原创精选 11月前 10000+阅读

cdh6.1.1的hive升级到CDH6.3.2的hive

1.在hive创建数据库的情况下，impala无法自动刷新元数据1.1 发现问题在CDH6.1版本下创建数据库，如在hive中create database test_db; 再在impala中 show databases;没有显示test_db，说明test_db并没有刷新到Impala的catalog中，通过查找Impala Catalog的role log，发现如下的异常日志:Unexp

java

hive

apache

置顶原创精选 11月前 10000+阅读

CDH6.1.1 impala3.1.0升级到3.4.1

本地环境硬件要求CPU 必须至少支持 SSSE3最小内存：16GB （社区推荐64G）硬盘空间：120GB（用于测试数据）仅支持Linux的操作系统Ubuntu 14.04、16.04、18.04CentOS 7编译环境一套CDH6.1.1集群，部署在三台centos7.6机器上一台同样环境的centos机器用来编译Apache Impala 3.4编译impala CDH6.1.1对应

cloudera

apache

置顶原创 11月前 10000+阅读

CDH的Hive升级后，使用spark报kryo.KryoException: java.lang.IndexOutOfBoundsException: Index: 109, Size: 6

公司用的CDH是6.1.1版本的，但是因为这个版本的impala无法自动刷hive的catlog,所以我把hive升级到了6.3.2版本的hive2.1.1了，使用mr引擎没有问题，但是我使用spark的时候就报错了23/11/20 11:39:28 ERROR rpc.RpcDispatcher: [Remote Spark Driver to HiveServer2 Connection] R

java

hive

apache

置顶原创 11月前 566 阅读

Namenode报 failed； error=‘Cannot allocate memory‘ (errno=12)

因为我的CDH平台用的是虚拟机跑的，上面部署的服务太多了，在重启namenode以后出现down的状态，一直起不来，后来查看error日志，报以下错误：Namenode报 failed； error=‘Cannot allocate memory‘ (errno=12)一、解决办法：由于报错os::commit_memory(0x00000000fec00000, 20971520, 0)，但是经

内存分配策略

重启

内存空间

置顶原创精选 11月前 604 阅读 1点赞

ClouderaManager中Event Server报java.io.IOException: No sub-file with id .fnm found

晚上9点30:03.266分 ERROR EventCatcherService Error starting EventServer java.io.IOException: No sub-file with id .fnm found (fileName=_1f9.cfs files: [f474fa52c5c7e5cfdc49"resourcemanager (wyx-cdh-,

java

cloudera

lucene

置顶原创 11月前 181 阅读

编译impala3.4.1的时候在cdh服务器上出现namenode的进入安全模式的报错

原因：我在CDH的HDFS上编译的impala3.4成功以后，HDFS的Namenode的报错进入了安全模式，报错内容如下备注：如果不了解编译的内容，最好是在新的机器上编译，不然会破坏原系统的稳定性分析原因：在编译impala的时候，脚本中更改了服务器的hosts,重新安装了java环境以上是更改了原服务器的环境的配置解决方案：1.删除java的yum安装包2.清理hosts文件夹中用脚本生成的服

服务器

HDFS

yum安装

置顶原创 2023-10-31 10:29:19 120 阅读

mysql数据库连通性测试并告警

#!/bin/bash # MySQL查询结果文件路径 result_file="/root/result.txt" # 微信告警信息 weixin_webhook="https://qyapi.weixin.qq.com/cgi-bin/webhook/send?key=替换成自己的KEY" APPLICATION_JSON_TYPE="Content-Type

MySQL

微信

连接失败

置顶原创 2023-10-12 18:27:01 214 阅读

Impala刷新hive的元数据

1.脚本#!/bin/bash # 设置Impala的连接属性 im_host="192.168.1.1" im_port="21050" im_user="hive" im_password="11111" # 刷新元数据 echo "刷新Impala元数据..." # 执行刷新元数据的Impala命令 cmd="refresh dc_dev

元数据

hive

置顶原创 2023-09-01 13:44:28 330 阅读

tar的详解

[root@linux ~]# tar [-cxtzjvfpPN] 文件与目录 .... 参数： -c ：建立一个压缩文件的参数指令(create 的意思)； -x ：解开一个压缩文件的参数指令！ -t ：查看 tarfile 里面的文件！特别注意，在参数的下达中， c/x/t 仅能存在一个！不可同时存在！因为不可能同时压缩与解压缩。 -z ：是否同时具有 gzip 的属性？亦即是否需要用 g

linux

绝对路径

压缩文件

置顶原创 2023-08-28 14:33:34 114 阅读

Hadoop HDFS3.0的默认配置项

namevaluedescriptionhadoop.hdfs.configuration.version1version of this configuration filedfs.namenode.rpc-addressRPC address that handles all clients requests. In the case of HA/Federation where mul

ide

RPC

HTTPS

置顶原创 2023-08-28 13:50:51 475 阅读

使用python监控HDFS文件的增量【优化中】

1.目录1、需求和步骤2、项目结构3、项目代码 3.1建表语句 hdfs_Ctreate_table 3.2删除文件记录 hdfs_delete_file_record.py 3.3文件路径的小时监控 hdfs_path_Monitor.py

mysql

hdfs

sql

置顶原创精选 2023-08-28 11:37:42 462 阅读 1点赞 1评论

Hbase 删除表数据

1.Hbase 清空整个表数据注意：清空表数据是否要保留预分区# truncate会把表分区也清除掉 truncate 'namespace:tableName' # truncate_preserve只清除数据 truncate_preserve 'namespace:tableName2.删除具体数据# 删除emp表中特定的单元格数据 delete 'emp','row','col

数据

表数据

表分区

置顶原创 2023-08-03 09:29:53 407 阅读

Nebula图数据库网络监控无法显示的问题

背景：因公司使用的图数据是Nebula，在部署监控的过程发现无法获取网络监控的前端显示，原因是生产上有虚拟网络，而且不是以eth开头的，这个需要修改源码才能解决1.进入nebula-dashboard的前端修改界面cd /opt/nebula-dashboard/public2.打开main.1314ff9d9190129689ac.js修改device=~"(eth|en)[a-z0-9]*"

重启

虚拟网络

网络监控

置顶原创 2023-07-31 18:48:06 118 阅读

Hbase跨集群同步数据

增量同步add_peer '5', CLUSTER_KEY => "192.168.1.1,192.168.1.2,192.168.1.3:2181:/hbase", STATE => "ENABLED" set_peer_tableCFs '5', { "jfrcs:graph" => ["e", "f", "g", "h", "i", "l", "m", "s", "t"]

apache

hadoop

hdfs

置顶原创 2023-07-26 15:16:12 256 阅读

Hbase报Master is initializing

报错日志 Error running canary: org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after attempts=2, exceptions: Tue Jul 18 11:04:15 CST 2023, RpcRetryingCaller{globalStartTime=1689649455392,

apache

hadoop

java

置顶原创 2023-07-18 17:45:26 437 阅读

解决impala查询时提示内存不足的问题

提示如下,提示可用内存为0Admission result : QueuedLatest admission queue reason : Not enough aggregate memory available 8245f198ee96ec8:74134 max mem resources 150.00 GB. Needed 38.43 GB but only 0 was available.

服务器

sql

开发人员

置顶原创 2023-07-17 18:00:49 714 阅读

Hbase报 Above paralle1PutTostoreThreadLimit

HBaselnterClusterReplicationEndpoint Can't replicate because of an error on the remote cluster: org.apache.hadoop.hbase.client.RetriesExhaustedWithDetailsException:org.apache.hadoop.hbase.client.Retri

apache

hadoop

java

置顶原创 2023-07-07 09:20:44 508 阅读

DataNode的FullGC的处理过程

背景：因公司每天中午11:08~11:40之间，DataNode所有的节点都会挂一会，主要是因为任务太过于集中的原因，在加上公司的HDFS的数据存储已经快达到了2P，DataNode的GC参数还是原来的4G，需要针对问题进行处理处理方案：先查看DataNode的GC情况 jps jstat -gcutil 55336查看FGC有1574次1.先把集群中的小文件删除掉#!/usr/bin/bas

hdfs

Java

置顶原创 2023-06-27 12:39:18 341 阅读

调度平台找不到CDH的Spark客户端

一.背景:因为公司使用的调度平台是没有加入到CDH集群,所以只复制了/opt/cdh下的所有文件到调度平台的work节点,公司的平台一直使用的是MR引擎为调度,上周接到一个项目,必须跑spark,调度平台执行了以后报错找不到hive on spark找不到spark的客户端.FAILED: Execution Error,return code 30041 from org.apache.hado

spark

客户端

hive

置顶原创 2023-04-20 23:11:25 143 阅读

Starrocks在建查hive外表时报EOFException: End of file reached before reading fully

1.在Hive外表时没有报错,但是把hive外表的数据插入到Starrcoks内表时报错如下: [Err] 1064 - HdfsOrcScanner.:do open failed. reason = Failed to read 0.error=Error(255): Unknown error 255, root cause=EOFException: End of f

hive

数据

建表

置顶原创 2023-04-15 08:29:05 1253 阅读

HiveServer2加载UDF函数不释放的处理

一. 故障原因:同事晚上收到服务器告警,其中OS磁盘被占用到85%(500G),查找整个OS盘下的文件占用量也没有找到占用几十几百G的大文件,其中先找到了十几个5G多的文件清理掉后,解决磁盘告警的问题,第二天同事反馈到我这里,让我排查一下原因.二.排查思路1.inode小文件,查看存在的并不多2.查看删除未释放的文件,发现有非常多调度系统中的UDF函数调用的未释放(大约有6W多)losf | gr

hive

重启

解决方案

置顶原创精选 2023-04-11 20:58:14 746 阅读

HDFS中的数据迁移到阿里云的OSS脚本

#!/bin/bash oss_size1=`hdfs dfs -du -s oss://dbbigdatapro/group/user/tools/meta/hive-temp-table/test_dbjs_home_nav/${date_desc} | awk '{print $1}'` if [[ oss_size1 -gt 0 ]] then echo "${date_desc}数据已

数据

hive

hdfs

置顶原创 2023-04-11 21:44:06 272 阅读

CDH集群之间迁移hive数据脚本

#!/bin/bash #set -x DB=$1 #获取hive表定义 ret=$(hive -e 'use ${DB};show tables;'|grep -v _es|grep -v _hb|grep -v importinfo) for tem in $ret; do hive -e "use ${DB};show create table $tem" >> /t

hive

hadoop

hdfs

置顶原创 2023-04-09 17:11:27 337 阅读 1点赞

生产环境CDH集群主机加内存导致系统无法启动,重装系统后CDH数据修复的过程

原因:因为主机扩容内存重启以后发现有七台服务器无法进入系统,重启之前Centos7的启动项被修改过导致无法重启,只能重新安装操作系统,但是HDFS的数据是保存到data盘中.系统OS:CentOS Linux release 7.6.1810 (Core) CDH版本:6.2.1 重新安装操作系统的服务器 10.170.12.43 db-pro-datanode-12-43 10.170.12

hdfs

重启

服务器

置顶原创 2023-04-09 14:59:36 552 阅读

Starrocks的知识

Starrocks是什么，它与其他OLAP数据库的区别是什么？Starrocks是一种分布式列式存储的MPP（Massively Parallel Processing）OLAP数据库，能够支持PB级别的数据存储和查询。与传统的基于Hadoop的OLAP系统相比，Starrocks具有以下几点优势：灵活的存储格式：Starrocks使用列式存储，可以根据数据特点和查询需求进行灵活的存储格式选择，从

数据

Hive

高可用性

置顶原创精选 2023-04-03 22:14:03 5574 阅读

Kafka的问题导致Starrocksr报错

因Kafka消费太慢，导致StarrocksFE报错，报错信息如下ErrorReason{errCode = 104, msg='be 11024 abort task with reason: fetch failed due to requested offset not available on the broker: Broker: Offset out of range'}"解决方案：重

报错信息

重置

解决方案

置顶原创 2023-03-16 15:03:10 1910 阅读

首页
1
2
共50条记录

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客