江南独孤客的博客_大数据篇,数据库篇,Linux(2)

按发布时间
按阅读量
时间轴

全部656篇
2025年34篇 09月3篇 08月8篇 07月2篇 06月3篇 05月10篇 04月6篇 03月2篇 2024年19篇 12月3篇 11月1篇 08月1篇 07月1篇 06月2篇 05月1篇 04月1篇 03月4篇 02月2篇 01月3篇 2023年50篇 12月3篇 11月6篇 10月3篇 09月2篇 08月4篇 07月5篇 06月1篇 04月7篇 03月4篇 02月10篇 01月5篇 2022年300篇 12月2篇 11月11篇 10月20篇 09月10篇 08月3篇 07月16篇 06月26篇 05月51篇 04月64篇 03月27篇 02月48篇 01月22篇 2021年253篇 12月37篇 11月18篇 10月31篇 09月66篇 08月53篇 07月21篇 06月25篇 05月2篇
推荐/精选
全部

全部原创转载翻译

Presto+Hive+Kerberos集成报User: wangyx@XXX.COM is not allowed to impersonate wangyx

Presto查询的时候报错User: wangyx@XXX.COM is not allowed to impersonate wangyx2022-09-19T14:37:42.936+0800 DEBUG query-execution-1 com.facebook.presto.execution.QueryStateMachine Query 20220919_0637

java

hive

facebook

置顶原创精选 2022-09-21 06:38:57 816 阅读

Hive3.1.2使用CDH自带的Spark2.4报配置错误解决方案

hive3.1.2用的cdh6.3.2中自带的spark2.4，在beeline客户端中，切换执行引擎为spark报错，报错为加载配置文件报加载不到解决方案检查了hive-site.xml文件，缺了一个配置，就是spark.yarn.jars

spark

加载

hive

置顶原创精选 2022-09-16 05:48:36 405 阅读

doris启动 be时报错

提示check failure stack trace解决方案：主要的原因是因为配置的问题，更改为正确的配置后，问题解决

解决方案

置顶原创精选 2022-09-10 08:14:32 2766 阅读 1评论

部署presto报Presto requires Java 8u151+ (found 1.8.0_144)解决方案

安装presto的时候，报jdk版本不兼容的问题解决方案，提示最低需要java 8u151及以上版本vim /data/presto/bin/launcher export JAVA_HOME=/opt/jdk1.8.0_151export PATH=$JAVA_HOME/bin:$PATHjava -versionexec "$(dirname "$0")/launcher.py" "$@" #

java

问题解决方案

vim

置顶原创精选 2022-09-14 06:46:31 810 阅读

大数据技术之DolphinScheduler

架构设计1.1系统架构图1.2启动流程图1.3架构说明MasterServerMasterServer采用分布式无中心设计理念，MasterServer主要负责 DAG 任务切分、任务提交监控，并同时监听其它MasterServer和WorkerServer的健康状态。 MasterServer服务启动时向Zookeeper注册临时节点，通过监听Zookeeper临时节点变化来进行容错处

hadoop

mysql

java

置顶原创精选 2022-07-19 14:07:24 2973 阅读

Clickhouse服务器CPU 99.99%的处理过程

进入服务器，查询正在执行任务的语句SELECT query_id,user, query FROM system.processes;-- 通过上面指令获取到进程相关信息后，可以用query_id条件kill进程KILL QUERY WHERE query_id='67cadc87-34b2-4b81-8f8c-087485c922af' -- 杀死default用户下的所有进程KILL QUE

服务器

客户端

解决方案

置顶原创精选 2022-07-15 15:18:36 6082 阅读

Yarn开启ACL用户认证之后无法查看Yarn历史任务日志解决办法

问题描述：yarn开启ACL用户认证之后，日志只有在任务执行的时候能看到，SPARK任务跑完之后，在去看日志报User[yarn] is not authorized to view the logs for container的提示解决方案：主要是原因是我开启sentry认证之后，资源池的队列用ACL进行了管理，提交的时候都是以hive用户来提交的，在ACL中只加了root忘记加hive和yar

hive

hdfs

解决方案

置顶原创精选 2022-07-07 16:25:55 1303 阅读

大数据技术之CM安装

Cloudera Manager1.1 cloudera manager的概念简单来说，Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件）,使得安装集群从几天的时间缩短在几个小时内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。1.2 cloudera manager的功能管理：对集群进行管理，如添加、删除节点等操作。监控：

cloudera

hadoop

java

置顶原创精选 2022-06-29 12:54:40 652 阅读 Word文档导入

hue新建账号报错解决方案

22/06/26 19:03:45 INFO client.SparkClientImpl: 22/06/26 19:03:45 INFO conf.Configuration: resource-types.xml not found22/06/26 19:03:45 INFO client.SparkClientImpl: 22/06/26 19:03:45 INFO resource.Res

spark

java

apache

置顶原创精选 2022-06-26 19:22:44 435 阅读

ELK部署

原理说明Elasticsearch 是一个实时的分布式的可扩展的使用REST接口的搜索引擎，允许进行全文、结构化搜索，它通常用于索引和搜索大量日志数据，也可用于搜索许多不同类型的文档。它基于Apache Lucene (TM)的开源搜索引擎，Lucene 非常复杂，你需要深入的了解检索相关知识来理解它是如何工作的。Elasticsearch 也是使用 Java 编写并使用 Lucene 来建立索引

elasticsearch

docker

数据

置顶原创精选 2022-06-18 09:50:05 666 阅读 1点赞

大数据技术之CM安装

第1章 Cloudera Manager1.1 cloudera manager的概念简单来说，Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件）,使得安装集群从几天的时间缩短在几个小时内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。1.2 cloudera manager的功能管理：对集群进行管理，如添加、删除节点等操作。

cloudera

hadoop

mysql

置顶原创精选 2022-06-17 21:46:07 275 阅读 1点赞

ClickHouse之DBA运维宝典

最近有位网友与我聊天，他是一名 DBA，问我在 ClickHouse 中有没有一些能够 “安家立命” 的运维 SQL 语句。我想对于这个问题很多朋友都会有兴趣，所以就在这里做一个简单的分享。在 ClickHouse 默认的 system 数据库下(databse)，拥有众多的系统表。我们对 ClickHouse 运行状态的各种信息，就主要来自于这些系统表。接下来就列举一些常用的运维 SQL 语句。

sed

sql

数据

置顶原创精选 2022-06-16 09:59:31 808 阅读 1点赞

Kubernetes 标准化部署文档

审核人大数据运维组重要性中紧迫性中拟制人王昱翔提交日期2020年 12月28日一： kubernetes的使用1.1 kubernetes的概述与架构 1.1.1.kubernetes的概述：kubernetes，简称K8s，是用8代替8个字符“ubernete”而成的缩写。是一个开源的，用于管理云平台中多个主机上的容器化的应用，Kubernetes的目标是让部署容器化的应用简单并且高效（p

fish

docker

json

置顶原创精选 2022-06-14 16:32:40 1754 阅读 1点赞 Word文档导入

Clickhouse重复数据处理

1.重复数据产生原因正常我们使用MergeTree引擎创建表，虽然MergeTree拥有主键，但是它的主键没有唯一键的约束，这就意味着即便多行数据的主键相同，它们还是能够被正常写入。这里如果需要去重，可以使用 ReplacingMergeTree，它能够在合并分区时删除重复的数据，但是只能对同一分区的数据去重，且去重依据是order by排序键。2.使用ReplacingMergeTree引擎创建

主键

创建表

数据

置顶原创精选 2022-06-13 14:35:23 9407 阅读

ClickHouse 亿级数据性能测试

最近由于项目需求使用到了 ClickHouse 做分析数据库，于是用测试环境做了一个单表 6 亿数据量的性能测试，记录一下测试结果，有做超大数据量分析技术选型需求的朋友可以参考下。服务器信息CPU：Intel Xeon Gold 6240 @ 8x 2.594GHz内存：32G系统：CentOS 7.6Linux内核版本：3.10.0磁盘类型：机械硬盘文件系统：ext4Clickhouse信息部署

sed

数据

性能测试

置顶原创精选 2022-06-12 18:30:58 1645 阅读 1点赞 1收藏 1评论 Word文档导入

HBase Shell操作、HBase创建表、添加数据、查看表数据、操作列簇、删除表

1. HBase Shell操作连接集群hbase shell2. 创建表create 'user','base_info'3. 向表中添加数据put 'user', 'rowkey_10', 'base_info:username', '张三'put 'user', 'rowkey_10', 'base_info:birthday', '2014-07-10'put

数据

删除表

添加数据

置顶原创精选 2022-06-07 14:44:59 6084 阅读 1点赞 1收藏 1评论

Dolphinscheduler中Hive慢查询的耗时最时间最长告警

import pymysqlimport jsonimport requestsimport hmacimport hashlibimport timeimport base64import urllibfrom DBUtils.PooledDB import PooledDB# 数据库连接池需要执行安装 pip3 install DBUtils==1.3from apscheduler.sc

mysql

json

sql

置顶原创精选 2022-06-06 17:31:13 761 阅读 1点赞 1收藏 2评论

HIVE-HUE 权限控制

HIVE权限控制数据分析小伙伴需要通过hue客户端对hive的数据进行查询，主要创建三个用户，Hue账号，linux账号，hive中角色。Hue添加用户通过Hue访问hive，首先要在Hue创建登录用户并授予权限。Linux添加用户useradd allsel #添加用户passwd allsel #设置用户密码gpasswd -a al

hive

hadoop

apache

置顶原创精选 2022-05-31 20:23:43 3334 阅读 1收藏

Kudu表数据备份还原说明

文档目的ods层kudu大表数据迁移到hive迁移步骤先将数据从kudu备份到hdfs上，再从hdfs将数据还原到hive数据备份脚本#!/bin/bashdt=`date "+%Y%m%d %H:%M:%S"`echo "$dt 开始数据备份！" >> ./backup.logsudo -u hdfs spark-submit --master yarn \ --class o

jar

数据

hdfs

置顶原创精选 2022-05-30 20:00:58 1262 阅读 Word文档导入

Impala运维规范

目录Impala运维规范 11.账号使用规范 22.连接规范 23.巡检规范 23.1内存使用 23.2cpu使用率 33.3磁盘io负载 33.4网络io负载 44监控范围 44.1各 Impala Daemons 中的总 Total Used Memory 44.2各 Impala Daemons 中的总 R

运维

sed

ide

置顶原创精选 2022-05-28 10:44:23 732 阅读 Word文档导入

Impala自动同步Hive元数据

目录1. 引言 31.1 背景介绍 31.2 编写目的 31.3 适用范围 31.4 角色职责 31.5 其他 32. 非生产环境测试结果 42.1 impala参数调整前测试 42.2impala参数调整后测试 43. Impala现有环境介绍 43.1现有集群规模 43.2调参缘由 43.3离

hive

数据

xml

置顶原创推荐 2022-05-27 10:07:55 2491 阅读 5点赞 1收藏 Word文档导入

Hive跨集群和版本迁移

公司重新搭建CDH6.3.0，并把旧集群Hive1.1迁移新集群Hive2.1，记录一下过程。一. 迁移Hive数据和MySQL中的matastore通过DistCp拷贝Hive数据到新集群，并从MySQL中导出Hive的元数据上传到新集群，最后在新集群MySQL中导入Hive元数据，并更新Hive版本，修改信息。1. 迁移Hive数据和MySQL中的matastore版本差异大，使用htfpha

hive

hdfs

mysql

置顶原创推荐 2022-05-25 16:18:15 1630 阅读 1收藏

Scm-Server迁移

日期版本修订说明修改人2020-07-05V1.0.0创建文档王昱翔目录1. 引言 31.1 背景介绍 31.2 编写目的 31.3 适用范围 31.4 角色职责 31.5 其他 42. 当前环境概述 42.1离线数仓线上边缘节点使用情况 42.2 节点迁移方案 52.3 角色迁移操作过程

cloudera

离线

重启

置顶原创精选 2022-05-19 09:01:05 496 阅读 Word文档导入

农业大数据平台建设项目

农业大数据平台建设项目建议方案 ***2019年10月目录1 概述 11.1 相关政策 11.2 农业大数据 11.3 农业大数据平台 32 建设的可行性及需要解决的关键技术 52.1 建设的可行性 52.2 需解决的关键技术问题 52.2.1 数据存储 52.2.2 数据分析

数据

大数据

数据库

置顶原创精选 2022-05-19 08:55:51 3770 阅读 1收藏 Word文档导入

Flink on K8S删除S3存储下的checkpoint后报错如下

1.提交命令/usr/bin/zion-flink --config=etcd://xiantest09v.xian.zzt.qianxin-inc.cn:2483,xiantest10v.xian.zzt.qianxin-inc.cn:2483,xiantest11v.xian.zzt.qianxin-inc.cn:2483/da.xian.test --config.ns=da.xian.te

flink

客户端

重启

置顶原创精选 2022-05-17 15:35:14 1054 阅读

Flink入门之Flink程序开发步骤（Java语言）

我们如果要使用flink进行计算开发，一个完整的开发步骤是怎样的呢？Batch Analytics，右边是 Streaming Analytics。批量计算: 统一收集数据->存储到DB->对数据进行批量处理，对数据实时性邀请不高，比如生成离线报表、月汇总，支付宝年度账单（一年结束批处理计算）Streaming Analytics 流式计算，顾名思义，就是对数据流进行处理，如使用流式分

flink

数据

java

置顶原创精选 2022-05-16 19:40:31 4210 阅读 2收藏

Mysql主从部署

目录一、概述 21.mysql主从复制原理 22.复制架构 3二、安装mysql 51.包下载方式 5三、基于binlog搭建主从复制 61.一主一从配置 62.新建用户授权 73.测试 94.基于 binlog 不影响业务搭建主从 95.主从复制 binlog 格式 116.主从

mysql

sql

数据

置顶原创精选 2022-05-16 17:40:43 856 阅读 Word文档导入

MacOS下安装Apache Flink及测试WordCount

1.安装java1.8版本steven@wangyuxiangdeMacBook-Pro  ~  java -versionjava version "1.8.0_211"Java(TM) SE Runtime Environment (build 1.8.0_211-b12)Java HotSpot(TM) 64-Bit Server VM (build 25.211-b12, mixed

flink

apache

java

置顶原创推荐 2022-05-16 15:43:40 3429 阅读 2点赞

Sqoop从Hive导出表到Mysql报错处理

[INFO] 2022-05-13 08:44:19.995 - [taskAppId=TASK-29-71229-742765]:[138] - -> 22/05/13 08:44:19 INFO mapreduce.Job: map 100% reduce 0% 22/05/13 08:44:19 INFO mapreduce.Job: Job job_1640763627991

java

mysql

apache

置顶原创精选 2022-05-13 09:22:40 2551 阅读

Flink高可用测试

介绍Flink on Yarn的HA高可用模式，首先依赖于Yarn自身的高可用机制（ResourceManager高可用），并通过Yarn对JobManager进行管理，当JobManager失效时，Yarn将重新启动JobManager。其次Flink Job在恢复时，需要依赖Checkpoint进行恢复，而Checkpoint的快照依赖于远端的存储：HDFS，所以HDFS也必须是高可用，同时J

zookeeper

mysql

flink

置顶原创精选 2022-05-12 09:28:16 1598 阅读

欢迎

首页
1
2
3
4
共120条记录

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客