江南独孤客的博客_大数据篇,数据库篇,Linux(3)

按发布时间
按阅读量
时间轴

全部656篇
2025年34篇 09月3篇 08月8篇 07月2篇 06月3篇 05月10篇 04月6篇 03月2篇 2024年19篇 12月3篇 11月1篇 08月1篇 07月1篇 06月2篇 05月1篇 04月1篇 03月4篇 02月2篇 01月3篇 2023年50篇 12月3篇 11月6篇 10月3篇 09月2篇 08月4篇 07月5篇 06月1篇 04月7篇 03月4篇 02月10篇 01月5篇 2022年300篇 12月2篇 11月11篇 10月20篇 09月10篇 08月3篇 07月16篇 06月26篇 05月51篇 04月64篇 03月27篇 02月48篇 01月22篇 2021年253篇 12月37篇 11月18篇 10月31篇 09月66篇 08月53篇 07月21篇 06月25篇 05月2篇
推荐/精选
全部

全部原创转载翻译

hive的log4j2.properties滚动日志设置时间显示格式时日志

hive

apache

ios

置顶原创精选 2022-05-09 17:33:40 2210 阅读

HDFS的DataNode服务用root权限启动后在用Hadoop用户启动报错处理

报错日志org.apache.hadoop.hdfs.qjournal.client.QuorumException: Got too many exceptions to achieve quorum size 2/3. 3 exceptions thrown:10.4.151.60:8485: Call From master1/10.4.151.58 to slave1:8485 faile

hadoop

apache

java

置顶原创精选 2022-05-07 15:23:49 985 阅读

Dolphinscheduler任务失败告警脚本

#!/usr/bin/env pythonimport base64import hashlibimport hmacimport sysimport timeimport urllibimport requestsimport pymysqlimport jsonimport jsonpathimport datetimefrom DBUtils.PooledDB import PooledDB

json

mysql

服务器

置顶原创精选 2022-05-06 08:58:53 4921 阅读

详解Apache Hudi如何配置各种类型分区

1. 引入Apache Hudi支持多种分区方式数据集，如多级分区、单分区、时间日期分区、无分区数据集等，用户可根据实际需求选择合适的分区方式，下面来详细了解Hudi如何配置何种类型分区。2. 分区处理为说明Hudi对不同分区类型的处理，假定写入Hudi的Schema如下{ "type" : "record", "name" : "HudiSchemaDemo",

hive

apache

字段

置顶原创推荐 2022-04-11 16:12:41 3182 阅读

yum安装mysql5.7报密钥已过期的解决方案

一、安装YUM Repo1、由于CentOS 的yum源中没有mysql，需要到mysql的官网下载yum repo配置文件。下载命令：wget https://dev.mysql.com/get/mysql57-community-release-el7-9.noarch.rpm2、然后进行repo的安装：rpm -ivh mysql57-community-release-el7-9.noar

mysql

python

ide

置顶原创精选 2022-03-11 11:18:05 7925 阅读 1收藏

hive on spark报timed out waiting for connection from the Remote Spark Driver解决方案

[INFO] 2022-03-09 00:55:34.227 - [taskAppId=TASK-122-55596-532256]:[138] - -> FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed to create Spar

spark

hive

解决方案

置顶原创精选 2022-03-10 08:24:46 5924 阅读 1收藏

yarn安装MapReduce框架JAR上传的时候报错处理

22/03/03 18:14:04 INFO uploader.FrameworkUploader: Adding /opt/cloudera/parcels/CDH-6.3.0-1.cdh6.3.0.p0.1279813/lib/hadoop-yarn/./hadoop-yarn-server-common-3.0.0-cdh6.3.0.jar22/03/03 18:14:04 INFO upl

java

hadoop

jar

置顶原创精选 2022-03-04 10:04:14 3269 阅读

CDH集群出现clock offset报错

解决方案：首先：执行ntpstat，实时命令查看状态，结果发现所有服务器的状态都是未同步状态“unsynchronised”：解决NTP synchronized: no的方法：停掉ntpd, 执行ntpd -gq重新调整时间后，再启动ntpd:systemctl stop ntpdsudo ntpd -gqsystemctl start ntpd等待一会儿后（大概5分钟）,NTP synchro

服务器

重启

时间同步

置顶原创精选 2022-02-22 21:28:40 1611 阅读

Hudi使用cow生成parquet格式用hive查询的问题

现象：公司使用flink cdc的时候，往hudi同步的数据是13140条数据，模式用的是cow，生成的parquet格式文件的时候，每upstert一次，用hive使用count查询的时候一下子是之前数据的十倍，131400条了，用presto查询不会出现这种情况。解决方案：在使用hive做聚合查询的时候，前面加上以下参数set hive.input.format= org.apache.had

hive

数据

apache

置顶原创精选 2022-02-14 11:31:35 2328 阅读

登录服务器后，提示-bash-4.2# 该如何解决？

此情况一般出现在用户家目录下，环境变量文件被删除导致；-bash-4.2# 看到后面的 “ # ”吗？说明您使用的root用户登录的，您此时该去查看： root用户的家目录（/root目录）中环境变量文件（.bash*文件）是否存在此时使用命令ls -a /root查看,并没有文件.bash*-bash-4.2# ls -a /root. .. .cache .config恢复

bash

环境变量

root用户

置顶原创精选 2022-02-10 11:21:05 2095 阅读

整合Apache Hudi+Mysql+FlinkCDC2.1+CDH6.3.0

一、环境准备1.环境准备：flink 1.13.1+hudi0.10+hive2.1.1+cdh6.3.0+mysql5.7+flinkcdc2.1+flink web平台二.编译hudi（这个编译是以前的一个测试版本，编译大同小异）1.使用git命令下载hudi0.10的代码steven@wangyuxiangdeMacBook-Pro  ~  git clone https://gith

flink

hive

数据

hudi

置顶原创推荐 2021-12-15 17:13:27 10000+阅读 5点赞 3收藏 1评论

利用Grafana与系统表监控ClickHouse查询

前言我们往往需要关心数据库的查询执行情况，特别是慢查询。本文简述配置ClickHouse查询监控的一种傻瓜方法。开启查询日志打开各个ClickHouse实例的users.xml，在当前使用的profile（如default）中加入：vim /etc/clickhouse-server/users.xml#添加以下内容<log_queries>1</log_queries>再

clickhouse

Grafana

置顶原创推荐 2021-11-29 16:07:54 8672 阅读 1收藏 2评论

Spark调优 | Spark OOM问题常见解决方式

Spark OOM 问题分析Spark常见的问题不外乎OOM。我们首先看一下Spark 的内存模型：Spark在一个Executor中的内存分为三块，一块是execution内存，一块是storage内存，一块是other内存。Execution内存是执行内存，文档中说join，aggregate都在这部分内存中执行，shuffle的数据也会先缓存在这个内存中，满了再写入磁盘，能够减少IO。其实m

spark

数据

调优

参数说明

默认值

置顶原创推荐 2021-11-19 08:48:22 4898 阅读 1收藏 1评论

Ambari部署文档

一、配置说明硬件环境 1. 硬件环境节点类型操作系统ip地址主机名说明主节点Centos-7192.168.64.200ambari存储：100G从节点Centos-7192.168.64.201Ambari01存储：100G从节点Centos-7192.168.64.202Ambari02存储：100G2. 软件环境软件名称版本号JDKjdk1.8.0_151Mysql5.7.23A

ambari

mysql

java

centos

linux

置顶原创精选 2021-11-18 10:50:28 1976 阅读

flink从1.10版本升级到1.13.1版本通过flink sink往oss上写数据报错处理

因为需要往oss上数据，发现flink上的报错如下：java.lang.NoClassDefFoundError: org/apache/hadoop/mapreduce/lib/output/FileOutputCommitter at com.aliyun.emr.jfs.flink.sink.common.fs.AbstractFlinkJindoFileSystemFactory.cre

flink

java

apache

jar

hadoop

置顶原创精选 2021-11-15 14:59:12 1746 阅读 1点赞

CDH6.3.0使用阿里的jindoFS文件系统访问OSS数据时报错

报错如下：意思是无权限Caused by: java.lang.ClassNotFoundException: Class com.aliyun.emr.fs.oss.JindoOssFileSystem not found解决方案：使用root用户进入到[root@dbos-bigdata-flink005 ~]# cd /opt/cloudera/parcels/CDH-6.3.0-1.cdh

flink

hive

hdfs

oss

jindoFS

置顶原创精选 2021-11-10 09:11:44 3234 阅读 1收藏

Flink ON YARN containerized.heap-cutoff-min

今天，我对 Flink ON YARN 集群的内存进行下调整。我调整了 Container 容器最小的分配内存，导致了一系列的问题，这里记录一下。（1）yarn.nodemanager.resource.memory-mb 表示该节点上YARN可使用的物理内存总量，默认是8192（MB），注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而YARN不会智能的探测节点的物理内存总

物理内存

java

flink

默认值

最小值

置顶原创精选 2021-11-08 17:03:59 1428 阅读

整合Apache Hudi+Flink+CDH

一、环境准备1.编译hudi：看我另外一篇hudi的编译文档2.环境准备：flink 1.13.1+hudi0.10+hive2.1.1+cdh6.3.0+kafka2.2.13.配置flink on yarn模式配置如下：flink-conf.yaml的配置文件如下##################################################################

flink

hive

zookeeper

kafka

hudi

置顶原创精选 2021-11-05 14:15:58 4618 阅读 2点赞 1收藏 5评论

flinkcdc+hudi0.10+hive(自动同步分区+压缩)

版本情况说明：flink1.13.1+scala2.11+CDH6.2.0 Hadoop3.0.0+Hive2.1.1+hudi0.10mysql cdc source DDL:CREATE TABLE `users` ( `id` bigint(20) NOT NULL AUTO_INCREMENT, `name` varchar(20) DEFAULT NULL, `birthday`

hive

hadoop

java

flink

apache

置顶原创精选 2021-11-03 15:07:03 4305 阅读 17点赞 3收藏

yarn（cdh）中的虚拟cpu和内存

YARN同时支持内存和CPU两种资源的调度,默认只支持内存，如果想进一步调度CPU，需要自己进行一些配置。什么是虚拟cpu目前的CPU被划分成虚拟CPU（CPU virtual Core），这里的虚拟CPU是YARN自己引入的概念，初衷是，考虑到不同节点的CPU性能可能不同，每个CPU具有的计算能力也是不一样的，比如某个物理CPU的计算能力可能是另外一个物理CPU的2倍，这时候，你可以通过为第一个

yarn

虚拟内存

虚拟CPU

hive

置顶原创精选 2021-10-29 15:24:18 3133 阅读 1点赞 1收藏

数据湖hudi0.10使用hadoop3.0打包并更改cdh6.3.0的hive包

1.使用git命令下载hudi0.10的代码steven@wangyuxiangdeMacBook-Pro  ~  git clone https://github.com/apache/hudi.gitCloning into 'hudi'...remote: Enumerating objects: 122696, done.remote: Counting objects: 100%

hudi

hadoop

hive

flink

数据湖

置顶原创推荐 2021-10-28 16:07:28 7173 阅读 7点赞 1收藏 9评论

kafka分区扩容和修改三个副本数

Kafka是Apache旗下的一款分布式流媒体平台，Kafka是一种高吞吐量、持久性、分布式的发布订阅的消息队列系统。它最初由LinkedIn(领英)公司发布，使用Scala语言编写，与2010年12月份开源，成为Apache的顶级子项目。它主要用于处理消费者规模网站中的所有动作流数据。动作指(网页浏览、搜索和其它用户行动所产生的数据)。消息系统分类我们知道常见的消息系统有Kafka、Rabbi

cloudera

jar

kafka

zookeeper

java

置顶原创推荐 2021-10-27 11:28:04 8775 阅读 6点赞 3收藏 2评论

JD-GUI1.6 for mac big sur打不开问题

1.下载官网https://mac.filehorse.com/download-jd-gui-java-decompiler/2.intel的mac打不开报错ERROR launching 'JD-GUI'No suitable Java version found on your system!3.解决办法右击JD-GUI点击显示包内容---contents-macos,打开以下文件，把内容

JD-GUI

macos

1.6

置顶原创推荐 2021-10-18 16:00:35 4325 阅读 7点赞 3收藏 2评论

各组件配置LDAP认证手册

注：本手册以CM&CDH5.7.6为例1、Hive配置LDAP认证目前单个Hive Server2只能支持一种客户端认证方式，或者是Kerberos认证，或者是LDAP认证，所以要在一个集群内部同时支持两种认证方式，必须配置两个HiveServer 2。注：目前新版本CDH已经可以同时支持两种认证方式，在CDH5.14.4上已验证过。1.1、开启“启用LDAP身份验证”搜索“启用 LDAP

hue

hive

impala

ldap

置顶原创推荐 2021-10-13 15:45:10 5878 阅读

canal1.1.5 配置kafka

1. 简介：fcanal [kə'næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。基于日志增量订阅和消费的业务包括

canal

置顶原创推荐 2021-10-12 16:51:57 5077 阅读

基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优

基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优　　Hive默认使用的计算框架是MapReduce，在我们使用Hive的时候通过写SQL语句，Hive会自动将SQL语句转化成MapReduce作业去执行，但是MapReduce的执行速度远差于Spark。通过搭建一个Hive On Spark可以修改Hive底层的计算引擎，将MapReduce替换成Spark，从而大幅度

cdh

spark

hive

置顶原创精选 2021-10-09 11:09:20 4311 阅读 1点赞 1收藏

解决clickhouse问题库中无这个张表创建时已经存在的问题

clickhouse的问题：数据库中没有看到这个表，但是创建的时候提示已经存在。09.28 13:38:34.828623 [ 15749 ] {3ebd057e-cdba-413a-a49c-a6c5c43df920} DDLWorker: Query CREATE TABLE IF NOT EXISTS athena.tb_user_local UUID '717eeed9-d8b1-42

clickhouse

置顶原创精选 2021-09-29 09:39:22 10000+阅读 13点赞 3收藏 6评论

flink滚动日志的配置

flink 1.11.0之前版本的配置################################################################################# This affects logging for both user code and Flinklog4j.rootLogger=INFO, RFA# Uncomment this if you

flink

置顶原创精选 2021-09-28 09:51:14 3496 阅读

hue无法执行批处理作业解决方案

在执行批处理作业的时候，报作业为FAILED状态查看执行的过程中发现：oozie的问题。提示hdfs的/user/oozie/share/lib目录不存在，原因是因为没有安装oozie的共享库解决方案：点击oozie角色，操作中点击安装oozie共享库。然后测试一下批处理的脚本：脚本中没有报错，问题得到解决。

hue

置顶原创精选 2021-09-22 15:03:57 1373 阅读 1收藏

hdfs出现Cannot obtain block length for LocatedBlockt

hdfs

置顶原创精选 2021-09-15 10:54:47 1395 阅读

欢迎

首页
1
2
3
4
共120条记录

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客