江南独孤客的博客_大数据篇原创博文(6)

Flink on K8S删除S3存储下的checkpoint后报错如下

1.提交命令/usr/bin/zion-flink --config=etcd://xiantest09v.xian.zzt.qianxin-inc.cn:2483,xiantest10v.xian.zzt.qianxin-inc.cn:2483,xiantest11v.xian.zzt.qianxin-inc.cn:2483/da.xian.test --config.ns=da.xian.te

flink

客户端

重启

置顶原创精选 2022-05-17 15:35:14 1054 阅读

Flink入门之Flink程序开发步骤（Java语言）

我们如果要使用flink进行计算开发，一个完整的开发步骤是怎样的呢？Batch Analytics，右边是 Streaming Analytics。批量计算: 统一收集数据->存储到DB->对数据进行批量处理，对数据实时性邀请不高，比如生成离线报表、月汇总，支付宝年度账单（一年结束批处理计算）Streaming Analytics 流式计算，顾名思义，就是对数据流进行处理，如使用流式分

flink

数据

java

置顶原创精选 2022-05-16 19:40:31 4209 阅读 2收藏

离线数仓关闭信息收集方案

xxxx2020年06月日期版本修订说明修改人2020-06-28V1.0.0创建文档王昱翔目录1. 引言 31.1 背景介绍 31.2 编写目的 31.3 适用范围 31.4 角色职责 31.5 其他 42. 当前环境概述 42.1离

离线

数据

测试评审

置顶原创 2022-05-16 17:57:06 208 阅读 Word文档导入

Sqoop从Hive导出表到Mysql报错处理

[INFO] 2022-05-13 08:44:19.995 - [taskAppId=TASK-29-71229-742765]:[138] - -> 22/05/13 08:44:19 INFO mapreduce.Job: map 100% reduce 0% 22/05/13 08:44:19 INFO mapreduce.Job: Job job_1640763627991

java

mysql

apache

置顶原创精选 2022-05-13 09:22:40 2551 阅读

Flink高可用测试

介绍Flink on Yarn的HA高可用模式，首先依赖于Yarn自身的高可用机制（ResourceManager高可用），并通过Yarn对JobManager进行管理，当JobManager失效时，Yarn将重新启动JobManager。其次Flink Job在恢复时，需要依赖Checkpoint进行恢复，而Checkpoint的快照依赖于远端的存储：HDFS，所以HDFS也必须是高可用，同时J

zookeeper

mysql

flink

置顶原创精选 2022-05-12 09:28:16 1598 阅读

Hive连接时报错user:hadoop is not allowed to impersonate anonymous

报错如下：user:hadoop is not allowed to impersonate anonymous原因：用户代理未生效。检查core-site.xml文件是否正确配置。<property> <name>hadoop.proxyuser.hadoop.hosts</name> <value>*</value><

hadoop

加载

hdfs

置顶原创 2022-05-11 17:40:26 2167 阅读 1点赞

hive的log4j2.properties滚动日志设置时间显示格式时日志

hive

apache

ios

置顶原创精选 2022-05-09 17:33:40 2208 阅读

HDFS的DataNode服务用root权限启动后在用Hadoop用户启动报错处理

报错日志org.apache.hadoop.hdfs.qjournal.client.QuorumException: Got too many exceptions to achieve quorum size 2/3. 3 exceptions thrown:10.4.151.60:8485: Call From master1/10.4.151.58 to slave1:8485 faile

hadoop

apache

java

置顶原创精选 2022-05-07 15:23:49 985 阅读

批量解冻OSS的归档文件

代码（需要先下载客户端）./ossutilmac64 restore -r oss://dbbigdatapro/group/user/tools/meta/hive-temp-table/test_os_sys_state/ossutil工具旨在为您提供一个以命令行方式管理OSS数据的途径。当前版本未提供完整的Bucket和Multipart管理功能，相关功能会在后续版本中开发。如果

配置文件

配置项

压缩包

置顶原创 2022-05-06 09:13:18 821 阅读

Dolphinscheduler任务失败告警脚本

#!/usr/bin/env pythonimport base64import hashlibimport hmacimport sysimport timeimport urllibimport requestsimport pymysqlimport jsonimport jsonpathimport datetimefrom DBUtils.PooledDB import PooledDB

json

mysql

服务器

置顶原创精选 2022-05-06 08:58:53 4921 阅读

如何选择Apache/CDH/HDP版本

框架基本选型（1）Apache：运维麻烦，组件间兼容性需要自己调研。（一般适合大厂使用，技术实力雄厚，有专门的运维人员）（建议使用）（2）CDH：国内使用最多的版本，但是CM不开源，从2021年1月31日开始，所有Cloudera软件都需要有效的订阅，并且只能通过付费墙进行访问，一个节点一万美金。（太贵了

apache

运维

安装包

置顶原创 2022-05-05 14:54:30 1086 阅读

CDP7.3.0新增的功能

Cloudera Manager 7.3.0 的新增功能Cloudera Manager 的新功能和更改的行为。Cloudera 错误：OPSAPS-58397：使架构注册表哈希算法可配置向架构注册表配置添加了新选项，您可以在其中更改用于生成架构指纹的散列算法。默认值为 MD5。Cloudera 错误：OPSAPS-57697：SMM 应该在 Cloudera Manager 中自动配置 SRMS

cloudera

随机数

spring

原创 2022-05-04 15:39:55 372 阅读

hdfs批量删除某日期文件

今天在写表的时候发现没有把历史数据删除，所以要删除非本日日期的文件。1、首先将非本日日期的文件输出到txthdfs dfs -ls /tmp/hive/tools/8bd379f1-6f5e-4d59-b3a3-ab8374837860/ | grep -v 2022-04-24 >./hdfs.txt2、利用awk编写删除脚本cat hdfs.txt | awk -F " " '{prin

hdfs

d3

bash

置顶原创 2022-04-26 14:51:01 1677 阅读

Flink日志接入ELK

准实时的邮件直接告警很容易将公司的邮箱服务打爆，如果将日志接入ELK,一方面能实现日志的统一存储，方便后续查看追踪，另一方面也能根据特定级别的日志量进行分析，实现曲线预警。logback将日志接入ELK，可以将日志先打到Kafka，es再费kafka的消息。lobback原生是没有写入kafka的组件，需要使用到第三方的包：danielwegener/logback-kafka-appender

kafka

flink

github

置顶原创 2022-04-13 11:21:44 1287 阅读

Hudi使用场景

近实时摄取Hudi对各种数据的摄取都有很多的优点。能够帮助合并DFS上的最小文件。这有助于解决HDFS和云存储上的小文件问题，显著提高查询性能。Hudi增加了非常需要的原子提交新数据的能力，使查询永远看不到部分写入，并帮助摄取从失败中优雅地恢复。将OLTP源(如事件日志、数据库、外部源)中的数据吸收到data Lake中是一个常见问题，不幸的是，这个问题只能通过使用混合的吸收工具以零碎的方式解决。

数据

kafka

加载

置顶原创 2022-04-11 17:03:05 1431 阅读

详解Apache Hudi如何配置各种类型分区

1. 引入Apache Hudi支持多种分区方式数据集，如多级分区、单分区、时间日期分区、无分区数据集等，用户可根据实际需求选择合适的分区方式，下面来详细了解Hudi如何配置何种类型分区。2. 分区处理为说明Hudi对不同分区类型的处理，假定写入Hudi的Schema如下{ "type" : "record", "name" : "HudiSchemaDemo",

hive

apache

字段

置顶原创推荐 2022-04-11 16:12:41 3182 阅读

查看hdfs的block的总块数

block的总块数fsck命令里面包含HDFS中的基本信息。hadoop fsck / | grep 'Total blocks' | awk '{print $4}'

hadoop

hdfs

置顶原创 2022-04-02 15:17:47 1830 阅读

调整 NameNode 堆内存

每个工作负载都有一个唯一的字节分布配置文件。一些工作负载可以使用默认 JVM 设置进行堆内存和垃圾收集，但其他工作负载需要调整。如果动态堆设置导致瓶颈，本主题提供有关调整 NameNode JVM 大小的指南。所有 Hadoop 进程都在 Java 虚拟机 (JVM) 上运行。JVM 的数量取决于您的部署模式：本地（或独立）模式 - 没有守护程序，一切都在单个 JVM 上运行。伪分布式模式 - 每

命名空间

hadoop

堆内存

置顶原创 2022-04-02 11:26:56 1484 阅读

NameNode JVM配置详解

线上NameNode JVM如下/home/hadoop/java-current/bin/java-Dhadoop.log.dir=/mnt/dfs/5/hdfs/logs-Dhadoop.log.file=hadoop.log-Dhadoop.home.dir=/home/hadoop/hdfs-2.7.3-Dhadoop.id.str=root-Dhadoop.root.logger=INF

老年代

垃圾回收

hadoop

置顶原创 2022-04-02 10:47:21 570 阅读

HDFS的NameNode堆内存估算

在HDFS中，数据和元数据是分开存储的，数据文件被分割成若干个数据块，每一个数据块默认备份3份，然后分布式的存储在所有的DataNode上，元数据会常驻在NameNode的内存中，而且随着数据量的增加，在NameNode中内存的元数据的大小也会随着增加，那么这个时候对NameNode的内存的估算就变的非常的重要了。这里说的内存就是指NameNode所在JVM的堆内存NameNode内存数据结构非常

数据块

数据

hdfs

置顶原创 2022-04-02 10:40:18 1300 阅读

ClickHouse探索调研

首先常见开源OLAP架构对比：现在面对各种数据存储兼查询分析引擎，不知道如何选择，首先需要大概明白存储引擎的特点和适用场景非常重要，置于底层原理可以慢慢深入探究，适合业务场景才是最好的。目前市面上主流的开源数据查询引擎包含不限于：MySQL、GreenPlum、Elasticsearch、Hive、Spark SQL、Presto、Impala、Drill、HAWQ、Druid、Pinot、Kyl

数据

分块

服务器

置顶原创 2022-03-23 10:55:37 1118 阅读

Kafka性能调优

Kafka的配置详尽、复杂，想要进行全面的性能调优需要掌握大量信息，这里只记录一下我在日常工作使用中走过的坑和经验来对kafka集群进行优化常用的几点。1.JVM的优化 java相关系统自然离不开JVM的优化。首先想到的肯定是Heap Size的调整。vim bin/kafka-server-start.sh 调整KAFKA_HEAP_OPTS="-Xmx12G -Xms12G”

kafka

数据

java

置顶原创 2022-03-21 10:59:37 1308 阅读 1点赞 1收藏

批量kill掉yarn上所有正在running的任务

for i in `yarn application -list | grep -w RUNNING | awk '{print $1}' | grep application_`; do yarn application -kill $i; done

yarn

置顶原创 2022-03-16 15:29:42 2611 阅读 1点赞

hive on spark报timed out waiting for connection from the Remote Spark Driver解决方案

[INFO] 2022-03-09 00:55:34.227 - [taskAppId=TASK-122-55596-532256]:[138] - -> FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed to create Spar

spark

hive

解决方案

置顶原创精选 2022-03-10 08:24:46 5924 阅读 1收藏

yarn安装MapReduce框架JAR上传的时候报错处理

22/03/03 18:14:04 INFO uploader.FrameworkUploader: Adding /opt/cloudera/parcels/CDH-6.3.0-1.cdh6.3.0.p0.1279813/lib/hadoop-yarn/./hadoop-yarn-server-common-3.0.0-cdh6.3.0.jar22/03/03 18:14:04 INFO upl

java

hadoop

jar

置顶原创精选 2022-03-04 10:04:14 3269 阅读

使用distcp命令从oss上往hdfs复制数据时报错

解决方案：hadoop distcp -skipcrccheck oss://dbbigdatapro/group/user/tools/meta/hive-temp-table/dwd_sony_opt_v4/pt=20220302/* hdfs://bigdata/user/hive/warehouse/tools.db/dwd_sony_opt_v4/pt=202203

hive

hadoop

解决方案

置顶原创 2022-03-03 19:30:06 1342 阅读

使用datart连接hive报org.apache.thrift.transport.TTransport

报错Caused by: java.lang.ClassNotFoundException: org.apache.thrift.transport.TTransport2022-02-28 18:55:08.017 ERROR datart.server.config.WebExceptionHandler : Handler dispatch failed; nested exception

java

apache

hive

置顶原创精选 2022-02-28 19:27:50 5575 阅读 1点赞 2评论

CDH集群出现clock offset报错

解决方案：首先：执行ntpstat，实时命令查看状态，结果发现所有服务器的状态都是未同步状态“unsynchronised”：解决NTP synchronized: no的方法：停掉ntpd, 执行ntpd -gq重新调整时间后，再启动ntpd:systemctl stop ntpdsudo ntpd -gqsystemctl start ntpd等待一会儿后（大概5分钟）,NTP synchro

服务器

重启

时间同步

置顶原创精选 2022-02-22 21:28:40 1611 阅读

一键式完全删除CDH 6.3

#!/bin/bash # 停止CM服务systemctl stop cloudera-scm-serversystemctl stop cloudera-scm-agent # 卸载CM软件包yum -y remove cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server # 卸载装载点#umount cm

cloudera

zookeeper

hive

置顶原创 2022-02-22 19:51:55 720 阅读

如何使用flink1.13.1版本往clickhouse中写数据

把clickhouse-jdbc-0.3.0.jar的包放入到/opt/flink/lib下面去，然后通过flink任务就可以直接往clickhouse中写入数据了

flink

jar

数据

置顶原创 2022-02-20 16:59:46 909 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

Flink on K8S删除S3存储下的checkpoint后报错如下

Flink入门之Flink程序开发步骤（Java语言）

离线数仓关闭信息收集方案

Sqoop从Hive导出表到Mysql报错处理

Flink高可用测试

Hive连接时报错user:hadoop is not allowed to impersonate anonymous

hive的log4j2.properties滚动日志设置时间显示格式时日志

HDFS的DataNode服务用root权限启动后在用Hadoop用户启动报错处理

批量解冻OSS的归档文件

Dolphinscheduler任务失败告警脚本

如何选择Apache/CDH/HDP版本

CDP7.3.0新增的功能

hdfs批量删除某日期文件

Flink日志接入ELK

Hudi使用场景

详解Apache Hudi如何配置各种类型分区

查看hdfs的block的总块数

调整 NameNode 堆内存

NameNode JVM配置详解

HDFS的NameNode堆内存估算

ClickHouse探索调研

Kafka性能调优

批量kill掉yarn上所有正在running的任务

hive on spark报timed out waiting for connection from the Remote Spark Driver解决方案

yarn安装MapReduce框架JAR上传的时候报错处理

使用distcp命令从oss上往hdfs复制数据时报错

使用datart连接hive报org.apache.thrift.transport.TTransport

CDH集群出现clock offset报错

一键式完全删除CDH 6.3

如何使用flink1.13.1版本往clickhouse中写数据

欢迎