江南独孤客的博客_大数据篇,数据库篇,Linux原创(8)

按发布时间
按阅读量
时间轴

全部656篇
2025年34篇 09月3篇 08月8篇 07月2篇 06月3篇 05月10篇 04月6篇 03月2篇 2024年19篇 12月3篇 11月1篇 08月1篇 07月1篇 06月2篇 05月1篇 04月1篇 03月4篇 02月2篇 01月3篇 2023年50篇 12月3篇 11月6篇 10月3篇 09月2篇 08月4篇 07月5篇 06月1篇 04月7篇 03月4篇 02月10篇 01月5篇 2022年300篇 12月2篇 11月11篇 10月20篇 09月10篇 08月3篇 07月16篇 06月26篇 05月51篇 04月64篇 03月27篇 02月48篇 01月22篇 2021年253篇 12月37篇 11月18篇 10月31篇 09月66篇 08月53篇 07月21篇 06月25篇 05月2篇
推荐/精选
原创

全部原创转载翻译

整合Apache Hudi+Mysql+FlinkCDC2.1+CDH6.3.0

一、环境准备1.环境准备：flink 1.13.1+hudi0.10+hive2.1.1+cdh6.3.0+mysql5.7+flinkcdc2.1+flink web平台二.编译hudi（这个编译是以前的一个测试版本，编译大同小异）1.使用git命令下载hudi0.10的代码steven@wangyuxiangdeMacBook-Pro  ~  git clone https://gith

flink

hive

数据

hudi

置顶原创推荐 2021-12-15 17:13:27 10000+阅读 5点赞 3收藏 1评论

apache

数据

flink

数据集

spark

置顶原创 2021-12-01 16:48:21 1489 阅读 1收藏

利用Grafana与系统表监控ClickHouse查询

前言我们往往需要关心数据库的查询执行情况，特别是慢查询。本文简述配置ClickHouse查询监控的一种傻瓜方法。开启查询日志打开各个ClickHouse实例的users.xml，在当前使用的profile（如default）中加入：vim /etc/clickhouse-server/users.xml#添加以下内容<log_queries>1</log_queries>再

clickhouse

Grafana

置顶原创推荐 2021-11-29 16:07:54 8672 阅读 1收藏 2评论

cdh6.3.0组件健康检查的告警脚本

#!/bin/env python# -*- coding:utf-8 -*-from dingtalkchatbot.chatbot import DingtalkChatbotimport jsonimport requestsimport datetimeheaders = {'Content-Type': 'application/json;charset=utf-8'}dd_url="钉

python

大数据

置顶原创 2021-11-19 17:20:26 896 阅读

Spark调优 | Spark OOM问题常见解决方式

Spark OOM 问题分析Spark常见的问题不外乎OOM。我们首先看一下Spark 的内存模型：Spark在一个Executor中的内存分为三块，一块是execution内存，一块是storage内存，一块是other内存。Execution内存是执行内存，文档中说join，aggregate都在这部分内存中执行，shuffle的数据也会先缓存在这个内存中，满了再写入磁盘，能够减少IO。其实m

spark

数据

调优

参数说明

默认值

置顶原创推荐 2021-11-19 08:48:22 4898 阅读 1收藏 1评论

Ambari部署文档

一、配置说明硬件环境 1. 硬件环境节点类型操作系统ip地址主机名说明主节点Centos-7192.168.64.200ambari存储：100G从节点Centos-7192.168.64.201Ambari01存储：100G从节点Centos-7192.168.64.202Ambari02存储：100G2. 软件环境软件名称版本号JDKjdk1.8.0_151Mysql5.7.23A

ambari

mysql

java

centos

linux

置顶原创精选 2021-11-18 10:50:28 1976 阅读

flink从1.10版本升级到1.13.1版本通过flink sink往oss上写数据报错处理

因为需要往oss上数据，发现flink上的报错如下：java.lang.NoClassDefFoundError: org/apache/hadoop/mapreduce/lib/output/FileOutputCommitter at com.aliyun.emr.jfs.flink.sink.common.fs.AbstractFlinkJindoFileSystemFactory.cre

flink

java

apache

jar

hadoop

置顶原创精选 2021-11-15 14:59:12 1746 阅读 1点赞

CDH6.3.0使用阿里的jindoFS文件系统访问OSS数据时报错

报错如下：意思是无权限Caused by: java.lang.ClassNotFoundException: Class com.aliyun.emr.fs.oss.JindoOssFileSystem not found解决方案：使用root用户进入到[root@dbos-bigdata-flink005 ~]# cd /opt/cloudera/parcels/CDH-6.3.0-1.cdh

flink

hive

hdfs

oss

jindoFS

置顶原创精选 2021-11-10 09:11:44 3234 阅读 1收藏

Flink ON YARN containerized.heap-cutoff-min

今天，我对 Flink ON YARN 集群的内存进行下调整。我调整了 Container 容器最小的分配内存，导致了一系列的问题，这里记录一下。（1）yarn.nodemanager.resource.memory-mb 表示该节点上YARN可使用的物理内存总量，默认是8192（MB），注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而YARN不会智能的探测节点的物理内存总

物理内存

java

flink

默认值

最小值

置顶原创精选 2021-11-08 17:03:59 1428 阅读

整合Apache Hudi+Flink+CDH

一、环境准备1.编译hudi：看我另外一篇hudi的编译文档2.环境准备：flink 1.13.1+hudi0.10+hive2.1.1+cdh6.3.0+kafka2.2.13.配置flink on yarn模式配置如下：flink-conf.yaml的配置文件如下##################################################################

flink

hive

zookeeper

kafka

hudi

置顶原创精选 2021-11-05 14:15:58 4618 阅读 2点赞 1收藏 5评论

hive on spark任务的优化

因公司集群只有7台work节点，配置是16C 64G,因资源有限，需要执行1500多个调度任务，数据量大的是解析任务，故需要针对hive on spark任务进行资源限制优化每个任务的sql优化如下：以下优化需要根据调优数据量来评估。set spark.dynamicAllocation.enabled=false;--关闭executor动态分配功能，防止单个任务分配的资源太多set

spark

hive

任务分配

动态分配

sql优化

置顶原创 2021-11-04 09:47:57 480 阅读 1收藏

使用kafka客户端如何产生数据和消费数据

1.创建topickafka-topics --zookeeper dbos-bigdata-test003:2181,dbos-bigdata-test004:2181,dbos-bigdata-test005:2181/kafka --create --partitions 4 --replication-factor 3 --topic test 2.进入topic的生产数据kafka-

kafka

数据

zookeeper

bootstrap

置顶原创 2021-11-04 09:26:38 278 阅读

flinkcdc+hudi0.10+hive(自动同步分区+压缩)

版本情况说明：flink1.13.1+scala2.11+CDH6.2.0 Hadoop3.0.0+Hive2.1.1+hudi0.10mysql cdc source DDL:CREATE TABLE `users` ( `id` bigint(20) NOT NULL AUTO_INCREMENT, `name` varchar(20) DEFAULT NULL, `birthday`

hive

hadoop

java

flink

apache

置顶原创精选 2021-11-03 15:07:03 4305 阅读 17点赞 3收藏

基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优

　Hive默认使用的计算框架是MapReduce，在我们使用Hive的时候通过写SQL语句，Hive会自动将SQL语句转化成MapReduce作业去执行，但是MapReduce的执行速度远差于Spark。通过搭建一个Hive On Spark可以修改Hive底层的计算引擎，将MapReduce替换成Spark，从而大幅度提升计算速度。接下来就如何搭建Hive OnSpark 展开描述。　　注：集群

spark

hive

默认值

java

mapreduce

置顶原创 2021-11-01 19:06:46 2052 阅读

yarn（cdh）中的虚拟cpu和内存

YARN同时支持内存和CPU两种资源的调度,默认只支持内存，如果想进一步调度CPU，需要自己进行一些配置。什么是虚拟cpu目前的CPU被划分成虚拟CPU（CPU virtual Core），这里的虚拟CPU是YARN自己引入的概念，初衷是，考虑到不同节点的CPU性能可能不同，每个CPU具有的计算能力也是不一样的，比如某个物理CPU的计算能力可能是另外一个物理CPU的2倍，这时候，你可以通过为第一个

yarn

虚拟内存

虚拟CPU

hive

置顶原创精选 2021-10-29 15:24:18 3133 阅读 1点赞 1收藏

数据湖hudi0.10使用hadoop3.0打包并更改cdh6.3.0的hive包

1.使用git命令下载hudi0.10的代码steven@wangyuxiangdeMacBook-Pro  ~  git clone https://github.com/apache/hudi.gitCloning into 'hudi'...remote: Enumerating objects: 122696, done.remote: Counting objects: 100%

hudi

hadoop

hive

flink

数据湖

置顶原创推荐 2021-10-28 16:07:28 7173 阅读 7点赞 1收藏 9评论

kafka的常规操作命令

kafka修改保留时间kafka-configs --zookeeper dbos-bigdata-tools001:2181,dbos-bigdata-tools002:2181,dbos-bigdata-tools003:2181 --entity-type topics --entity-name test_sony_boot_play --alter --add-config retent

kafka

zookeeper

json

置顶原创 2021-10-27 11:32:24 561 阅读 1收藏

kafka分区扩容和修改三个副本数

Kafka是Apache旗下的一款分布式流媒体平台，Kafka是一种高吞吐量、持久性、分布式的发布订阅的消息队列系统。它最初由LinkedIn(领英)公司发布，使用Scala语言编写，与2010年12月份开源，成为Apache的顶级子项目。它主要用于处理消费者规模网站中的所有动作流数据。动作指(网页浏览、搜索和其它用户行动所产生的数据)。消息系统分类我们知道常见的消息系统有Kafka、Rabbi

cloudera

jar

kafka

zookeeper

java

置顶原创推荐 2021-10-27 11:28:04 8775 阅读 6点赞 3收藏 2评论

JD-GUI1.6 for mac big sur打不开问题

1.下载官网https://mac.filehorse.com/download-jd-gui-java-decompiler/2.intel的mac打不开报错ERROR launching 'JD-GUI'No suitable Java version found on your system!3.解决办法右击JD-GUI点击显示包内容---contents-macos,打开以下文件，把内容

JD-GUI

macos

1.6

置顶原创推荐 2021-10-18 16:00:35 4324 阅读 7点赞 3收藏 2评论

生产环境hdfs有坏块的处理

1.提示有坏块2.使用命令检测坏块hdfs fsck / | egrep -v '^\.+$' | grep -v eplica3.查看坏块4.如果坏块下没有重要的数据，删掉即可[hdfs@dbos-bigdata-work007 ~]$ hdfs dfs -rm -r -skipTrash /group/user/tools/meta/hive-temp-table/test_sony_boot

hdfs

坏块

置顶原创 2021-10-14 16:36:12 1557 阅读

各组件配置LDAP认证手册

注：本手册以CM&CDH5.7.6为例1、Hive配置LDAP认证目前单个Hive Server2只能支持一种客户端认证方式，或者是Kerberos认证，或者是LDAP认证，所以要在一个集群内部同时支持两种认证方式，必须配置两个HiveServer 2。注：目前新版本CDH已经可以同时支持两种认证方式，在CDH5.14.4上已验证过。1.1、开启“启用LDAP身份验证”搜索“启用 LDAP

hue

hive

impala

ldap

置顶原创推荐 2021-10-13 15:45:10 5878 阅读

canal1.1.5 配置kafka

1. 简介：fcanal [kə'næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。基于日志增量订阅和消费的业务包括

canal

置顶原创推荐 2021-10-12 16:51:57 5077 阅读

基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优

基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优　　Hive默认使用的计算框架是MapReduce，在我们使用Hive的时候通过写SQL语句，Hive会自动将SQL语句转化成MapReduce作业去执行，但是MapReduce的执行速度远差于Spark。通过搭建一个Hive On Spark可以修改Hive底层的计算引擎，将MapReduce替换成Spark，从而大幅度

cdh

spark

hive

置顶原创精选 2021-10-09 11:09:20 4311 阅读 1点赞 1收藏

解决clickhouse问题库中无这个张表创建时已经存在的问题

clickhouse的问题：数据库中没有看到这个表，但是创建的时候提示已经存在。09.28 13:38:34.828623 [ 15749 ] {3ebd057e-cdba-413a-a49c-a6c5c43df920} DDLWorker: Query CREATE TABLE IF NOT EXISTS athena.tb_user_local UUID '717eeed9-d8b1-42

clickhouse

置顶原创精选 2021-09-29 09:39:22 10000+阅读 13点赞 3收藏 6评论

flink滚动日志的配置

flink 1.11.0之前版本的配置################################################################################# This affects logging for both user code and Flinklog4j.rootLogger=INFO, RFA# Uncomment this if you

flink

置顶原创精选 2021-09-28 09:51:14 3496 阅读

hue无法执行批处理作业解决方案

在执行批处理作业的时候，报作业为FAILED状态查看执行的过程中发现：oozie的问题。提示hdfs的/user/oozie/share/lib目录不存在，原因是因为没有安装oozie的共享库解决方案：点击oozie角色，操作中点击安装oozie共享库。然后测试一下批处理的脚本：脚本中没有报错，问题得到解决。

hue

置顶原创精选 2021-09-22 15:03:57 1373 阅读 1收藏

CDH6.3使用JindoFS SDK无法使用hadoop distcp的问题解决

原因：原来使用的是aliyun-sdk-oss-2.8.3.jar，后来调查因为阿里的JindoFS SDK针对oss做了加速缓存，就替换成jindofs-sdk.jar，然后使用hadoop distcp复制数据到oss的时候报错如下： hadoop distcp hdfs://换成自己环境的IP:9000/group/user/tools/meta/hive-temp-table/kstj

hadoop

置顶原创 2021-09-15 20:29:43 844 阅读

hdfs出现Cannot obtain block length for LocatedBlockt

hdfs

置顶原创精选 2021-09-15 10:54:47 1395 阅读

dolphinscheduler版本差异的配置造成的故障处理

dolphinscheduler1.3.4的common.properties的配置 [root@dbos-bigdata-test003 conf]# vim /opt/dolphinscheduler/conf/common.properties 下面的这个配置中8088直接在配置成端口即可 yarn.application.status.address=http://yarnIp1:808

调度

置顶原创 2021-09-13 22:02:33 674 阅读

CDH 集群使用 JindoFS SDK 访问 OSS

CDH 集群使用 JindoFS SDK 访问 OSS CDH（Cloudera's Distribution, including Apache Hadoop）是众多Hadoop发行版本中的一种，本文以CDH 5.16.2为例介绍如何配置CDH支持使用JindoFS SDK访问OSS。步骤 1. 安装 jar 包下载最新的jar包 jindofs-sdk-x.x.x.jar (下载页面)，

hadoop

oss

置顶原创推荐 2021-09-13 13:38:45 3596 阅读

欢迎

首页
4
5
6
7
8
9
10
11
共614条记录

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

整合Apache Hudi+Mysql+FlinkCDC2.1+CDH6.3.0

数据湖hudi推荐的文档

利用Grafana与系统表监控ClickHouse查询

cdh6.3.0组件健康检查的告警脚本

Spark调优 | Spark OOM问题常见解决方式

Ambari部署文档

flink从1.10版本升级到1.13.1版本通过flink sink往oss上写数据报错处理

CDH6.3.0使用阿里的jindoFS文件系统访问OSS数据时报错

Flink ON YARN containerized.heap-cutoff-min

整合Apache Hudi+Flink+CDH

hive on spark任务的优化

使用kafka客户端如何产生数据和消费数据

flinkcdc+hudi0.10+hive(自动同步分区+压缩)

基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优

yarn（cdh）中的虚拟cpu和内存

数据湖hudi0.10使用hadoop3.0打包并更改cdh6.3.0的hive包

kafka的常规操作命令

kafka分区扩容和修改三个副本数

JD-GUI1.6 for mac big sur打不开问题

生产环境hdfs有坏块的处理

各组件配置LDAP认证手册

canal1.1.5 配置kafka

基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优

解决clickhouse问题库中无这个张表创建时已经存在的问题

flink滚动日志的配置

hue无法执行批处理作业解决方案

CDH6.3使用JindoFS SDK无法使用hadoop distcp的问题解决

hdfs出现Cannot obtain block length for LocatedBlockt

dolphinscheduler版本差异的配置造成的故障处理

CDH 集群使用 JindoFS SDK 访问 OSS

欢迎