江南独孤客的博客_大数据篇,数据库篇,Linux(1)

按发布时间
按阅读量
2021年 253篇

全部656篇
2025年34篇 09月3篇 08月8篇 07月2篇 06月3篇 05月10篇 04月6篇 03月2篇 2024年19篇 12月3篇 11月1篇 08月1篇 07月1篇 06月2篇 05月1篇 04月1篇 03月4篇 02月2篇 01月3篇 2023年50篇 12月3篇 11月6篇 10月3篇 09月2篇 08月4篇 07月5篇 06月1篇 04月7篇 03月4篇 02月10篇 01月5篇 2022年300篇 12月2篇 11月11篇 10月20篇 09月10篇 08月3篇 07月16篇 06月26篇 05月51篇 04月64篇 03月27篇 02月48篇 01月22篇 2021年253篇 12月37篇 11月18篇 10月31篇 09月66篇 08月53篇 07月21篇 06月25篇 05月2篇
推荐/精选
全部

全部原创转载翻译

Apache Dolphinscheduler集群部署

集群部署(Cluster) 1、基础软件安装(必装项请自行安装) PostgreSQL (8.2.15+) or MySQL (5.7系列)：两者任选其一即可，如 MySQL 则需要 JDBC Driver 5.1.47+ JDK (1.8+)：必装，请安装好后在 /etc/profile 下配置 JAVA_HOME 及 PATH 变量 ZooKeeper (3.4.6+)：必装 Hadoop

调度

置顶原创 2021-08-05 11:45:08 2694 阅读

Hive On Hudi

背景Hudi 源表对应一份 HDFS 数据，通过 Spark，Flink 组件或者 Hudi CLI，可以将 Hudi 表的数据映射为 Hive 外部表，基于该外部表， Hive可以方便的进行实时视图，读优化视图以及增量视图的查询。Hive On Hudi 集成这里以 hive3.1.1、hudi 0.9.0为例，其他版本类似1）将 hudi-hadoop-mr-bundle-0.9.0xxx.

hive

jar

数据

置顶转载 2021-12-16 17:23:26 1425 阅读

整合Apache Hudi+Mysql+FlinkCDC2.1+CDH6.3.0

一、环境准备1.环境准备：flink 1.13.1+hudi0.10+hive2.1.1+cdh6.3.0+mysql5.7+flinkcdc2.1+flink web平台二.编译hudi（这个编译是以前的一个测试版本，编译大同小异）1.使用git命令下载hudi0.10的代码steven@wangyuxiangdeMacBook-Pro  ~  git clone https://gith

flink

hive

数据

hudi

置顶原创推荐 2021-12-15 17:13:27 10000+阅读 5点赞 3收藏 1评论

apache

数据

flink

数据集

spark

置顶原创 2021-12-01 16:48:21 1489 阅读 1收藏

唯品会翻牌ClickHouse后，实现百亿级数据自助分析

大家好，我是唯品会实施平台OLAP团队负责人王玉，负责唯品会、Presto、ClickHouse、Kylin、Kudu等OLAP之间的开源修改，组建优化和维护，业务使用范围支持和指引等工作。本次我要分享的主题是唯品会基于ClickHouse的百亿级数据自助分析实践，主要分为以下4个部分：唯品会 OLAP 的演进实验平台基于 Flink和 ClickHouse 如何实现数据自助分析使用 Clic

数据

flink

sql

kylin

物化视图

置顶转载 2021-11-29 18:27:30 832 阅读

利用Grafana与系统表监控ClickHouse查询

前言我们往往需要关心数据库的查询执行情况，特别是慢查询。本文简述配置ClickHouse查询监控的一种傻瓜方法。开启查询日志打开各个ClickHouse实例的users.xml，在当前使用的profile（如default）中加入：vim /etc/clickhouse-server/users.xml#添加以下内容<log_queries>1</log_queries>再

clickhouse

Grafana

置顶原创推荐 2021-11-29 16:07:54 8672 阅读 1收藏 2评论

一文彻底弄懂Apache Hudi不同表类型

1. 摘要Apache Hudi提供了不同的表类型供根据不同的需求进行选择，提供了两种类型的表•Copy On Write(COW)•Merge On Read(MOR)2. 术语介绍在深入研究 COW 和 MOR 之前，让我们先了解一下 Hudi 中使用的一些术语，以便更好地理解以下部分。2.1 数据文件/基础文件Hudi将数据以列存格式（Parquet/ORC）存放，称为数据文件/基础文件，该

hudi

置顶转载 2021-11-29 12:03:56 1304 阅读

Flink CDC + Hudi + Hive + Presto构建实时数据湖最佳实践

1. 测试过程环境版本说明Flink1.13.1Scala2.11CDH6.2.0Hadoop3.0.0Hive2.1.1Hudi0.10(master)PrestoDB0.256Mysql5.72. 集群服务器基础环境2.1 Maven和JDK环境版本2.2 Hadoop 集群环境版本2.3 HADOOP环境变量配置export HADOOP_HOME=/opt/cloudera/parcels

hive

flink

mysql

数据

sql

置顶转载 2021-11-29 08:56:35 2038 阅读

大数据面试吹牛之前先打草稿

各位面试官好!我叫 xxx，毕业于 xxx，之前在 xxx 公司待了 1 年多，期间⼀直从事的是 IT 行业，刚开始的时候做的是 Java 开发后来转岗到大数据方向做大数据开发; 刚转行到大数据开发时开始比较困难的，大数据并不像 Java 那样⼀套框架基本可以搞定所有的问题，而是不同的业务对于同⼀个问题有多种解决方案。我叫 xxx，毕业至今就职于 xx 公司，职位是数仓开发。参加工作以来，我先后参

数据

kafka

大数据

离线

字段

置顶转载 2021-11-26 09:07:00 957 阅读 2评论

cdh6.3.0组件健康检查的告警脚本

#!/bin/env python# -*- coding:utf-8 -*-from dingtalkchatbot.chatbot import DingtalkChatbotimport jsonimport requestsimport datetimeheaders = {'Content-Type': 'application/json;charset=utf-8'}dd_url="钉

python

大数据

置顶原创 2021-11-19 17:20:26 896 阅读

Spark调优 | Spark OOM问题常见解决方式

Spark OOM 问题分析Spark常见的问题不外乎OOM。我们首先看一下Spark 的内存模型：Spark在一个Executor中的内存分为三块，一块是execution内存，一块是storage内存，一块是other内存。Execution内存是执行内存，文档中说join，aggregate都在这部分内存中执行，shuffle的数据也会先缓存在这个内存中，满了再写入磁盘，能够减少IO。其实m

spark

数据

调优

参数说明

默认值

置顶原创推荐 2021-11-19 08:48:22 4898 阅读 1收藏 1评论

Ambari部署文档

一、配置说明硬件环境 1. 硬件环境节点类型操作系统ip地址主机名说明主节点Centos-7192.168.64.200ambari存储：100G从节点Centos-7192.168.64.201Ambari01存储：100G从节点Centos-7192.168.64.202Ambari02存储：100G2. 软件环境软件名称版本号JDKjdk1.8.0_151Mysql5.7.23A

ambari

mysql

java

centos

linux

置顶原创精选 2021-11-18 10:50:28 1976 阅读

flink从1.10版本升级到1.13.1版本通过flink sink往oss上写数据报错处理

因为需要往oss上数据，发现flink上的报错如下：java.lang.NoClassDefFoundError: org/apache/hadoop/mapreduce/lib/output/FileOutputCommitter at com.aliyun.emr.jfs.flink.sink.common.fs.AbstractFlinkJindoFileSystemFactory.cre

flink

java

apache

jar

hadoop

置顶原创精选 2021-11-15 14:59:12 1746 阅读 1点赞

CDH6.3.0使用阿里的jindoFS文件系统访问OSS数据时报错

报错如下：意思是无权限Caused by: java.lang.ClassNotFoundException: Class com.aliyun.emr.fs.oss.JindoOssFileSystem not found解决方案：使用root用户进入到[root@dbos-bigdata-flink005 ~]# cd /opt/cloudera/parcels/CDH-6.3.0-1.cdh

flink

hive

hdfs

oss

jindoFS

置顶原创精选 2021-11-10 09:11:44 3234 阅读 1收藏

Flink ON YARN containerized.heap-cutoff-min

今天，我对 Flink ON YARN 集群的内存进行下调整。我调整了 Container 容器最小的分配内存，导致了一系列的问题，这里记录一下。（1）yarn.nodemanager.resource.memory-mb 表示该节点上YARN可使用的物理内存总量，默认是8192（MB），注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而YARN不会智能的探测节点的物理内存总

物理内存

java

flink

默认值

最小值

置顶原创精选 2021-11-08 17:03:59 1428 阅读

整合Apache Hudi+Flink+CDH

一、环境准备1.编译hudi：看我另外一篇hudi的编译文档2.环境准备：flink 1.13.1+hudi0.10+hive2.1.1+cdh6.3.0+kafka2.2.13.配置flink on yarn模式配置如下：flink-conf.yaml的配置文件如下##################################################################

flink

hive

zookeeper

kafka

hudi

置顶原创精选 2021-11-05 14:15:58 4618 阅读 2点赞 1收藏 5评论

hive on spark任务的优化

因公司集群只有7台work节点，配置是16C 64G,因资源有限，需要执行1500多个调度任务，数据量大的是解析任务，故需要针对hive on spark任务进行资源限制优化每个任务的sql优化如下：以下优化需要根据调优数据量来评估。set spark.dynamicAllocation.enabled=false;--关闭executor动态分配功能，防止单个任务分配的资源太多set

spark

hive

任务分配

动态分配

sql优化

置顶原创 2021-11-04 09:47:57 480 阅读 1收藏

使用kafka客户端如何产生数据和消费数据

1.创建topickafka-topics --zookeeper dbos-bigdata-test003:2181,dbos-bigdata-test004:2181,dbos-bigdata-test005:2181/kafka --create --partitions 4 --replication-factor 3 --topic test 2.进入topic的生产数据kafka-

kafka

数据

zookeeper

bootstrap

置顶原创 2021-11-04 09:26:38 278 阅读

flinkcdc+hudi0.10+hive(自动同步分区+压缩)

版本情况说明：flink1.13.1+scala2.11+CDH6.2.0 Hadoop3.0.0+Hive2.1.1+hudi0.10mysql cdc source DDL:CREATE TABLE `users` ( `id` bigint(20) NOT NULL AUTO_INCREMENT, `name` varchar(20) DEFAULT NULL, `birthday`

hive

hadoop

java

flink

apache

置顶原创精选 2021-11-03 15:07:03 4305 阅读 17点赞 3收藏

基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优

　Hive默认使用的计算框架是MapReduce，在我们使用Hive的时候通过写SQL语句，Hive会自动将SQL语句转化成MapReduce作业去执行，但是MapReduce的执行速度远差于Spark。通过搭建一个Hive On Spark可以修改Hive底层的计算引擎，将MapReduce替换成Spark，从而大幅度提升计算速度。接下来就如何搭建Hive OnSpark 展开描述。　　注：集群

spark

hive

默认值

java

mapreduce

置顶原创 2021-11-01 19:06:46 2052 阅读

Spark SQL 调优分享

文本介绍了Spark sql的常用参数，以及如何通过这些参数来控制作业的并行度、资源调度、shuffle、执行计划等来提升任务的运行效率，优化存储空间和资源利用率，其中重点关注了资源、数据倾斜、join优化方案。并介绍了Spark 3.0的新特性Adaptive Query Execution。最后通过4个实际的优化案例来进一步介绍常用的优化方法。”01—常用参数和优化方法1. 资源调优spark

spark

数据

sql

hdfs

数据倾斜

置顶转载 2021-10-29 15:49:19 6081 阅读

yarn（cdh）中的虚拟cpu和内存

YARN同时支持内存和CPU两种资源的调度,默认只支持内存，如果想进一步调度CPU，需要自己进行一些配置。什么是虚拟cpu目前的CPU被划分成虚拟CPU（CPU virtual Core），这里的虚拟CPU是YARN自己引入的概念，初衷是，考虑到不同节点的CPU性能可能不同，每个CPU具有的计算能力也是不一样的，比如某个物理CPU的计算能力可能是另外一个物理CPU的2倍，这时候，你可以通过为第一个

yarn

虚拟内存

虚拟CPU

hive

置顶原创精选 2021-10-29 15:24:18 3133 阅读 1点赞 1收藏

Hive on Spark调优

之前在Hive on Spark跑TPCx-BB测试时，100g的数据量要跑十几个小时，一看CPU和内存的监控，发现 POWER_TEST阶段（依次执行30个查询）CPU只用了百分之十几，也就是没有把整个集群的性能利用起来，导致跑得很慢。因此，如何调整参数，使整个集群发挥最大性能显得尤为重要。Spark作业运行原理spark-base-mech.jpg详细原理见上

spark

调优

数据

持久化

参数说明

置顶转载 2021-10-29 13:29:47 2142 阅读 20点赞 1收藏

Hudi 原理 | Apache Hudi 如何维护最佳文件大小

Apache Hudi 是一种数据湖平台技术，可提供构建和管理数据湖所需的多种功能。Hudi 提供的一项重要功能是自动管理文件大小，用户不需要手动维护。由于查询引擎不得不多次打开/读取/关闭文件，以计划和执行查询，因此拥有大量小文件将使其难以实现良好的查询性能。但是对于流数据湖用例而言，固有的摄入量将最终具有较小的写入量，如果不进行特殊处理，则可能导致大量小文件。During Write vs A

文件大小

数据

数据文件

apache

hudi

置顶转载 2021-10-28 16:27:42 1035 阅读

Apache Hudi 设计与架构最强解读

本文将介绍Apache Hudi的基本概念、设计以及总体基础架构。1.简介Apache Hudi(简称：Hudi)使得您能在hadoop兼容的存储之上存储大量数据，同时它还提供两种原语，使得除了经典的批处理之外，还可以在数据湖上进行流处理。这两种原语分别是：Update/Delete记录：Hudi使用细粒度的文件/记录级别索引来支持Update/Delete记录，同时还提供写操作的事务保证。查询会

数据

时间轴

日志文件

数据集

文件大小

置顶转载 2021-10-28 16:25:02 587 阅读 15点赞 2收藏

数据湖hudi0.10使用hadoop3.0打包并更改cdh6.3.0的hive包

1.使用git命令下载hudi0.10的代码steven@wangyuxiangdeMacBook-Pro  ~  git clone https://github.com/apache/hudi.gitCloning into 'hudi'...remote: Enumerating objects: 122696, done.remote: Counting objects: 100%

hudi

hadoop

hive

flink

数据湖

置顶原创推荐 2021-10-28 16:07:28 7173 阅读 7点赞 1收藏 9评论

kafka的常规操作命令

kafka修改保留时间kafka-configs --zookeeper dbos-bigdata-tools001:2181,dbos-bigdata-tools002:2181,dbos-bigdata-tools003:2181 --entity-type topics --entity-name test_sony_boot_play --alter --add-config retent

kafka

zookeeper

json

置顶原创 2021-10-27 11:32:24 561 阅读 1收藏

kafka分区扩容和修改三个副本数

Kafka是Apache旗下的一款分布式流媒体平台，Kafka是一种高吞吐量、持久性、分布式的发布订阅的消息队列系统。它最初由LinkedIn(领英)公司发布，使用Scala语言编写，与2010年12月份开源，成为Apache的顶级子项目。它主要用于处理消费者规模网站中的所有动作流数据。动作指(网页浏览、搜索和其它用户行动所产生的数据)。消息系统分类我们知道常见的消息系统有Kafka、Rabbi

cloudera

jar

kafka

zookeeper

java

置顶原创推荐 2021-10-27 11:28:04 8775 阅读 6点赞 3收藏 2评论

JD-GUI1.6 for mac big sur打不开问题

1.下载官网https://mac.filehorse.com/download-jd-gui-java-decompiler/2.intel的mac打不开报错ERROR launching 'JD-GUI'No suitable Java version found on your system!3.解决办法右击JD-GUI点击显示包内容---contents-macos,打开以下文件，把内容

JD-GUI

macos

1.6

置顶原创推荐 2021-10-18 16:00:35 4325 阅读 7点赞 3收藏 2评论

生产环境hdfs有坏块的处理

1.提示有坏块2.使用命令检测坏块hdfs fsck / | egrep -v '^\.+$' | grep -v eplica3.查看坏块4.如果坏块下没有重要的数据，删掉即可[hdfs@dbos-bigdata-work007 ~]$ hdfs dfs -rm -r -skipTrash /group/user/tools/meta/hive-temp-table/test_sony_boot

hdfs

坏块

置顶原创 2021-10-14 16:36:12 1557 阅读

欢迎

首页
1
2
3
4
5
6
7
8
共253条记录

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

Apache Dolphinscheduler集群部署

Hive On Hudi

整合Apache Hudi+Mysql+FlinkCDC2.1+CDH6.3.0

数据湖hudi推荐的文档

唯品会翻牌ClickHouse后，实现百亿级数据自助分析

利用Grafana与系统表监控ClickHouse查询

一文彻底弄懂Apache Hudi不同表类型

Flink CDC + Hudi + Hive + Presto构建实时数据湖最佳实践

大数据面试吹牛之前先打草稿

cdh6.3.0组件健康检查的告警脚本

Spark调优 | Spark OOM问题常见解决方式

Ambari部署文档

flink从1.10版本升级到1.13.1版本通过flink sink往oss上写数据报错处理

CDH6.3.0使用阿里的jindoFS文件系统访问OSS数据时报错

Flink ON YARN containerized.heap-cutoff-min

整合Apache Hudi+Flink+CDH

hive on spark任务的优化

使用kafka客户端如何产生数据和消费数据

flinkcdc+hudi0.10+hive(自动同步分区+压缩)

基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优

Spark SQL 调优分享

yarn（cdh）中的虚拟cpu和内存

Hive on Spark调优

Hudi 原理 | Apache Hudi 如何维护最佳文件大小

Apache Hudi 设计与架构最强解读

数据湖hudi0.10使用hadoop3.0打包并更改cdh6.3.0的hive包

kafka的常规操作命令

kafka分区扩容和修改三个副本数

JD-GUI1.6 for mac big sur打不开问题

生产环境hdfs有坏块的处理

欢迎