Apache DolphinScheduler 是一个分布式易扩展的可视化 DAG 工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。
主要特性
易于部署，提供四种部署方式，包括Standalone、Cluster、Docker和Kubernetes
易于使用，可以通过四种方式创建和管理工作流，包括Web UI、Python SDK和Open
常见调度框架实现方式 开源Oozie成熟稳定可靠，可直接用于生产环境 Azkaban单点、简单粗暴，有两套独立的调度实现，必须二次开发才可用 Airflow 代码以及流程配置都是python自己封装基于quartz单机使用zk来做分布式控制常用quartz+zk做调度系统使用db心跳来做分布式控制比如阿里Zeus（3年前不再开源，还需要做一些二次开发才能用）基于qu
转载
2024-05-11 19:57:56
85阅读
常见调度框架实现方式开源Oozie成熟稳定可靠，可直接用于生产环境 Azkaban单点、简单粗暴，有两套独立的调度实现，必须二次开发才可用 Airflow 代码以及流程配置都是python自己封装基于quartz单机使用zk来做分布式控制常用quartz+zk做调度系统使用db心跳来做分布式控制比如阿里Zeus（3年前不再开源，还需要做一些二次开发才能用）基于quar
转载
2023-09-30 01:52:59
195阅读
大数据 DolphinScheduler Airflow
大数据任务调度应用 大数据开发平台
大数据任务调度引擎
任务执行引擎
任务监控告警
海量异构数据同步
数据采集（同步）—数据处理—数据管理调度系统功能构成01.调度系统-调度方式
定时调度 、依赖调度
手动调度--手动暂停/停止/恢复
转载
2024-07-28 14:48:16
112阅读
HDFS: 用于存放一切信息的分布式的文件系统。大数据系统由于其涉及到的数据量较大所以往往需要仰赖于一个数据仓库系统，将所有的数据能够分门别类地存储起来，而HDFS就是这样一个仓库。需要注意一点，HDFS并不是我们通常实际用来查询或者处理数据的数据仓库组件，其更像是仓库本身，是一个偏硬件，偏系统化的概念，用于将所有的信息都囊括进去。MapReduce: 软件框架，编写程序。用于实际进行计算数据
转载
2024-01-15 17:48:21
47阅读
离线计算组件1.1 hive hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。但是在转换为MapReduce的计算过程中，计算速度
转载
2023-08-28 20:47:02
100阅读
文章目录一、Hadoop&HIVE1.1 HDFS读写流程1.1.1 HDFS读流程1.1.2 HDFS写流程1.2 HDFS文件和目录数过多问题1.3 文件压缩格式及存储格式1.3.1 存储格式1.3.2 压缩格式1.4 MR Shuffle过程1.5 MR任务优化1.5.1 输入小文件过多1.5.2 数据倾斜1.6 HIVE SQL1.7 HIVE架构及解析成MR的过程1.8 HIV
转载
2024-02-22 23:49:20
40阅读
大数据性能测试的目的1.大数据组件的性能回归，在版本升级的时候，进行新旧版本的性能比对。2.在新版本/新的生产环境发布之后获取性能基线，建立可度量的参考标准，为其他测试场景或者调优过程提供对比参考。3.在众多的发行版本中进行测试比对，为PoC测试提供参考数据。4.支持POC测试，得出结论，到时候可以根据业务模型和需求，或者根据客户需求选择不同的方案。5.在客户方进行性能测试，达到客户要求的性能标准
转载
2023-12-15 08:49:39
36阅读
大数据平台架构：大数据平台组件：简单介绍一下大数据平台的一般架构？列举一些常见的组件1、数据源大数据处理的起点，数据来源一般包括：业务数据、日志数据、埋点数据、第三方数据。2、数据采集数据采集(或数据同步)是将各种数据来源统一采集/同步到数据仓库中，包括全量和增量两种采集方式。常用的采集工具包括：Sqoop：用于HDFS与关系型数据库(如：mysql、Postgres、Oracle)之间的同步。C
转载
2023-11-27 09:01:22
71阅读
大数据概要流程图解析1)数据采集：定制开发采集程序，或使用开源框架FLUME 2)数据预处理：定制开发mapreduce程序运行于hadoop集群 3)数据仓库技术：基于hadoop之上的Hive 4)数据导出：基于hadoop的sqoop数据导入导出工具 5)数据可视化：定制开发web程序或使用kettle等产品 6)整个过程的流程调度：hadoop生态圈中的oozie工具或其他类似开源产品什么
转载
2023-10-20 13:26:05
78阅读
Spark SQLSpark SQL 是 Spark 处理结构化数据的程序模块。它将 SQL 查询与 Spark 程序无缝集成,可以将结构化数据作为 Spark 的 RDD 进行查询。RDD 的全称为 Resilient Distributed Datasets，即弹性分布式数据集，是 Spark 基本的数据结构。Spark 使用 RDD 作为分布式程序的工作集合，提供一种分布式共享内存的受限形式
转载
2024-07-04 04:15:32
62阅读
# 实现大数据调度框架的流程及代码示例
大数据调度框架是指通过一种系统化的方式管理和调度大数据处理任务，以提高处理效率和资源利用率。在Kubernetes（K8S）中，我们可以利用其强大的容器编排和管理功能来实现大数据调度框架。
下面是实现大数据调度框架的一般流程及相关代码示例：
## 步骤
| 步骤 | 描述 |
|---|---|
| 1 | 创建Kubernetes集群 |
| 2
原创
2024-05-28 09:49:21
95阅读
文章目录一、 RDD 概述1.1 RDD 引入之IO流1.2 什么是 RDD1.3 RDD 特性二、RDD 编程2.1 编程模型2.2 RDD的创建及分区数指定2.3 Transformation 转换算子 *2.3.1 Value类型2.3.2 双Value类型2.3.3 Key-Value 类型2.4 Action 行动算子2.5 RDD 序列化2.6 RDD 依赖关系2.7 Spark 任
转载
2024-03-26 16:37:42
22阅读
本文目录Hadoop 原理hdfs读流程hdfs写流程Hive 原理HBase 原理Flume 运行原理kafka 原理MapReduce 原理Spark 原理 Hadoop 原理hdfs读流程HDFS文件读流程：客户端读取数据的过程如下：（1）首先客户端会调用FileSystem. open()方法获取的dfs实例，dfs会向远程的NameNode发送RPC请求。 （2）然后NameNode会
转载
2023-08-01 14:38:05
95阅读
调度系统是数据仓库的重要组成部分，也是每个银行或公司一个基础软件或服务，需要在全行或全公司层面进行规划，在全行层面统一调度工具和规范，由于数据类系统调度作业较多，交易类系统批量优先级高，调度系统的整体架构如下：调度中心对调度批次和作业进行创建、管理、监控，它负责所有批量作业的调度和编排； 在整个作业过程中，作业之间关系分为触发，依赖和互斥。1、触发 触发关系表示一个作业完毕后，生成另一个作业的控制
转载
2023-10-24 21:54:32
72阅读
大数据处理组件HDFS : 数据存储
Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的
具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储，为超大数据集（Large Data Set）的应用处理带来了很多便利。hdfs优点：
1、高容错性
1)数据自动保存多个副本。它通过增加副
转载
2023-09-22 15:26:52
131阅读
原创
2021-07-28 22:09:13
903阅读
# 大数据调度中的Java代码实现
在当今数据驱动的时代，大数据调度成为了提升数据处理效率的重要手段。通过对数据流的合理调度，可以实现对大规模数据的高效管理和运用。本文将通过Java代码示例，深入探讨大数据调度的基本概念及其实现方式。
## 什么是大数据调度
大数据调度是指对各种数据处理任务的有效管理与安排，以确保数据处理过程的高效性与准确性。在大数据环境中，我们常常面临多任务并行处理和资源
目录
1 Zookeeper
1.1 Zookeeper 的概述
1.1.1 ZooKeeper 如何保证数据一致性
1.2.2 Zab 一致性协议
1.2:Zookeeper的特点
1.3.Zookeeper的应用场景
1.3.1 数据发布/订阅
1.3.2 命名服务（一般文件名不能相同，使用zookeeper命名）
1.3.3 分布式协调/
原创
2021-04-09 19:11:39
454阅读
1.大数据架构图谱 文件系统 HDFS Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。  
