一 概述：
(1)Hadoop MapReduce采用Master/Slave结构。
*Master：是整个集群的唯一的全局管理者，功能包括：作业管理、状态监控和任务调度等，即MapReduce中的JobTracker。
*Slave：负责任务的执行和任务状态的回报，即MapReduce中的TaskTracker。
二 JobTracker剖析：
(1)概述：JobTracker是一个后台服务进
转载
2024-06-18 21:34:11
110阅读
基于LDAP搭建NIFI集群安全模式基于ldap搭建nifi集群的安全模式分为三步：搭建nifi集群、配置ldap登陆和用户授权，其中有一些坑，因此将过程记录下来，以备下次使用。搭建NIFI集群准备：linux机器3台（centos7）、java jdk1.8+、ldap服务器、nifi工具包nifi-toolkit-1.8.0-bin.tar.gz、nifi安装包（nifi-1.8.0）在三台机
转载
2024-02-11 14:29:07
109阅读
最近调研了一些关于数据中心网络监控的论文和解决方案，主要关于丢包和延时的定位排查，现在telemetry的技术比较火热，写点东西小结一下，越来越懒得写博客了，写的不是很详细，特别是后面几篇，也可能有理解不到位的地方，欢迎指正。1. Pingmesh Pingmesh是微软在2015年提出的，其架构模式在那之前已经在微软的数据中心运行了超过4年，采用商用交换机，每天收集10TB的延迟数
转载
2024-02-27 13:19:30
160阅读
nifi简介nifi背景NiFi之前是在美国国家安全局（NSA）开发和使用了8年的一个可视化、可定制的数据集成产品。2014年NSA将其贡献给了Apache开源社区，2015年7月成功成为Apache顶级项目。NiFi概念Apache NiFi 是一个易于使用、功能强大而且可靠的数据处理和分发系统。Apache NiFi 是为数据流设计，它支持高度可配置的指示图的数据路由、转换和系统中介逻辑，支持
转载
2024-06-11 13:45:34
226阅读
clickhouse简单使用及优化一、ClickHouse是什么？二、特点三、使用步骤1.安装看官网2.数据类型3.命令行client操作4.用户密码设置5.表引擎6.创建表6.1创建普通表6.2创建分布式表四、用户及权限1.用户2.权限五、同步mysql数据优化策略 原来项目用mysql，随着数据量增加已不再适用（目前每周大约2亿数据），且这部分数据主要用于分析，不涉及更改，调研后迁移到cli
转载
2023-10-18 17:17:22
423阅读
Apache NiFi系列文章1、nifi-1.9.2介绍、单机部署及简单验证2、NIFI应用示例-GetFile和PutFile应用3、NIFI处理器介绍、FlowFlie常见属性、模板介绍和运行情况信息查看4、集群部署及验证、及节点
原创
2023-05-15 17:10:32
1861阅读
点赞
目录1 处理器介绍1.1 查看处理器1.2 常用处理器 - 整理2 配置处理器2.1 添加一个处理器2.2 配置处理器配置项说明2.3 配置处理器2.3.1 SETTING ( 设置 )2.3.2 SCHEDULING ( 任务调度 )2.3.3 PROPERTIES ( 属性 )2.3.4 COMMENTS ( 注释 )1 处理器介绍1.1 查看处理器1 选择处理器组件2 弹出窗口显示的就是所有
转载
2024-07-01 20:03:05
290阅读
在开始描述Jobtracker，Tasktracker，Task失败之前，先回顾下Jobtracker，Tasktracker以及Task的功能。一：概述 hadoop采用的是Master/Slaves结构。Master的作用就是对整个集群进行状态监控，任务调度，作业管理。Jobtracker就是MapReduce中的Master。同理，Slaves负责执行任务和执行任务状态的返回，也
转载
2024-03-23 17:10:50
137阅读
系统环境及软件版本CentOS7JDK1.8.0_91Nifi-1.7.1Kerberos5 zookeeper3.4.5nifi-toolkit-1.7.1集群信息：host_nameIPserviceserver192.0.0.230Kerberos5 Server, Nifi Cluster Manager，zookeeper client192.0.0.231 Kerb
转载
2024-08-31 16:26:07
93阅读
Nifi1.11.4简介NiFi 最初由美国国家安全局(NSA)开发和使用的一个可视化、可定制的数据集成产品。2014 年 NSA 将其贡献给了 Apache 开源社区，2015 年 7 月成为 Apache 顶级项目。NiFi 特性NiFi 为数据流而设计，它可以用来在不同的数据中心之间搭建数据流通的管道。NiFi 通过拖拽界面、配置参数、简单地连接，即可完成对数据流的托管和系统间的自动化传输，
转载
2024-05-19 21:06:40
146阅读
一．1.团队序号：第十团队2.要开发的软件名称：家庭账本3.目标用户或客户：有个人账目和家庭账目管理困难的人4.本次博客撰写人：俞铭轩2016035107274（产品经理）二.需求分析N(need):在当前社会的家庭生活中，学会合理的管理自己的财务状况是一门必修课，在这其中不乏很多人不仅想要管理自己的财务情况，还想了解自己整个家庭的财务情况。但是，由于很多人感觉记自己的账已经是一件麻烦的事儿，更不
首先，我们来了解一下MapReduce中的必知概念 客户端（Client）：编写mapreduce程序，配置作业，提交作业，这就是程序员完成的工作； 1.JobTracker： JobTracker是一个后台服务进程，启动之后，会一直监听并接收来自各个 TaskTracker发送的心跳信息，包括资源使用情况和任务运行情况等信息。 作业控制：在hadoop中每个应用程序被表示成一个作业，每个作业又被
转载
2024-04-17 16:50:01
115阅读
将实际项目中做的任务监控系统进行总结。监控系统接收上游系统下发的计划，并将任务调度给下游系统执行。支持多下游系统同时运行，具有一定的分布式处理和错误恢复能力。
1.简介 1.1 上游系统 1.上游系统不定时发送计划xml文件，该xml包含一组<类型:任务>；上游系统收到文件后，需要返回一个回执。
转载
2024-02-19 11:39:59
74阅读
# 理解 Apache NiFi 架构及其应用
Apache NiFi 是一个强大的数据流管理工具，专门设计用于自动化数据流之间的传输、处理和分发。通过其可视化界面和一系列构建块，用户可以轻松创建和维护数据流。本文将深入探讨 NiFi 的架构，提供代码示例，并通过图形化表示帮助读者理解 NiFi 的工作流程。
## NiFi 架构概述
NiFi 的核心架构由多个关键组件构成，这些组件协同工作
## Nifi PutHiveQL实现步骤
### Nifi PutHiveQL简介
Nifi PutHiveQL是Apache Nifi的一个处理器，用于将流数据存储到Hive表中。Hive是一个基于Hadoop的数据仓库工具，它可以将结构化的数据映射到Hadoop集群上，并提供了类似SQL的查询语言。
### 实现步骤
下面是使用Nifi PutHiveQL实现流数据存储到Hive表的步
原创
2023-07-14 05:24:38
392阅读
Quartz任务监控管理，类似Windows任务管理器，可以获得运行时的实时监控，查看任务运行状态，动态增加任务，暂停、恢复、移除任务等。对于动态增加任务，可以参加我的前一篇文章《Quartz如何在Spring动态配置时间》，本文在前文的基础上扩展，增加暂停、恢复、移除任务等功能，实现Quartz任务监控管理。先看一下最终实现实现效果，只有两个页面 ，如下在这个页面查看任务实时运行状态，可以暂
文章目录1 监控任务设计1.1 概述1.2 代码实现 1 监控任务设计1.1 概述监控任务用于监控CPU利用率、管脚状态，然后在串口中报告状态。示例较简单，也可以做得更为复杂些。系统结构图如下：监控任务设计： 虽然监控任务基本上也是周期性去检查各个状态；但是系统中没有使用软定时器去周期检查。因为除周期性检查状态外，还需要做一些其它工作，在定时函数中完成并不方便。如果再考虑以后想在监控任务中做一些
转载
2023-07-28 09:14:02
159阅读
上节说到，NIFI在集群模式的时候，会对NIFI的任务流进行负载均衡，将处理器要处理的流文件分担到集群的各个节点来处理提升处理效率。本节来学习下NIFI负载均衡队列的实现。一、源码分析梳理下新建连接时候的流程，与启动处理器相似。控制器层：面板层：DAO层：FlowcController层这里构建了一个队列工厂，没有负载均衡的时候，新建一个 StandardFlowFileQueue 实例。当处于集
转载
2024-01-28 07:56:09
132阅读
实现"seatunnel nifi"的步骤
整体流程
```mermaid
journey
title 实现"seatunnel nifi"的步骤
section 理解需求
section 下载并安装NiFi
section 配置NiFi
section 创建数据流
section 部署并运行数据流
section 测试数据流
```
1
原创
2024-01-10 01:52:52
156阅读
# 如何实现 nifi python
## 整体流程
下面是实现 nifi python 的整体流程：
| 步骤 | 描述 |
| ------ | ------ |
| 1 | 安装 nifi 和 nipyapi 库 |
| 2 | 创建 nifi 实例 |
| 3 | 连接 nifi 服务 |
| 4 | 创建一个processor |
| 5 | 运行 nifi 流程 |
## 具体
原创
2024-06-11 06:12:10
360阅读
