1.flink作业的部署方式： 上节介绍到通过本地、服务器单节点启动以及集群启动的方式运行程序，本节将介绍一下flink作业的三种部署模式 在一些应用场景中，对于集群资源分配和占用的方式，可能会有特定的需求。Fl
转载
2023-08-04 13:33:14
134阅读
Standalone Cluster HA前面我们配置的 Standalone 集群实际上只有一个 JobManager，此时是存在单点故障的，所以官方提供了 Standalone Cluster HA 模式来实现集群高可用。1. 前置条件在 Standalone Cluster HA 模式下，集群可以由多个 JobManager，但只有一个处于 active 状态，其余的则处于备用状态，Flin
转载
2023-12-19 21:24:53
108阅读
本文基于java构建Flink1.9版本入门程序，需要Maven 3.0.4 和 Java 8 以上版本。需要安装Netcat进行简单调试。这里简述安装过程，并使用IDEA进行开发一个简单流处理程序，本地调试或者提交到Flink上运行，Maven与JDK安装这里不做说明。一、Flink简介Flink诞生于欧洲的一个大数据研究项目StratoSphere。该项目是柏林工业大学的一个研究性项目。早期
转载
2023-10-29 21:25:39
240阅读
Flume 概述Flume 是 Hadoop 生态圈子中的一个重要组件，在上一课时中提过，它是一个分布式的、高可靠的、高可用的日志采集工具。Flume 具有基于流式数据的简单灵活的架构，同时兼具高可靠性、高可用机制和故障转移机制。当我们使用 Flume 收集数据的速度超过下游的写入速度时，Flume 会自动做调整，使得数据的采集和推送能够平稳进行。Flume 支持多路径采集、多管道数据接入和多管道
转载
2024-03-26 04:51:44
57阅读
一，背景公司需要用到flink和kafka来处理大数据，对于一个没有接触过这两个东西的40岁程序员，决定自学一下，用了两天的时间终于实现了flink和kafka的对接，目标就是要向kafka输入 "时间戳,温度,设备ID"，然后在flink里面按照时间戳分组，再按照设备ID计算的在一个时间段内的温度平均值。 二，运行环境window 10, kafka 2.1.1, flink 1.7.
转载
2024-03-01 15:52:11
308阅读
一、Flink中的时间语义 在 Flink 的流式处理中，会涉及到时间的不同概念，如下图所示：Event Time是事件创建的时间。它通常由事件中的时间戳描述，例如采集的日志数据中，每一条日志都会记录自己的生成时间Flink 通过时间戳分配器访问事件时间戳Ingestion time是数据进入 Flink
转载
2024-02-24 07:13:03
104阅读
继上文Flink 原理与实现：架构和拓扑概览中介绍了Flink的四层执行图模型，本文将主要介绍 Flink 是如何根据用户用Stream API编写的程序，构造出一个代表拓扑结构的StreamGraph的。 注：本文比较偏源码分析，所有代码都是基于 flink-1.0.x 版本，建议在阅读本文前先对Stream API有个了解，详见官方文档。org.apache.flink.streaming.
转载
2024-05-24 15:52:41
42阅读
准实时的邮件直接告警很容易将公司的邮箱服务打爆，如果将日志接入ELK,一方面能实现日志的统一存储，方便后续查看追踪，另一方面也能根据特定级别的日志量进行分析，实现曲线预警。logback将日志接入ELK，可以将日志先打到Kafka，es再费kafka的消息。lobback原生是没有写入kafka的组件，需要使用到第三方的包 ：danielwegener/logback-kafka-appender
原创
2022-04-13 11:21:44
1287阅读
# Apache Flink Java接入
Apache Flink是一个用于实时流处理和批处理的分布式处理引擎，具有高吞吐量和低延迟的特点。通过使用Java编程语言，您可以方便地将您的应用程序接入到Apache Flink中。
## Apache Flink简介
Apache Flink是一个开源的流处理引擎，支持事件驱动的应用程序，可以在数据流上进行高效的计算。Flink提供了丰富的AP
原创
2024-05-05 04:05:47
84阅读
# Java接入Flink操作指南
Apache Flink是一个强大的流处理框架，广泛应用于实时数据处理。接入Flink进行数据处理的过程相对简单，尤其是在Java中。本文将为你展示如何使用Java接入Flink、构建一个简单的计算应用，并提供相应的代码示例和操作流程图。
## Flink简介
Flink是一个可扩展的、分布式的流处理框架，支持批处理和流处理。它的高吞吐量、低延迟和精确一次
# Spring Boot 接入 MongoDB 的科普文章
## 引言
Spring Boot 是一个基于 Spring 框架的开源 Java 框架，旨在简化 Java 应用程序的开发过程。MongoDB，则是一个面向文档的 NoSQL 数据库，其灵活性和易扩展性使其在现代应用中得到广泛应用。接入 MongoDB，我们可以充分利用这两者的优势，创建高效的、可扩展的应用程序。
本文将讨论如何
原创
2024-10-28 04:59:43
27阅读
# Nacos 接入 MongoDB 指南
开篇小白常常面对各种新技术时不知道从何入手。本文将以简单明了的方式，教你如何将 Nacos 与 MongoDB 集成。我们会一步步展示整个流程，并详细解释每一步，需要的代码及其注释。
## 流程概述
以下是实现 Nacos 接入 MongoDB 的基本流程：
| 步骤 | 描述 |
|------|---------
总结：
* 1- 体现窗口左闭右开思想（即右端时间重合的数据不参与计算）
* 2- 有序数据的水印窗口标准开始时间 ：时间戳（秒级）// 窗口长度 \* 窗口长度 \* 1000 （这里的整除可以去掉余数）// 如果是秒级，而不是时间戳： 1）start = timestamp - (timestamp - offset + windowSize) % windowSize; 事件时间 - （
转载
2024-07-24 12:38:41
126阅读
# 实现“mybatisplus 接入MongoDB”教程
## 1. 整体流程
```mermaid
journey
title 整体流程
section 开发者指导小白实现mybatisplus接入MongoDB
开发者->小白: 告诉整体流程
开发者->小白: 提供具体步骤和代码
```
### 步骤
| 步骤 | 描述 |
| ---
原创
2024-04-21 04:11:41
316阅读
# 实现Spring Boot接入MongoDB
## 概述
在本文中，我将向你介绍如何在Spring Boot项目中接入MongoDB数据库。MongoDB是一个开源的NoSQL数据库，它具有高性能、高可用性和易扩展性的特点，适合用于大规模数据存储。
## 流程图
```mermaid
flowchart TD
A(创建Spring Boot项目) --> B(添加MongoDB依赖
原创
2024-07-07 04:24:31
85阅读
# Mongodb接入Mybatis
## 背景介绍
Mongodb是一个流行的NoSQL数据库，而Mybatis是一个流行的Java持久层框架。本文将介绍如何将Mongodb接入Mybatis，以便在使用Mybatis的同时操作Mongodb数据库。
## 步骤
### 1. 引入相关依赖
首先需要在项目中引入mongodb的驱动和mybatis的相关依赖：
```xml
原创
2024-05-07 07:20:04
58阅读
作者：美码师一、简介MongoDB 是一款流行的开源文档型数据库，从它的命名来看，确实是有一定野心的。MongoDB 的原名一开始来自于 英文单词”Humongous”, 中文含义是指”庞大”，即命名者的意图是可以处理大规模的数据。但笔者更喜欢称呼它为 “芒果”数据库，除了译音更加相近之外，原因还来自于这几年使用 MongoDB 的两层感觉：第一层感受是”爽”，使用这个文档数据库的特点是几乎不受什
# SpringMVC 接入 MongoDB
## 1. 流程
接入 SpringMVC 和 MongoDB 可以分为以下几个步骤：
| 步骤 | 描述 |
| --- | --- |
| 1 | 添加 MongoDB 依赖 |
| 2 | 配置 MongoDB 连接 |
| 3 | 创建实体类 |
| 4 | 创建 MongoDB Repository |
| 5 | 创建 Controll
原创
2023-10-15 06:18:20
172阅读
Flink 的部署方式跟 Spark 一样，是非常灵活的，可以支持Local、Standalone、Yarn、Mesos、Docker、Kubernetes等现在常见的部署模式。这些部署模式是 Flink 计算时所需资源的管理的不同方式，所以可以理解为是资源管理方式。在具体的应用场景中，如何跟计算资源交互，对于集群资源分配和占用的方式，可能会有特定的需求。所以 Flink 为各种场景提
转载
2023-09-08 10:57:55
106阅读
Flink算子基本转换算子：将会作用在数据流中的每一条单独的数据上。KeyedStream转换算子：在数据有key的情况下，对数据应用转换算子。多流转换算子：合并多条流为一条流或者将一条流分割为多条流。分布式转换算子：将重新组织流里面的事件。基本转换算子基本转换算子可以将一个event中的内容转换.是一个流到另外一个流,包括Map,flatMap,filter三个转换算子.功能就不详谈了.键控流转
转载
2023-12-27 21:55:53
56阅读
