springboot集成kafka一、kafka简介二、kafka和zookeeper安装部署1、单容器手动部署方案2、docker-compose容器编排工具部署3、集群部署zookeeper和kafka三、springboot集成kafka1、创建springboot项目(生产者/消费者)2、实现生产者业务逻辑3、实现消费者业务逻辑 一、kafka简介Kafka是最初由Linkedin公司开
转载
2024-02-10 21:04:03
813阅读
LightGBM（Light Gradient Boosting Machine）是一款基于决策树算法的分布式梯度提升框架。为了满足工业界缩短模型计算时间的需求，LightGBM的设计思路主要是两点： 减小数据对内存的使用，保证单个机器在不牺牲速度的情况下，尽可能地用上更多的数据； 减小通信的代价，提升多机并行时的效率，实现在计算上的线性加速。 由此可见，LightGBM的设计初衷就是提供一个快速
转载
2024-06-03 17:47:26
129阅读
一、flink介绍Apache Flink 是一个开源的分布式流处理和批处理系统。Flink 的核心是在数据流上提供数据分发、通信、具备容错的分布式计算。同时，Flink 在流处理引擎上构建了批处理引擎，原生支持了迭代计算、内存管理和程序优化。二、部署环境操作系统环境：flink支持Linux, Mac OS X, 和 Windows环境部署，本次部署选择Linux环境部署。JDK： 要求Java
转载
2024-03-12 13:45:01
58阅读
Flink学习01 - Flink部署学习资料Flink部署Flink部署 - Standalone模式启动flink停止flink配置文件并行度优先级命令行提交job命令行取消job查看Flink输出Flink部署 - Yarn模式Flink on Yarn1）Session-cluster模式：2）Per-Job-Cluster模式：Session ClusterPer Job Cluste
转载
2024-05-23 12:34:46
57阅读
Flink 常见的部署模式：本地模式、Standalone 模式和 Flink On Yarn 模式，然后分别讲解三种模式的使用场景和部署中常见的问题，最后将讲解在生产环境中 Flink 集群的高可用配置。Flink 常见的部署模式环境准备在绝大多数情况下，我们的 Flink 都是运行在 Unix 环境中的，推荐在 Mac OS 或者 Linux 环境下运行 Flink。如果是集群模式，那么可以在
转载
2023-11-17 21:16:29
73阅读
一、yarnyarn框架yarn工作机制yarn生产环境核参数配置二、Flink部署模式flink主要有三种部署模式：会话模式（Session Mode）单作业模式（Per-Job Mode）应用模式（Application Mode）会话模式（Session Mode）首先需要启动一个集群，建立并保持一个会话，在这个会话中通过客户端提交作业。优势：只需要一个集群，所有作业提交之后都进集群处理，集
原创
2023-02-28 19:38:58
747阅读
Flink的下载地址Flink的部署StandAlone模式Flink on yarn模式Session-ClusterPer-Job-Cluster部署注意点在Flink 的下载界面我们可以看到大致有两种Flink的下载版本,俩者的区别就是一种是有hadoop支持的版本，如果需要和Hadoop来进行交互的化，就需要下载此版本上述只是针对于较低版本的Flink我们可以看到..
原创
2022-03-23 10:21:20
545阅读
点赞
Standalone 模式 解压缩 flink-1.10.1-bin-scala_2.12.tgz，进入 conf 目录中。 1）修改 flink/conf/flink-conf.yaml 文件： 2）修改 /conf/slaves 文件： 可以写你的主机名字，比如我的机器是hadoop202,ha ...
转载
2021-10-26 09:53:00
226阅读
2评论
最近做的一个项目，使用的是pg数据库，公司没有成熟的DCD组件，为了实现数据变更消息发布的功能，我使用SpringBoot集成Flink-CDC 采集PostgreSQL变更数据发布到Kafka。一、业务价值监听数据变化，进行异步通知，做系统内异步任务。架构方案（懒得写了，看图吧）：二、修改数据库配置2.1、更改配置文件postgresql.conf# 更改wal日志方式为logical（必须
转载
2023-11-23 17:09:57
582阅读
1.1 简述最近做项目时，公司使用了knife4j，今天主要是讲解如何在Spring Boot项目如何配置使用。强烈建议大家使用Knife4j，因为它的前身是swagger-bootstrap-ui，是在Swagger的基础上进行了界面的优化，使用起来比Swagger舒服了太多。1.2 SpringBoot依赖和实例代码准备本实例基于SpringBoot搭建，所需要的配置和依赖很少，下面添加主要的
转载
2024-03-22 17:01:18
196阅读
集群架构 环境机器环境java8SSH各模块版本
Flink： 1.8.xHadoop：2.8.xZookeeper：3.4.x部署流程Misc操作账号:user(教程中配置示例使用的是”root”)操作顺序
SSH免密登陆ZooKeeper部署/Hadoop部署(两者无先后顺序)Flink部署安装包
flink 1.8 包采用 flink-1.8.1-bin
转载
2024-07-24 13:08:47
279阅读
1 Flink的前世今生（生态很重要）很多人可能都是在 2015 年才听到 Flink 这个词，其实早在 2008 年，Flink 的前身已经是柏林理工大学一个研究性项目， 在 2014 被 Apache 孵化器所接受，然后迅速地成为了 ASF（Apache Software Foundation）的顶级项目之一。 Apache Flink is an open
转载
2024-05-27 23:07:03
75阅读
序号作者版本时间备注1HamaWhite1.0.02022-11-22增加文档一、基础信息1.1 组件版本Flink: 1.13.0JDK： 1.8Mysql: 8.0.15com.ververica:flink-connector-mysql-cdc:2.0.0org.apache.flink:flink-connector-jdbc_2.11:
转载
2024-10-23 17:54:51
56阅读
集群角色Flik提交作业和执行任务，需要几个关键组件：客户端(Client)：代码由客户端获取并做转换，之后提交给JobMangerJobManager：就是Fink集群里的“管事人”，对作业进行中央调度管理；而它获取到要执行的作业后，会进一步处理转换，然后分发任务给众多的TaskManager。TaskManager：就是真正“干活的人”，数据的处理操作都是它们来做的。Flink 运行时由两种类
转载
2024-07-20 15:47:46
232阅读
streaming 流式计算是一种被设计用于处理无限数据集的数据处理引擎，而无限数据集是指一种不断增长的本质上无限的数据集，而 window 是一种切割无限数据为有限块进行处理的手段。Window 是无限数据流处理的核心，Window 将一个无限的 stream 拆分成有限大小的”buckets”桶，我们可以在这些桶上做计算操作。一、Window可以分为两类：CountWindow：按照指定的数据
转载
2024-04-23 21:22:10
26阅读
本篇主要讲述Flink Standalone模式下的运行时架构以及各个组件负责的功能，Flink的运行方式有很多，但都大同小异，本文基本可以满足对flink运行时架构的学习。正文Flink系统是主从模式，主要有两个组件构成分别是JobManager（Master）和TaskManager（Slave）。组件之间的通信借助于Akka。下图是standalone模式下的运行时架构图JobManager
转载
2023-12-01 06:28:45
114阅读
前言这周学习下Flink相关的知识，学习到一个读写Kafka消息的示例， 自己动手实践了一下，别人示例使用的是普通的Java Main方法，没有用到spring boot. 我们在实际工作中会使用spring boot。 因此我做了些加强， 把流程打通了，过程记录下来。准备工作首先我们通过docker安装一个kafka服务，参照Kafka的官方指导文档https://developer.confl
转载
2023-09-14 13:47:59
330阅读
1.背景介绍1. 背景介绍Apache Flink 是一个流处理框架，用于实时数据处理和分析。它支持大规模数据流处理，具有高吞吐量和低延迟。Flink 的分布式部署和部署模式是其核心特性之一，使得 Flink 能够在大规模集群中有效地处理数据。在本文中，我们将深入探讨 Flink 的分布式部署与部署模式，涵盖以下内容：核心概念与联系核心算法原理和具体操作步骤数学模型公式详细讲解具体最佳实践：代码实
转载
2024-08-28 22:12:23
70阅读
一、前言随着业务的发展，以往的离线批量计算方式，因为延迟太长已经不能满足需求，随着flink这种实时计算工具的出现，实时采集也成为大数据工作中非常重要的一环。现今企业的数据来源大体分为两种：存储在各种关系数据库中的业务数据、网站或APP产生的用户行为日志数据日志数据通过flume、kafka等工具已经可以实现实时采集，但关系数据库的同步仍然以批量为主。当关系数据库的表数据达到一定程度，批量同步耗时
转载
2023-07-11 17:45:04
131阅读
一、Flink运行部署模式和流程部署模式：1、Local 本地部署，直接启动进程，适合调试使用2、Standalone Cluster集群部署，flink自带集群模式3、On Yarn 计算资源统一由Hadoop YARN管理资源进行调度，按需使用提高集群的资源利用率，生产环境 运行流程1、用户提交Flink程序到JobClient，2、JobClient的 解析、优化任务，然后提交任务
转载
2023-07-06 16:05:14
604阅读
