springboot集成kafka一、kafka简介二、kafka和zookeeper安装部署1、单容器手动部署方案2、docker-compose容器编排工具部署3、集群部署zookeeper和kafka三、springboot集成kafka1、创建springboot项目(生产者/消费者)2、实现生产者业务逻辑3、实现消费者业务逻辑 一、kafka简介Kafka是最初由Linkedin公司开
转载
2024-02-10 21:04:03
813阅读
LightGBM（Light Gradient Boosting Machine）是一款基于决策树算法的分布式梯度提升框架。为了满足工业界缩短模型计算时间的需求，LightGBM的设计思路主要是两点： 减小数据对内存的使用，保证单个机器在不牺牲速度的情况下，尽可能地用上更多的数据； 减小通信的代价，提升多机并行时的效率，实现在计算上的线性加速。 由此可见，LightGBM的设计初衷就是提供一个快速
转载
2024-06-03 17:47:26
129阅读
一、flink介绍Apache Flink 是一个开源的分布式流处理和批处理系统。Flink 的核心是在数据流上提供数据分发、通信、具备容错的分布式计算。同时，Flink 在流处理引擎上构建了批处理引擎，原生支持了迭代计算、内存管理和程序优化。二、部署环境操作系统环境：flink支持Linux, Mac OS X, 和 Windows环境部署，本次部署选择Linux环境部署。JDK： 要求Java
转载
2024-03-12 13:45:01
58阅读
Flink学习01 - Flink部署学习资料Flink部署Flink部署 - Standalone模式启动flink停止flink配置文件并行度优先级命令行提交job命令行取消job查看Flink输出Flink部署 - Yarn模式Flink on Yarn1）Session-cluster模式：2）Per-Job-Cluster模式：Session ClusterPer Job Cluste
转载
2024-05-23 12:34:46
57阅读
Flink 常见的部署模式：本地模式、Standalone 模式和 Flink On Yarn 模式，然后分别讲解三种模式的使用场景和部署中常见的问题，最后将讲解在生产环境中 Flink 集群的高可用配置。Flink 常见的部署模式环境准备在绝大多数情况下，我们的 Flink 都是运行在 Unix 环境中的，推荐在 Mac OS 或者 Linux 环境下运行 Flink。如果是集群模式，那么可以在
转载
2023-11-17 21:16:29
73阅读
一、yarnyarn框架yarn工作机制yarn生产环境核参数配置二、Flink部署模式flink主要有三种部署模式：会话模式（Session Mode）单作业模式（Per-Job Mode）应用模式（Application Mode）会话模式（Session Mode）首先需要启动一个集群，建立并保持一个会话，在这个会话中通过客户端提交作业。优势：只需要一个集群，所有作业提交之后都进集群处理，集
原创
2023-02-28 19:38:58
747阅读
Flink的下载地址Flink的部署StandAlone模式Flink on yarn模式Session-ClusterPer-Job-Cluster部署注意点在Flink 的下载界面我们可以看到大致有两种Flink的下载版本,俩者的区别就是一种是有hadoop支持的版本，如果需要和Hadoop来进行交互的化，就需要下载此版本上述只是针对于较低版本的Flink我们可以看到..
原创
2022-03-23 10:21:20
545阅读
点赞
1 Flink的前世今生（生态很重要）很多人可能都是在 2015 年才听到 Flink 这个词，其实早在 2008 年，Flink 的前身已经是柏林理工大学一个研究性项目， 在 2014 被 Apache 孵化器所接受，然后迅速地成为了 ASF（Apache Software Foundation）的顶级项目之一。 Apache Flink is an open
转载
2024-05-27 23:07:03
75阅读
Standalone 模式 解压缩 flink-1.10.1-bin-scala_2.12.tgz，进入 conf 目录中。 1）修改 flink/conf/flink-conf.yaml 文件： 2）修改 /conf/slaves 文件： 可以写你的主机名字，比如我的机器是hadoop202,ha ...
转载
2021-10-26 09:53:00
226阅读
2评论
集群架构 环境机器环境java8SSH各模块版本
Flink： 1.8.xHadoop：2.8.xZookeeper：3.4.x部署流程Misc操作账号:user(教程中配置示例使用的是”root”)操作顺序
SSH免密登陆ZooKeeper部署/Hadoop部署(两者无先后顺序)Flink部署安装包
flink 1.8 包采用 flink-1.8.1-bin
转载
2024-07-24 13:08:47
279阅读
最近做的一个项目，使用的是pg数据库，公司没有成熟的DCD组件，为了实现数据变更消息发布的功能，我使用SpringBoot集成Flink-CDC 采集PostgreSQL变更数据发布到Kafka。一、业务价值监听数据变化，进行异步通知，做系统内异步任务。架构方案（懒得写了，看图吧）：二、修改数据库配置2.1、更改配置文件postgresql.conf# 更改wal日志方式为logical（必须
转载
2023-11-23 17:09:57
582阅读
1.1 简述最近做项目时，公司使用了knife4j，今天主要是讲解如何在Spring Boot项目如何配置使用。强烈建议大家使用Knife4j，因为它的前身是swagger-bootstrap-ui，是在Swagger的基础上进行了界面的优化，使用起来比Swagger舒服了太多。1.2 SpringBoot依赖和实例代码准备本实例基于SpringBoot搭建，所需要的配置和依赖很少，下面添加主要的
转载
2024-03-22 17:01:18
196阅读
1.初识
Flink 起源于 Stratosphere 项目，Stratosphere 是在 2010~2014 年由 3 所地处柏林的大学和欧洲的一些其他的大学共同进行的研究项目，2014 年 4 月 Stratosphere 的代 码 被 复 制 并 捐 赠 给 了 Apache 软 件 基 金 会 ， 参 加 这 个 孵 化 项 目 的 初 始 成 员 是Stratosphere
转载
2024-04-03 14:08:58
89阅读
一、前言随着业务的发展，以往的离线批量计算方式，因为延迟太长已经不能满足需求，随着flink这种实时计算工具的出现，实时采集也成为大数据工作中非常重要的一环。现今企业的数据来源大体分为两种：存储在各种关系数据库中的业务数据、网站或APP产生的用户行为日志数据日志数据通过flume、kafka等工具已经可以实现实时采集，但关系数据库的同步仍然以批量为主。当关系数据库的表数据达到一定程度，批量同步耗时
转载
2023-07-11 17:45:04
131阅读
# Flink On YARN 与 Flink On Standalone 部署指南
Apache Flink 是一个强大的流处理框架，提供了多种部署方式，其中包括 YARN 和 Standalone 模式。本文将介绍如何配置和部署 Flink 到这两种环境。首先，我们需要理解整个流程。
## 整体流程
### 步骤表格
| 步骤 | 描述
原创
2024-10-27 04:16:37
28阅读
背景：独立（Standalone）模式由 Flink 自身提供资源，无需其他框架，这种方式降低了和其他 第三方资源框架的耦合性，独立性非常强。但我们知道，Flink 是大数据计算框架，不是资源 调度框架，这并不是它的强项；所以还是应该让专业的框架做专业的事，和其他资源调度框架 集成更靠谱。而在目前大数据生态中，国内应用最为广泛的资源管理平台就是 YARN 了。所 以接下来我们就将学习，在强大的 Y
转载
2023-09-04 13:04:12
95阅读
LightGBM算法梳理1.LightGBM2.LightGBM的起源XGBoost与LightGBM对比3.Histogram VS pre-sorted4.leaf-wise VS level-wise5.特征并行和数据并行6.顺序访问梯度7.支持类别特征8.sklearn参数 1.LightGBMLightGBM是个快速的，分布式的，高性能的基于决策树算法的梯度提升框架. 可用于排序，分类
转载
2024-08-04 15:55:18
41阅读
文章目录Flink 部署本地启动集群启动提交作业部署模式独立模式（Standalone）YARN 模式环境准备会话模式部署单作业模式部署应用模式部署高可用K8S 模式 Flink 部署Flink 中的几个关键组件：客户端（Client）、作业管理器（JobManager）和任务管理器（TaskManager）。我们的代码，实际上是由客户端获取并做转换，之后提交给JobManger 的。所以 Jo
转载
2023-11-07 00:59:29
180阅读
本篇主要讲述Flink Standalone模式下的运行时架构以及各个组件负责的功能，Flink的运行方式有很多，但都大同小异，本文基本可以满足对flink运行时架构的学习。正文Flink系统是主从模式，主要有两个组件构成分别是JobManager（Master）和TaskManager（Slave）。组件之间的通信借助于Akka。下图是standalone模式下的运行时架构图JobManager
转载
2023-12-01 06:28:45
114阅读
集群角色Flik提交作业和执行任务，需要几个关键组件：客户端(Client)：代码由客户端获取并做转换，之后提交给JobMangerJobManager：就是Fink集群里的“管事人”，对作业进行中央调度管理；而它获取到要执行的作业后，会进一步处理转换，然后分发任务给众多的TaskManager。TaskManager：就是真正“干活的人”，数据的处理操作都是它们来做的。Flink 运行时由两种类
转载
2024-07-20 15:47:46
232阅读
