文章目录1：引入依赖2：配置application.properties1:常规配置2:全部配置含义3：hello kakfa-简单应用1：简单生产者2：简单消费者3:测试结果4：生产者1：带回调的生产者2：事务提交5：消费者1、指定topic、partition、offset消费2、批量消费3:ConsumerAwareListenerErrorHandler 异常处理器4:消费者&生
转载
2024-09-12 10:45:15
120阅读
文章目录1. 依赖2. yml配置3. 测试类4. aop拦截5. 并发队列异步发送MQ6. 封装json消息7. 完整封装
原创
2022-09-06 07:24:26
142阅读
SpringStrongGuoHadoop与SparkHadoop主要解决，海量数据的存储和海量数据的分析计算。Spark主要解决海量数据的分析计算。Spark运行模式1）Local：运行在一台机器上。 测试用。2）Standalone：是Spark自身的一个调度系统。 对集群性能要求非常高时用。国内很少使用。3）Yarn：采用Hadoop的资源调度器。 国内大量使用。4）Mesos：国内很少使用
转载
2024-10-26 19:45:21
118阅读
说起spring，我们知道其最核心的两个功能就是AOP（面向切面）和IOC（控制反转），这边文章来总结一下SpringBoot如何整合使用AOP。 一、示例应用场景：对所有的web请求做切面来记录日志。 1、pom中引入SpringBoot的web模块和使用AOP相关的依赖： 其中：cglib包是用
转载
2020-11-03 16:41:00
166阅读
2评论
目录简述消费语义offset的三种管理方式offset管理demo自带offset管理将offset存储在MySQL中 简述Kafka+Spark Streaming主要用于实时流处理。到目前为止，在大数据领域中是一种非常常见的架构。Kafka在其中主要起着一个缓冲的作用，所有的实时数据都会经过kafka。所以对kafka offset的管理是其中至关重要的一环。一但管理不善，就会到导致数据丢失
转载
2024-03-16 10:58:54
68阅读
通过以上步骤，您已成功完成了Spring Boot与RabbitMQ的整合。这种消息队列的应用在分布式系统中起到了至关重要的作用，为各个微服务之间提供了高效可靠的通信机制。希望这篇教程能够帮助您快速上手Spring Boot整合RabbitMQ，为您的项目添加强大的消息处理能力。
原创
2024-07-09 09:57:06
26阅读
spring boot自动配置方式整合spring boot具有许多自动化配置，对于kafka的自动化配置当然也包含在内，基于spring boot自动配置方式整合kafka，需要做以下步骤。引入kafka的pom依赖包<!-- https://mvnrepository.com/artifact/org.springframework.kafka/spring-kafka -->
&
转载
2023-09-26 20:54:33
102阅读
Debian（Linux通用）安装 Kafka 并配置远程访问前言一、下载二、安装三、配置远程访问四、启动总结 前言As we all know，当今世界最流行的消息中间件有 RabbitMq、RocketMq、Kafka，其中，应用最广泛的是 RabbitMq，RocketMq 是阿里巴巴的产品，性能超过 RabbitMq，已经经受了多年的双11考验，但是怕哪天阿里不维护了，用的人不多，Kaf
转载
2024-07-08 10:57:09
17阅读
kafka 命令都在 bin/ 目录下，在命令行中 输入命令时，如果没有加参数 ，会打印出 详细描述。kafka server启动 server 需要 先启动 zookeeper
并在 config/server.properties 做好相关配置# 一般启动
bin/kafka-server-start.sh config/server.properties
# 以守护进程启动 kafka
b
转载
2024-03-27 12:03:39
48阅读
1. 前言2. 整合Redis快速入门3. StringRedisTemplate基本操作及测试4. 实现Redis事务5. Redis乐观锁(分布式锁）1. 前言这篇文章你能学到，SpringBoot整合Redis的最简单方式，不需要任何复杂的配置。还有完整的乐观锁，分布式锁，事务等实现样例代码供你选择。2. 整合Redis快速入门SpringBoot项目引入redis依赖<!-- 引入
转载
2023-08-16 14:51:36
31阅读
对于流式计算系统，我们都预期能够完全正确的处理每一条数据，即所有的数据不多也不少的处理每一条数据，为了达到这样的功能，我们还有很多额外的工作需要处理。1.首先了解spark+kafka解决这个问题的来龙去脉。为什么spark checkpoint解决不了？为什么前面kafka使用KafkaUtils.createStream创建Dstream，而后面升级了api，推荐使用新的KafkaUtil
转载
2024-03-22 23:37:27
14阅读
Spark Streaming整合Kafka实战二Spark Streaming整合kafka的第二种方式1. Direct Approach (No Receivers)优点：缺点：2. 偏移量解决方案自动提交偏移量spark streaming 整合kafka1.0版本以下手动提交偏移量spark streaming 整合kafka1.0版本 Spark Streaming整合kafka的第
转载
2023-12-19 22:28:49
53阅读
Kafka是一个分布式的消息发布-订阅系统。可以说，任何实时大数据处理工具缺少与Kafka整合都是不完整的。本文将介绍如何使用Spark Streaming从Kafka中接收数据，这里将会介绍两种方法：（1）、使用Receivers和Kafka高层次的API；（2）、使用Direct API，这是使用低层次的KafkaAPI，并没有使用到Receivers，是Spark 1.3
转载
2024-03-27 16:35:20
23阅读
<! flowchart 箭头图标 勿删 此项目为spring boot myBatis neo4j数据库整合项目。 有增删改查(节点关系)、动态分页条件排序等一些示例。 git下载地址：git clone https://github.com/wsm1217395196/my project de
转载
2019-07-29 14:39:00
210阅读
2评论
<! flowchart 箭头图标 勿删 此项目为spring boot myBatis neo4j数据库整合项目。 有增删改查(节点关系)、动态分页条件排序等一些示例。 git下载地址：git clone https://github.com/wsm1217395196/my project de
转载
2019-07-26 13:15:00
296阅读
2评论
1，安装并成功能运行flume2，安装并成功能运行kafka3，安装并成功能运行zookeeper4，开始整合flume收集的数据，写入kafkaa,修改flume的配置文加：vim flume_kafka.confagent1.sources = r1agent1.sinks = k1agent1.channels = c1# Describe/configure the sourc
原创
2016-10-12 00:32:33
1105阅读
一、前置准备CentOS7、jdk1.8、flume-1.9.0、zookeeper-3.5.7、kafka_2.11-2.4.1 二、目标这里我们监听/home/xiaokang/docker_teach目录下 kafka.log （自己提前创建好）文件，当文件内容有变化时，将新增加的内容发送到 Kafka 的 flume2kafka 主题中。其中 Flume 中涉
原创
2021-12-08 09:59:16
224阅读
SpringBoot整合kafka配置kafka配置kafka修改kafka的server.properties文件,修改kafka服务的主机地址host.namebroker.id=0port=9092host.name=kafka服务IP地址
原创
2022-01-23 16:43:20
409阅读
flume和kafka的整合操作
原创
2021-07-12 16:44:16
385阅读
使用Kafka表引擎作为数据管道用途的示意图在上图中，整个拓扑分为三类角色：首先是Kafka数据表A，它充当的角色是一条数据管道，负责拉取Kafka中的数据。接着是另外一张任意引擎的数据表B，它充当的角色是面向终端用户的查询表，在生产环境中通常是MergeTree系列。最后，是一张物化视图C，它负责将表A的数据实时同步到表B。现在用一个示例演示使用方法数据库规划queue_beijing_bs -
原创
精选
2024-05-13 21:17:44
209阅读
