近段时间，业务系统架构基本完备，数据层面的建设比较薄弱，因为笔者目前工作重心在于搭建一个小型的数据平台。优先级比较高的一个任务就是需要近实时同步业务系统的数据(包括保存、更新或者软删除)到一个另一个数据源，持久化之前需要清洗数据并且构建一个相对合理的便于后续业务数据统计、标签系统构建等扩展功能的数据模型。基于当前团队的资源和能力，优先调研了Alibaba开源中间件Canal的使用。 这
我们在开发的时候经常会用到kafka作为消息订阅模式，里面会涉及到很多参数的配置，通过参数配置取优化业务处理的过程。其中，我们最常用的参数如下:kafka:
consumer:
enable-auto-commit: true
group-id: groupid
auto-commit-interval: 1000
auto-offset-reset: late
转载
2024-03-21 11:25:50
152阅读
前面我们了解完broker的配置，现在我们来看下topic的配置：1.cleanup.policy 字符串要么是“delete”，要么是“compact”，或者两者都是。此配置指定在旧日志段上使用的保留策略。默认策略(“delete”)将在达到保留时间或大小限制时丢弃旧段。“compact”设置将启用topic上的日志压缩。服务器提供的默认配置是log.cleanup.policy。2.compr
转载
2024-02-28 09:30:34
117阅读
学习消息中间件Kafka从配置到基本应用一、服务器安装配置Kafka1、配置介绍与修改2、启动3、配置开机自启4、如果不使用自带的zookeeper二、Kafka的使用场景1、异步处理2、应用解耦3、流量削锋4、日志处理5、消息通讯三、点对点消息传递模式1、介绍四、发布-订阅消息传递模式1、介绍2、依赖3、生产者4、消费者5、测试6、消费者的 auto-offset-reset 含义详解五、保证
转载
2024-03-26 21:22:21
154阅读
写在前面：1，Kafka安装之前，首先电脑上应该有安装JDK环境，Zookeeper(Kafka需要依赖于Zookeeper环境)，Zookeeper的安装可以参考这篇文章:，JDK的安装在这就不再叙述了。2，这篇文章中kafka的安装是在Windows下安装的3，这篇文章的cmd我使用的是cmder，大家可以看下这篇文章：4,如果本篇博客中哪里说的不对，还请各位博主及时指出，感谢。开始安装：首先
转载
2024-02-27 11:09:14
37阅读
使用消息中间件无非就是异步，解耦，削峰。 现在最热门就是Kafka了。本文将本地kafka+springboot服务搭建起来首先下载kafka和zookeeper kafka_2.12-1.1.0 下载地址：http://mirror.bit.edu.cn/apache/kafka/1.1.0/kafka_2.12-1.1.0.tgzzookeeper-3.4.12 下载地址：http://mir
转载
2024-06-12 21:29:47
180阅读
一、Kafka中topic级别配置配置topic级别参数时，相同(参数)属性topic级别会覆盖全局的，否则默认为全局配置属性值。 创建topic参数可以设置一个或多个--config "Property(属性)",下面是创建一个topic名称为"my-topic"例子，它设置了2个参数max message size 和 flush rate. (A)创建topic时配置参数bin/kafka-
转载
2023-12-15 19:59:14
493阅读
Important: https://github.com/xaecbd/KafkaCenter前言经过一年的不断打磨，在团队成员的共同努力下，终于能以真实的面貌呈现在大家的面前，很开心，很激动。开源软件，只是为了和大家交个朋友,喜欢的话，star，star，star,重要的事情说三遍！http://weixin.qq.com/r/QjgUDAvEw1a8rU9v921
转载
2024-08-06 20:50:55
66阅读
3.2 Topic配置与topic相关的配置，服务器的默认值，也可可选择的覆盖指定的topic。如果没有给出指定topic的配置，则将使用服务器默认值。 可以通过-config选项在topic创建时设置。此示例使用自定义最大消息的大小和刷新率，创建一个名为my-topic的topic：> bin/kafka-topics.sh --zookeeper localhost:2181 --cre
转载
2023-10-28 15:36:52
104阅读
1.Kafka的工作流程以及文件存储机制 Kafka中消息是以topic进行分类的，生产者生产消息，消费者消费消息，都是面向topic的。 topic是逻辑上的概念，而partition是物理上的概念，每个partition对应一个log文件，该log文件中存储的就是producer生产的数据。Producer生产的数据会被不断追加到该log文件末端，且每条数据都有自己的offset。消费者组中的
转载
2024-03-19 00:36:33
64阅读
本文简要介绍如何在windows系统下安装kafka，kafka版本：kafka_2.11-1.0.0。安装运行环境安装、运行zookeeper安装、运行kafka一、安装运行环境1.下载并安装JAVA，下载地址：https://www.oracle.com/java/technologies/javase-downloads.html 下载JDK2.设置系统环境变量JAV
转载
2024-02-21 21:07:01
456阅读
【备注：kafka相关的入门，使用demo资料来源于互联网！本文是根据实际实践成功安装使用经验的总结，：）】 完整解决方案请参考：Setting Up and Running Apache Kafka on Windows OS
在环境搭建过程中遇到两个问题，在这里先列出来，以方便查询： 1. \Java\jre7\lib\ext\QTJava
转载
2024-07-18 17:38:43
304阅读
一、运维日志在 Docker 容器中安装和配置 Kafka 环境。关于 Kafka 镜像可以在 Docker 官网镜像中搜索 Docker Hub
二、下载镜像 docker pull wurstmeister/kafka docker pull wurstmeister/zookeeper 二、启动 Zookeeper docker run -d --name zookeeper -p 2181
转载
2023-06-09 10:44:49
517阅读
kafka集群参数配置Broker 端参数参数类型参数名参数解释配置值存储信息参数log.dirs这是非常重要的参数，指定了 Broker 需要使用的若干个文件目录路径。要知道这个参数是没有默认值的，这说明什么？这说明它必须由你亲自指定。在线上生产环境中一定要为log.dirs配置多个路径，用逗号分隔的多个路径，比如/home/kafka1,/home/kafka2,/home/kafka3存储信
转载
2024-02-18 21:49:33
249阅读
文章目录1.Kafka 核心概念2. 生产消费模型讲解2.1 点对点2.2 发布、订阅模型3. 生产者实战讲解3.1 生产者投递数据到broker分区的策略3.2 生产者常见配置3.2 ProduceRecord 介绍4. 消费者实战讲解4.1 Consumer消费者机制和分区策略4.2 消费者常用配置5. Kafka数据文件存储-ISR核心讲解5.1 Kafka数据存储流程和log日志6. S
转载
2024-03-04 16:20:38
473阅读
修改 max.message.bytes： bin/kafka-configs.sh --zookeeper localhost:2181 --alter --entity-type topics --entity-name asset-scan-machine-result --add-confi ...
转载
2021-08-05 15:27:00
2230阅读
2评论
前言：Springboot的starter封装了很多东西，包含了MessageConverter、ViewResolver等web的配置，若需要自定义。在之前1.5版本中自定义javaBean继承WebMvcConfigurerAdapter类，但是在2.0版本中此类标记过时，需要实现WebMvcConfigurer接口实现自定义配置。一、1.5.X版本回顾：配置类继承WebMvcConfigur
转载
2024-09-11 09:40:59
163阅读
@TOC欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。新的改变我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：全新的界面设计 ，将会带来全新的写作体验
前言kafka是一个优秀的消息队列框架，现在基于linux安装写个文档记录下。提示：以下是本篇文章正文内容，下面案例可供参考一、环境准备1.下载linux 安装包。 https://kafka.apache.org/downloads 注意下载二进制包，如果不是下载二进制包，就要自己编译了，这里不需要这么麻烦，就直接下载了。官网推荐下载2.13版本，就下载这个版本就行了。 2. 注意这个版本已经内
转载
2024-04-30 16:43:31
598阅读
1，解压[root@localhost ~]# tar -zxvf kafka_2.10-0.10.0.1.tgz -C /usr/local[root@localhost ~]# mv /usr/local/kafka_2.10-0.10.0.1 /usr/local/kafka这里我们将kafka安装到了/usr/local目录下。2，配置kafka集群这里将kafka安装到/us
转载
2024-02-09 12:03:37
64阅读
