1. 准备工作1.1 安装包jdk-8u162-linux-x64.tarzookeeper-3.4.12.tarkafka_2.11-2.0.0 .tgz注：安装包版本按自己需要下载1.2 准备至少3台主机2. 安装JAVA环境在每台主机下执行下面步骤：将安装包移到/usr/local目录下mv jdk-8u162-linux-x64.tar.gz /usr/local解压文件tar -zxvf
转载
2024-03-19 01:59:43
36阅读
“ 这篇文章，同样给大家聊一个硬核的技术知识，我们通过Kafka内核源码中的一些设计思想，来看你设计Kafka架构的技术大牛，是怎么优化JVM的GC问题的? 1、Kafka的客户端缓冲机制 首先，先得给大家明确一个事情，那就是在客户端发送消息给kafka服务器的时候，一定是有一个内存缓冲机制的。 也就是说，消息会先写入一个内存缓冲中，然后直到多条消息组成了一个Batch，才会一次网络通信
转载
2024-03-08 20:57:00
57阅读
除了主机监控之外，另一个重要的监控维度就是 JVM 监控。Kafka Broker 进程是一个普通的 Java 进程，所有关于 JVM 的监控手段在这里都是适用的。监控 JVM 进程主要是为了让你全面地了解你的应用程序（Know Your Application）。具体到 Kafka 而言，就是全面了解 Broker 进程。比如，Broker 进程的堆大小（HeapSize）是多少、各自的新生代和
转载
2024-03-16 09:09:45
192阅读
前言这篇文章，同样给大家聊一个硬核的技术知识，我们通过Kafka内核源码中的一些设计思想，来看你设计Kafka架构的技术大牛，是怎么优化JVM的GC问题的？1、Kafka的客户端缓冲机制首先，先得给大家明确一个事情，那就是在客户端发送消息给kafka服务器的时候，一定是有一个内存缓冲机制的。也就是说，消息会先写入一个内存缓冲中，然后直到多条消息组成了一个Batch，才会一次网络通信把Batch发送
转载
2023-12-17 23:31:33
37阅读
管理和改进低质量的供应商可能是一项具有挑战性的任务，但与他们合作以提高他们的能力是可能的。可以采取一些步骤来管理和帮助提高供应商的质量：确定根本原因：了解供应商产品或服务质量低下的原因。对他们的流程、资源和能力进行全面评估，以确定需要改进的领域。设定明确的质量期望：向供应商清楚地传达您的质量要求和期望。包括定义特定的质量指标、性能指标以及需要满足的任何行业标准或认证。建立协作关系：在协作和开放沟通
目录1、一个超大数据量处理系统是如何不堪重负OOM的？1.1、系统运行：1.2、针对Kafka故障设计的高可用场景1.3、无法释放的内存最终导致OOM1.4、解决思路2、无限循环调用导致OOM3、没有缓存的动态代理4、每秒仅仅上百请求的系统为什么会因为OOM而崩溃？Tomcat5、Jetty 服务器的 NIO 机制是如何导致堆外内存溢出的？Direct buffer memory？6、一次微服务架
若采用docker容器化的部署方案可直接跳过前提准备哦~前提准备本文使用的是kafka_2.13-2.8.1.tgz❀ 温馨提示： 该文件集成了zookeeper，因此不需要再特意下载哦~前提❀ 确保有jdk8环境1、查看版本java -version2、安装jdk8(有网环境)#Ubuntu
apt install -y openjdk-8-jdk-headless
#CentOS
yum in
转载
2024-04-21 09:57:22
179阅读
server.properties中所有配置参数说明(解释)broker.id =0每一个broker在集群中的唯一表示，要求是正数。当该服务器的IP地址发生改变时，broker.id没有变化，则不会影响consumers的消息情况log.dirs=/data/kafka-logskafka数据的存放地址，多个地址的话用逗号分割 /data/kafka-logs-1，/data/kafka-log
转载
2024-07-18 11:53:42
121阅读
三面大概九十分钟，问的东西很全面，需要做充足准备，就是除了概念以外问的有点懵逼了(呜呜呜~)。回来之后把这些题目做了一个分类并整理出答案(强迫症的我~狂补知识~)分为spring+jvm+微服务+kafka+MongoDB等五类，接下来分享一下我的这京东面试的面经+一些我的学习笔记。注意注意：需要小编整理的spring+jvm+微服务+kafka+MongoDB等五类面试答案、学习笔记、思维脑图(
这里是weihubeats,觉得文章不错可以关注公众号小奏技术，文章首发。拒绝营销号，拒绝标题党Kafka versionkafka_2.13-3.5.0Kafka 监控Kafka自带JMX监控JMX我们不用过多介绍，如果你用过Spring Boot Actuator就算用过JMX，Spring Boot Actuator的实现就是基于JMXKafka如何开启JMX监控之前我们在Linux Kaf
转载
2024-09-10 21:24:31
79阅读
# Kafka JVM调优指的是对Kafka集群中的Java虚拟机进行优化，以提高Kafka集群的性能和稳定性。在这篇文章中，我将向你介绍如何进行Kafka JVM调优，并提供代码示例。首先，让我们看一下整个调优流程：
| 步骤 | 描述 |
| ---- | ------------
原创
2024-04-28 10:26:33
129阅读
kafka JVM调优
原创
2022-10-16 06:46:39
123阅读
# cat kafka-server-start.sh export KAFKA_HEAP_OPTS="-Xmx6G -Xms6G" 1 #!/bin/bash 2 # Licensed to the Apache Software Foundation (ASF) under one or mor ...
转载
2021-07-30 09:55:00
2156阅读
2评论
目录4.1 Kafka源码剖析之源码阅读环境搭建4.1.1 安装配置Gradle4.1.2 Scala的安装和配置4.1.3 Idea配置4.1.4 源码操作4.2 Kafka源码剖析之Broker启动流程4.2.1 启动kafka4.2.2 查看Kafka.Kafka源码4.3 Kafka源码剖析之Topic创建流程4.3.1 Topic创建4.3.2 手动创建4.3.3 查看Topic入口4.
转载
2024-06-21 12:13:01
83阅读
配置文件在config/server.properties下面的一些配置可能是你需要进行修改的。这里为官方提供配置文件解释：https://kafka.apache.org/08/configuration.html字段名注释备注推荐配置（如留空，则选用默认配置则可）broker.id整数，建议根据ip区分 推荐利用ip如：192.168.1.1；则利用ip末位作为id；方便对应ip寻找
转载
2024-07-30 15:34:39
83阅读
一、Kafka安装/配置：前提，安装Zookeeper(IP+端口：192.168.233.147:2181)：1.下载kafka_2.13-3.1.0.tgz:http://mirrors.aliyun.com/apache/kafka/3.1.0/2.用 Xftp将kafka_2.13-3.1.0.tgz 上传到/root 目录。3.解压到/usr/local 目录：[root@localho
转载
2024-04-07 12:24:00
327阅读
jmx_exporter简介监控kafka和zookeeper 的jmx通过启动的java应用的时候将 jmx_prometheus_javaagent-0.16.0.jar注入进去。
原创
2024-08-19 14:36:40
31阅读
并行收集器（也称为吞吐量收集器），与串行收集器类似都是分代收集器；主要的区别是使用多个线程来加速垃圾回收。 使用命令行选项'-XX:+UseParallelGC'启用并行收集器。默认情况下，使用此选项，'minor collection'和'major collection'都会并行执行，以进一步减少垃圾收集开销。在拥有N（N>8）个硬件线程的机器上，并行收集器使用固定比例的N值作为垃圾收集
线上环境规划JVM参数设置kafka是scala语言开发，运行在JVM上，需要对JVM参数合理设置，参看JVM调优专题 修改bin/kafka-start-server.sh中的jvm设置，假设机器是32G内存，可以如下设置：export KAFKA_HEAP_OPTS="-Xmx16G -Xms16G -Xmn10G -XX:MetaspaceSize=256M -XX:+UseG1GC -XX
转载
2023-12-21 13:55:47
77阅读
前面我们说了RabbitMQ和RocketMQ的安装和简单的使用，这次我们说一下Kafka的安装配置，后面我会用几个真实案例来说一下MQ的真实使用场景。天冷了，不愿意伸手，最近没怎么写博客了，还请见谅。一、目标 1.知道什么是Kafka 2.懂得kafka的单机和集群安装配置 3.了解内部参数的简单配置二、Kafka简介 Kafka是由Apache软件基金会开发的一个开源流
转载
2024-02-26 20:30:47
246阅读
