简介Apache Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。Apache Kafka与传统消息系统相比，有以下不同：它被设计为一个分布式系统，易于向外扩展； 它同时为发布和订阅提供高吞吐量； 它支持多订阅者，当失败时能自动平衡消费者； 它将消息持
今日做公司项目时恰好是这个，然后就做一个博客，希望可以帮助到你们1、把虚拟机zmedu63内存调成6G以上，因为我们要在VMware虚拟中安装KVM,然后在KVM中再安装虚拟机，需要内存大一些。zmedu63虚拟机最少给4G内存。2、开启vmware中虚拟化支持 3、添加一个20G的硬盘，用于存KVM虚拟机（只有64位centos6以上系统支持KVM。 centos 32位系
转载
2024-02-19 19:21:01
82阅读
一个面试题：InnoDB 一棵 B+ 树可以存放多少行数据？这个问题的简单回答是：约 2 千万。
为什么是这么多呢？因为这是可以算出来的，要搞清楚这个问题，我们先从 InnoDB 索引数据结构、数据组织方式说起。
我们都知道计算机在存储数据的时候，有最小存储单元，这就好比我们今天进行现金的流通最小单位是一毛。
在计算机中磁盘存储数据最小
转载
2024-06-29 20:46:58
24阅读
大纲@[TOC](大纲) 部署前需知部署过程配置kvm使用kvm安装虚拟机 部署前需知部署前请先确认服务器或者测试用的虚拟机配置是否达到要求。如下 CPU：至少拥有2-4核心，最好支持超线程技术 内存：至少为8G及以上为宜 硬盘：至少50g为宜，多多益善 系统：博主用的是centos7.4 实测7.6使用也没有问题部署过程安装环境部署 确认都到达要求后就可以开始部署kvm的环境了 先将centos
转载
2024-05-23 20:20:19
113阅读
KVM的KSM技术介绍 共享内存的概念在现代操作系统中很常用了，比如，一个程序启动时会与父进程共用它的全部内存。但子或父进程需要修改共享内存的时候，linux便再分配新内存，然后copy原区域内容到新内存。这个过程就叫copy on write。 而KSM是linux的新属性，它做的东西刚好与共享内存相反。 当linux启用了KSM之后，KSM会检查多个运行中的进程，并比对它们的内存
转载
2024-08-14 20:01:33
16阅读
目的：充分发挥kafka在低时延，高吞吐等不同场景下的优势。参数配置：1）提升吞吐量 2）保证低时延 3）保证高持久4）相关参数设置说明1、内存缓冲的大小：buffer.memoryKafka的客户端发送数据到服务器，一般都是要经过缓冲的，也就是说，你通过KafkaProducer发送出去的消息都是先进入到客户端本地的内存缓冲里，然后把很多消息收集成一个一个的Batch，再发送到Broker上去的
转载
2024-03-12 17:56:21
243阅读
server.properties中所有配置参数说明(解释)broker.id =0每一个broker在集群中的唯一表示，要求是正数。当该服务器的IP地址发生改变时，broker.id没有变化，则不会影响consumers的消息情况log.dirs=/data/kafka-logskafka数据的存放地址，多个地址的话用逗号分割 /data/kafka-logs-1，/data/kafka-log
转载
2024-07-18 11:53:42
121阅读
一、安装多节点zookeeper集群zookeeper下载地址：https://www-us.apache.org/dist/zookeeper/stable/首先说一下zookeeper集群只要满足“半数以上服务器存活”，就能正常提供服务，所以集群的台数最好是奇数，即2N+1台服务器，这样整个zookeeper集群最多可能容忍N台服务器宕机而依然能提供服务。如果用偶数个服务器通常会浪费一台服务器
转载
2024-03-27 11:58:52
874阅读
# Kubernetes (K8S) 最少需要多少内存
## 概述
在部署Kubernetes集群时，内存是非常重要的因素。根据Kubernetes官方文档的建议，最少需要至少2GB的内存来运行Kubernetes Master组件。在这篇文章中，我们将详细讨论K8S最少需要多少内存，并提供代码示例来帮助您实现。
## 流程
| 步骤 | 描述 |
| ---- | ------ |
|
原创
2024-04-16 10:38:07
354阅读
kafka生产调优手册一、Kafka 硬件 配置选择1、场景说明2、服务器台数选择3、磁盘选择4、内存选择Kafka 内存组成：堆内存 + 页缓存1）Kafka 堆内存建议每个节点：10g ~ 15g在 kafka-server-start.sh 中修改if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
export KAFKA_HEAP_OPTS="-Xmx10G -
转载
2024-03-15 12:09:07
228阅读
配置文件在config/server.properties下面的一些配置可能是你需要进行修改的。这里为官方提供配置文件解释：https://kafka.apache.org/08/configuration.html字段名注释备注推荐配置（如留空，则选用默认配置则可）broker.id整数，建议根据ip区分 推荐利用ip如：192.168.1.1；则利用ip末位作为id；方便对应ip寻找
转载
2024-07-30 15:34:39
83阅读
1. 问题来源公司线上环境出现MQ不能接受消息的异常，运维和开发人员临时切换另一台服务器的MQ后恢复。同时运维人员反馈在出现问题的服务器上很多基本的命令都不能运行，出现如下错误：2. 初步原因分析和解决让运维的兄弟在服务上查看内存、CPU、网络、IO等基本信息都正常。于是自己到运维的服务器上看了一下，下面是slabtop –s c
Flume 官网下载地址：https://flume.apache.org/download.htmlFlume 1.9用户手册中文版：Flume 1.9用户手册中文版 — 可能是目前翻译最完整的版本了flume的配置：1.解压linux>tar -xf apache-flume-1.9.0-bin.tar2.移动目录linux>mv flumexx /opt/install/fl
转载
2024-07-22 09:45:49
61阅读
从这篇文章开始，我将对 Kafka 专项知识进行深度剖析， 今天我就来聊聊 kafka 的存储系统架构设计， 说到存储系统，大家可能对 MySQL 比较熟悉，也知道 MySQL 是基于 B+ tree 来作为它的索引数据结构。Kafka 又是基于什么机制来存储？为什么要设计成这样？它解决了什么问题？又是如何解决的？里面又用到了哪些高大上的技术？带着这些疑问，我们就来和你聊一聊 Kafka 存储架构
转载
2024-08-07 08:11:37
57阅读
Hadoop YARN同时支持内存和CPU两种资源的调度（默认只支持内存，如果想进一步调度CPU，需要自己进行一些配置），本文将介绍YARN是如何对这些资源进行调度和隔离的。 在YARN中，资源管理由ResourceManager和NodeManager共同完成，其中，ResourceManager中的调度器负责资源的分配，而NodeManager则负责资源的供给和隔离。Resour
转载
2024-10-30 17:03:30
30阅读
Kafka简单介绍Kafka是一种高吞吐量的分布式发布订阅消息系统特征：Kafka 是一种高吞吐量 的分布式发布订阅消息系统，有如下特性：通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。高吞吐量 ：即使是非常普通的硬件Kafka也可以支持每秒数百万 的消息。支持通过Kafka服务器和消费机
转载
2024-03-22 09:40:35
235阅读
场景说明100 万日活，每人每天 100 条日志，每天总共的日志条数是 100 万 * 100 条 = 1 亿条（中型公司偏小）。1 亿 / 24 小时 / 60 分 / 60 秒 = 1150 条/每秒钟。每条日志大小：0.5k - 2k（取 1k）（甚至更多根据实际情况）。1150 条/每秒钟 * 1k ≈ 1m/s 。高峰期（中午小高峰 下午 8 - 12）：1m/s
转载
2024-03-18 08:19:23
289阅读
一 Kafka概述1.1 Kafka是什么在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。1）Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。2）Kafka最初是由LinkedIn开发，并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提
转载
2024-03-18 20:48:03
215阅读
前言当开发人员通过我们提供的 API 使用公开的 Twitter 数据时，他们需要可靠性、高效的性能以及稳定性。因此，在前一段时间，我们为 Account Activity API 启动了 Account Activity Replay API ，让开发人员将稳定性融入到他们的系统中。Account Activity Replay API 是一个数据恢复工具，它允许开发人员检索5天前的事件。并且提
SpringBoot整合Kafka简单配置实现生产消费
文章目录前提条件项目环境创建Topic配置信息生产消息生产自定义分区策略生产到指定分区消费消息offset设置方式代码仓库 *本文基于SpringBoot整合Kafka，通过简单配置实现生产及消费，包括生产消费的配置说明、消费者偏移设置方式等。更多功能细节可参考 前提条件搭建Kafka环境，Ja
转载
2024-06-20 20:45:29
68阅读
