一、日志持久化设计1. partition的持久化队列结构：数据按先后顺序依次追加在文件末尾，读写操作分开，如下图所示。这种结构有如下优势：所有的操作复杂度都是O(1)，读操作不会阻塞写操作，读操作之间也不会互相影响。由于性能和数据大小完全分离开来——服务器现在可以充分利用大量廉价、低转速的1+TB SATA硬盘，通过顺序写的方式追加数据。虽然这些硬盘的寻址性能很差，但他们在大规模读写方面的性能是
转载
2024-10-18 12:32:30
45阅读
1.kafka每个节点叫做broker，producer向kafka发送消息时，是将消息发送给指定的topic。同时每个topic下面还细问分partition，具体到每条消息细分到哪个partition，是根据消息的key参数以及配置的partition规则来的，由于多个partition的存在，所以针对同一个topic，其吞吐量更高，并发性也越强
2.partition中消息都
转载
2024-09-08 20:02:25
26阅读
分区重分配的本质在于数据复制，先增加新副本，然后再进行数据同步，最后删除旧的副本完成整个流程。数据复制会占用额外的资源，如果重新分配的量太大肯定会影响整体性能，尤其是在使用高峰期，这个问题可以通过减小分配粒度来解决，以小批次的方式来操作。但是如果集群中某个主题或分区的流量在某段时间内特别大，那么在副本复制的时候只靠减小力度是不足以应对的，这时就需要一个限流机制，可以对副本间的复制流量加以限制来保证
转载
2024-03-22 15:26:41
64阅读
复制限流 在上一节中我们了解了分区重分配本质在于数据复制，先增加新的副本，然后进行数据同步，最后删除旧的副本来达到最终的目的。数据复制会占用额外的资源，如果重分配的量太大必然会严重影响整体的性能，尤其是处于业务高峰期的时候。减小重分配的粒度，以小批次的方式来操作是一种可行的解决思路。如果集群中某个主题或某个分区的流量在某段时间内特别大，那么只靠减小粒度是不足
转载
2024-03-18 23:05:13
50阅读
## Docker Compose 限制IO
### 介绍
Docker Compose 是一个用于定义和运行多个 Docker 容器的工具。它允许我们使用一个 YAML 文件来配置我们的应用程序的服务，然后使用 `docker-compose` 命令一键启动、停止和管理所有容器。这种方式使得我们能够轻松地在不同的环境中部署和运行应用程序。
在使用 Docker Compose 部署应用程序
原创
2023-08-24 15:33:12
554阅读
限制Linux中缓冲区缓存的大小有没有办法告诉Linux内核只使用一定比例的内存用于缓冲区缓存？我知道/proc/sys/vm/drop_caches可用于临时清除缓存，但是有任何永久设置可以防止它增长到超过例如50％的主存？我想要这样做的原因是，我有一台运行Ceph OSD的服务器，它不断地从磁盘提供数据，并设法在几个小时内将整个物理内存用作缓冲区缓存。同时，我需要运行将分配大量(几十GB)物理
转载
2024-09-29 13:56:50
40阅读
# Docker Compose 中的 I/O 限制：理解与实践
在现代应用开发中，Docker Compose 是一种常用的工具，它允许开发者通过一个 YAML 文件来定义和运行多个 Docker 容器。在使用 Docker Compose 的过程中，我们常常需要对容器的资源使用进行管理，特别是 I/O（输入/输出）限制。本文将详细介绍如何在 Docker Compose 中设置 I/O 限制
原创
2024-08-10 07:24:44
197阅读
# 如何实现Python限制IO速率
作为一名经验丰富的开发者，我们经常需要处理关于限制IO速率的问题。在Python中，我们可以通过使用一些库和模块来实现这个目标。在这篇文章中，我将向你展示如何通过Python来限制IO速率。
## 流程图
```mermaid
flowchart TD
A(开始) --> B(导入必要的库和模块)
B --> C(定义IO速率限制函数)
原创
2024-05-10 06:33:09
119阅读
# 实现 Windows Python IO 限制的指南
在这篇文章中，我们将详细讨论如何在 Windows 系统下实现 Python IO 限制。这对于那些希望监控和限制进程中文件句柄或网络 IO 的开发者来说是一个相对重要的技能。我们将使用一些 Python 库来完成这个任务，并分步骤教你如何实现。
## 整体流程
我们将通过以下几个步骤来实现 IO 限制。请查看下面的表格：
| 步骤
原创
2024-10-24 05:09:38
115阅读
一、依赖环境准备1、检查JDK是否存在且和JVM版本一致，我这里系统是64位，JVM也是64位 2、如果出现以下报错则是JVM不一致 二、安装kafka 1、下载最新版本kafka kafka官方下载路径： https://kafka.apache
转载
2024-06-17 17:24:47
45阅读
前言2022 年 5 月，我们正式推出 Amazon MSK Serverless https://aws.amazon.com/cn/msk...，通过将容量规划和扩展工作转移给亚马逊云科技，帮助您进一步降低管理 Apache Kafka https://kafka.apache.org/ 集群的运营开销。2019 年 5 月，我们推
转载
2024-08-06 18:35:53
36阅读
近闲来无事 学习下kafka 现将笔记总计如下一.简介 kafka是由Linkedin公司开发，是一个分布式的，分区的，多副本的，多订阅者的，基于zookeeper协调的分布式日志系统（MQ系统），常见可以用于web/ngix日志，访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目 主要应用场景：日志收集系统和消息系统 kafka主要涉及目标：
转载
2024-09-21 16:06:57
20阅读
Kafka的特性如下：1）高吞吐、低延迟：Kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个topic可以分为多个partition，consumer group对partition进行consumer操作。2）可扩展性：Kafka集群支持热扩展。3）持久性、可靠性：消息被持久化到本地磁盘，并且支持数据备份防止数据丢失。4）容错性：允许集群中节点失败。高并发：支持数千个客户端同时读写
转载
2024-03-21 10:08:22
50阅读
参考：《Apache Kafaka 实战》前言主要包括以下几个方面磁盘类型磁盘容量CPU内存带宽其他配置优化1. 磁盘类型1.1 机械硬盘 与 固态硬盘 选择？机械硬盘，性价比高，完全可以满足集群的使用固态硬盘，有钱就上1.2 一堆普通磁盘（JBOD） 与 磁盘整列（RAID) 选择？JBOD，性价比高，使用没有问题RAID，有钱就上，提供冗余的数据存储空间，天然负载均衡2. 磁盘容量规划Kafk
转载
2024-04-20 22:35:01
77阅读
前言：Kafka是一个分布式的（ distributed ）、分区的（ partitioned ）、复制的（ replicated ）提交日志（ commitlog ）服务。“分布式”是所有分布式系统的特性；“分区”指消息会按照分区分布在集群的所有节点上；“复制”指每个分区都会有多个剧本存储在不同的节点上；“提交日志”指新的消息总是以追加的方式进行存储。日志的读写： 分区的每个副本存储在不同的消息
限制容器的资源：默认情况下，一个容器是没有任何资源限制的，可以几乎耗尽内核可分配给当前容器的所有资源，宿主机的调度器能调度多少资源，容器就可以用多少资源（高负载的情况下）docker提供了下面的途径：如何限制内存，CPU，磁盘IO等，内存是非可压缩资源，CPU是可压缩资源，依赖于linux的一些深层知识memory hogsoom objoom score非常非常重要的容器在创建时就应该调整它的o
转载
2024-04-11 21:27:28
169阅读
尽管谷歌向来非常重视安卓系统的安全性但无奈基于开放性原则还是要允许用户安装来自商店外的应用程序。但是安装来自商店外的应用程序有较高概率感染恶意软件，毕竟商店里谷歌通过机器学习不断检测恶意软件。既然不能彻底阻止用户安装商店外应用程序又要提高安全性，那只能将整个安装步骤设定限制以提高安全性。 每次安装商店外应用都需要解除限制：在当前版本的安卓系统中安装外部应用程序时，用户只需要手动解除被关
转载
2024-07-30 21:38:04
49阅读
Block IO：指的是磁盘的读写，docker 可以通过设置权重，限制bps和iops的方式控制容器读写磁盘的带宽注：目前block IO限额只对direct IO（不使用文件缓存）有效。1.Block IO权重：--blkio-weight，这个--blkio-weight的权重值在 10~1000之间和容器cpu的使用机制是一致的，所有容器都可以平等的读写磁盘，可以通过--blk
转载
2024-02-19 02:06:03
61阅读
一、Docker容器配置进阶1、容器的自动重启Docker提供重启策略控制容器退出时或Docker重启时是否自动启动该容器。容器默认不支持自动重启，要使用 --restart 选项指定重启策略。作用：容器自动重启;重启策略能够确保关联的多个容器按照正确的顺序启动。[root@localhost ~]# docker run --help
--restart string
转载
2024-06-12 18:43:06
67阅读
一、Kafka简介 二、kafka基本概念 三、kafka结构设计 四、kafka场景与应用 五、简单使用案例 六、代码案例 七、kafka高级特性一、Kafka简介 Kafka流处理平台由LinkedIn开发，2011年被apache收纳。Kafka的三个关键特性：发布和订阅记录流，类似于消息队列或企业消息传递系统。以容错的持久方式存储记录流。当记录流产生时，就可以进行处理Kafka通常被用在两
