1.broker
kafka的集群中的实例，由多个服务组成的集群
2.topic消息分类器，用于存储与分类不同的消息数据3.partition
每个topic拆分为多个partition，消息在其内部有递增序列存储（0,1,2,3,4...），partition均匀分布在集群中，增加并发能力，可设置过期时间,在linux服务器上就是一个文件夹，命名规则为topic名+有序序号
转载
2024-04-20 15:50:42
155阅读
一：账号安全控制1.1 系统账号清理1.1.1 将非登陆用户的Shell 设置为 /sbin/nologin (设置为这个解释器，禁止用户登陆）[root@localhost ~]# usermod -s /sbin/nologin a #将用户a 的登录解释器 设置为 /sbin/nologin
[root@localhost ~]# echo "123456" | pass
转载
2024-10-29 06:55:52
28阅读
分区重分配的本质在于数据复制，先增加新副本，然后再进行数据同步，最后删除旧的副本完成整个流程。数据复制会占用额外的资源，如果重新分配的量太大肯定会影响整体性能，尤其是在使用高峰期，这个问题可以通过减小分配粒度来解决，以小批次的方式来操作。但是如果集群中某个主题或分区的流量在某段时间内特别大，那么在副本复制的时候只靠减小力度是不足以应对的，这时就需要一个限流机制，可以对副本间的复制流量加以限制来保证
转载
2024-03-22 15:26:41
64阅读
Kafka的特性如下：1）高吞吐、低延迟：Kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个topic可以分为多个partition，consumer group对partition进行consumer操作。2）可扩展性：Kafka集群支持热扩展。3）持久性、可靠性：消息被持久化到本地磁盘，并且支持数据备份防止数据丢失。4）容错性：允许集群中节点失败。高并发：支持数千个客户端同时读写
转载
2024-03-21 10:08:22
50阅读
申请配额(限流)不了解kafak配额管理机制的可以先了解一下 kafka中的配额管理（限速）机制默认创建完Topic之后是没有设置配额信息的,而且我们都知道Kafka的配额(限流)只支持三种粒度:user + clientid user clientid 如果kafka集群没有开启身份认证，则只能使用clientid方式来进行限流。但是KaFkaManager是可以支持到Topic粒度的; 假如你
转载
2024-02-12 14:17:40
315阅读
server.properties# 有关其他详细信息和默认值，请参阅kafka.server.KafkaConfig
############################# 服务器基础知识 #############################
# 经纪人的身份证。 必须为每个代理设置一个唯一的整数。
broker.id=0
############################
转载
2024-02-19 21:34:21
190阅读
Ip欺骗
原创
2016-04-19 15:17:56
1736阅读
一.Broker配置 在conf/server.properties中进行设置1.broker.id(default 0) 每个broker都需要有一个标识符，建议host1.xx.com,host2.xx.com 2.listeners(default localhost:9092) 监听端口，默认9092，如果使用1024以下端口，需要使用root权限启动Kafka。 3.zookeeper.
转载
2024-03-01 12:38:37
210阅读
1.CPU sys 上涨背景配置机型 A机型 BCPU48C48CMEM8*32G12*16GDATA DISK12*960G SSD12*4T SSD线上某个kafka集群由于种种原因，从 24 * 机型 A 置换迁移为 12 * 机型 B。从集群总资源维度看，排除其他客观因素，置换后，CPU总核数少了一半，使用率上升其实也是预期之内的。事实上置换后，集群CPU使用率确实也由原有的 20%提升至
转载
2024-04-21 08:29:29
60阅读
Zookeeper在Apache Kafka中扮演着关键的角色，它提供了分布式协调和配置管理服务，对于Kafka集群的正常运行和高可用性至关重要。以下是具体介绍。配置管理Zookeeper负责存储和管理Kafka集群的配置信息，包括主题（topics）和分区（partitions）的分配、副本（replicas）的分布、消费者组（consumer groups）的信息等。Kafka通过Zookee
原创
2023-08-23 10:58:47
290阅读
作者简介国栋，腾讯软件工程师，Apache Pulsar、Apache Flink 等项目的贡献者，杭州电子科技大学硕士。引言Kafka 自 2011 年被捐献给 Apache 基金会，至今已发展为消息队列事实标准。作为一个优秀的分布式消息系统，Kafka 被许多企业采用并成为其大数据架构中不可或缺的一部分。目前 Kafka 也不局限于分布式消息队列，而在向“集成分发、存储和计算的流式数据平台
CDC和HDC的区别与转换
1 CDC和HDC的区别与转换
2
3
4 一、区别与联系
5 HDC是句柄；CDC是MFC封装的Windows 设备相关的一个类；CClientDC是CDC的衍生类，产生对应于Windows客户区的对象
6 HDC是WINDOWS的一种数据类型，是设备描述句柄。
7 而CDC是MFC里的一个类，它封装了几乎所有的关于HDC的操作。
Zookeeper在Kafka中的作用是充当协调服务和分布式配置管理器。在早期的Kafka版本中，Zookeeper用于以下主要功能：协调和领导者选举：Zookeeper协助Kafka集群中的各个Broker选举一个领导者（Leader）。这个领导者负责管理分区的写入和读取请求，并协调分布式的事务。如果领导者发生故障，Zookeeper会帮助选举一个新的领导者。分区分配：当新的消费者加入或现有消费
转载
2024-07-03 09:49:21
33阅读
复制限流 在上一节中我们了解了分区重分配本质在于数据复制，先增加新的副本，然后进行数据同步，最后删除旧的副本来达到最终的目的。数据复制会占用额外的资源，如果重分配的量太大必然会严重影响整体的性能，尤其是处于业务高峰期的时候。减小重分配的粒度，以小批次的方式来操作是一种可行的解决思路。如果集群中某个主题或某个分区的流量在某段时间内特别大，那么只靠减小粒度是不足
转载
2024-03-18 23:05:13
50阅读
相信很多人都遇到过这样一个问题，当我们想要访问某个网站时，却出现被网站限制访问的情况。其实最主要的原因是我们的IP地址在请求访问时被阻止了，那么为何我们的IP会被阻止呢，其中的原理又是什么，我们应该如何绕开IP地址的阻止呢？在本文中我们来一一介绍。IP地址阻止了什么IP 地址是一个数字代码，它充当设备在 Internet 上的地址，并且包含有关设备位置的信息。IP地址的阻止主要阻止我们访问具有特定
转载
2023-09-28 17:07:07
136阅读
从一台linux远程连接另一台linux上的MySQL, 出现ERROR 2003 (HY000): Can't connectto MySQL server on 'xxx.xxx.xxx.85'(111)错误。
[mysql@vvmvcs0 ~]$ mysql -hxxx.xxx.xxx.85 -uroot -p
Enter password: www.2cto.com
ERROR 2003
转载
2024-07-23 22:00:35
15阅读
之前PPT里写平台产品价值的时候，总是会写“开箱即用，降低部署门槛"这一点，好奇之下自己找了些网上的资料，尝试了下部署，分享下自己Hadoop集群的搭建步骤。准备工作1、准备虚拟环境：安装VMware+CentOS2、设置windows的vmnet8的ip地址和虚拟机中centos的ip地址3、配置模板机并克隆，各台机器的主机名和ip地址如下： 主机名：master 对应的ip地址：192.168
转载
2023-11-18 23:10:48
125阅读
这篇博客是关于MySQL数据库加固的试验实验环境是：在CentOS 7的虚拟机上新搭建了MySQL数据库一、设置root用户远程连接的IP限制新搭建好的MySQL是没有开启远程连接的，开启MySQL服务，用本机连接试一下，发现现在能ping通连不上 设置用户远程连接只要修改mysql库中user表的host列就可以，默认值为localhost就是禁止的，可以直接将localhost修改为
转载
2023-06-10 20:29:01
1401阅读
方法一：通过hosts.allow和hosts.deny文件进行ip限制在/etc/目录下，同时存在hosts.allow和hosts.deny文件如果我们希望某些ip不能访问，那么我们可以打开hosts.deny文件，在其中添加sshd:ip地址:deny其中sshd代表了连接协议，这里我们是禁止ssh登录；ip地址的话，可以是一个正常的地址，例如：192.168.2.111，也可以是通过设置子
转载
2024-02-04 14:14:19
79阅读
下载官网安装包，选择需要的版本。https://www.tenable.com/downloads/nessus执行安装命令rpm -ivh rpm包名启动命令 systemctl start nessusd关闭防火墙 systemctl stop firewalld访问web页面 https://ip:8834/在打开的页面中选择“Managed Scanner”，并点击continu
转载
2024-08-23 17:44:10
1033阅读
