Kafka版本 0.8.1-0.8.2一、创建topic模板:/usr/hdp/2.2.0.0-2041/kafka/bin/kafka-topics.sh --create --zookeeper IP:2181 --replication-factor 2 --partitions 30 --topic TEST二、删除t
原创
2016-01-28 15:21:57
2148阅读
前言关于kafka的工作机制,已经在上篇博文:Kafka原理及单机部署中详细写出来,这里只是将kafka的一个群集部署写了出来。博文大纲:一、环境准备二、部署zookeeper服务三、部署kafka集群一、环境准备部署kafka群集所需的安装包,可以从我的网盘链接中下载。二、部署zookeeper服务1、主机kafka01配置如下#部署zookeeper[root@kafka01src]#tarz
原创
2019-11-25 22:31:48
1358阅读
一、概念理解 Kafka 是最初由Linkedin 公司开发,**是一个分布式、支持分区的(patition)、多副本的(replica)、**基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景。1、Kafka的特性高吞吐量、低延迟: Kafka每秒可以处理几十万条消息,它的延迟最低只有几毫秒。可扩展性: kafka集群支持热扩展。**持久性,可
转载
2024-02-22 15:03:30
35阅读
一、环境准备主机名IP运行服务kafka1192.168.171.131kafka+zookeeperkafka2192.168.171.134kafka+zookeeperkafka3192.168.171.135kafka+zookeeper二、部署zookeeper服务源码包(提取码:6q58)1、kafka1配置如下#部署zookeeper[root@kafka1~]#tarzxfzook
原创
精选
2020-05-07 12:08:08
2616阅读
一、Kafka概述1)消息队列1)点对点模式(一对一,消费者主动拉取数据,消息收到后消息清除)点对点模型通常是一个基于拉取或者轮询的消息传送模型,这种模型从队列中请求信息,而不是将消息推送到客户端。这个模型的特点是发送到队列的消息被一个且只有一个接收者接收处理,即使有多个消息监听者也是如此;2)发布/订阅模式(一对多,数据生产后,推送给所有订阅者)发布订阅模型则是一个基于推送的消息传送模型。发布订
原创
2020-02-27 14:52:13
1707阅读
点赞
kafka是分布式发布订阅消息系统Kafka作为一个集群,运行在一台或者多台服务器上.Kafka 通过 topic 对存储的流数据进行分类。每条记录中包含一个key,一个value和一个timestamp(时间戳)。 a、高吞吐量、低延迟:kafka每秒可以处理几十万条消息,延迟最低只有几毫秒,每个topic可以分多个partition、consumer group
转载
2024-03-21 19:29:58
24阅读
搭建要求: 1.CDH环境已经搭建成功,在CDH上搭建kafka。要求用CDH上zookeeper管理kafka而不用kafka自带的zookeeper 2.kafka_2.11-0.8.2.1.tgz已经上传到kafka集群环境中 搭建步骤 1. 主机操作 改动hosts 10.10.0.11 s
转载
2017-05-10 18:44:00
221阅读
2评论
kafka同样依赖Java环境,由于和zookeeper在相同的机器上,之前已经安装过了,所有可以直接跳过Java环境安装
参考文档
安装环境
系统版本centos7.7kafka版本kafka_2.12-2.4.0.tgzzookeeper版本apache-zookeeper-3.5.6-bin.tar.gzjdk版本openjdk1.8
kafka单点安装
消息队列(Message Queue),是分布式系统中重要的组件,其通用的使用场景可以简单地描述为:当不需要立即获得结果,但是并发量又需要进行控制的时候,差不多就是需要使用消息队列的时候。一、消息队列1.什么是消息队列消息(Message)是指在应用间传送的数据。消息可以非常简单,比如只包含文本字符串,也可以更复杂,可能包含嵌入对象。消息队列(Message Queue)是一种应用间的通信方式,消
原创
2024-07-15 13:47:23
234阅读
一、简介1、介绍Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志、访问日志,消息服务等等,Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。2、主要应用场景是日志收集:可以用kafka收集各种服务的日志,通过已统一接口的形式开放给各种消费
推荐
原创
2022-10-18 16:18:39
10000+阅读
点赞
28评论
首先使用yum安装好,环境需求yum -y install pcre-devel bzip2-devel gcc gcc-c++ make 然后解压源码包tar xf haproxy-1.4.24.tar.gz接下来我们就可以源码包安装了首先看一下自己的系统版本[root@root ~]# uname -r2.6.32-358.el6.i686cd haproxy-1.4.24
原创
2017-02-13 14:47:00
666阅读
在默认情 况下,群集服务(MSCS)的文件已经安装在运行 Windows Server 2003 企业版或 Windows Server 2003 DataCenter 版本的计算机上。在 Windows 的早期版本中,若要安装群集服务需要在控制面板中的“添加/删除程序”工具中,添加群集服务组件。 本文适用于以下操作系统:
Microsoft Windows Server
转载
2009-07-29 15:09:41
415阅读
1评论
haproxy搭建web群集;操作简单,实用性强,工作在iOS7层模型的应用层
原创
精选
2017-04-24 21:20:18
5674阅读
点赞
## Redis 群集:打印群集状态
Redis 是一个开源的内存数据存储系统,常用于缓存、消息队列等应用场景。Redis 的集群功能允许多个 Redis 节点组成一个逻辑上的整体,共同存储数据并提供高可用性和扩展性。
在 Redis 群集中,我们需要经常查看群集的状态,以便及时发现问题并进行调整。本文将介绍如何使用 Redis 命令来打印 Redis 群集的状态。
### 打印 Redis
原创
2024-06-20 03:32:34
35阅读
1:kill或者shutdown所有redis服务2:下载安全版本或者推荐版本的redis包,并解压3:进入解压后的文件夹,执行命令make & make install,默认路径是usr/local/bin4:进入每个redis端口文件夹下删除 dump.rdb文件和nodes-端口.conf文件5:进入每个redis端口文件夹并执行命令redis-server re
转载
2023-05-25 11:31:46
179阅读
文章目录前言一:环境1.1:环境1.2:实验目的二:实验过程2.1:主从服务器部署Redis软件2.2 redis 集群,所有节点参数配置2.3 重启服务,正常启动下会多3个文件2.4 在一台maser 上 安装ruby 软件2.5 具体实操如下:2.6 . 创建群集2.7 主从对应关系,前面为从,后面为主2.8 下面开始验证群集功能 前言一:环境1.1:环境VMware软件 Redis官网建议
转载
2023-09-02 20:27:44
40阅读
一个Domino群集可以包含2-6台Domino服务器,用于提供高可用性和负载均衡功能。(邮件服务器,高可用;应用服务器,高可用,负载均衡或两者)
Lotus Notes内置故障切换功能,通过Cluster.ncf来实现,其中包括可用服务器列表,当首选服务器不可用或是负载过重不能及时响应时,可以自动切换到备用服务器。可以通过配置notes.ini来控制切换条件。
 
原创
2008-05-31 14:45:11
2337阅读
环境如下:vmware 下的windows 群集搭建,可以二台作HA高可用群集,一台pdc,一台bdc,每台各增加二个网卡,一个作心跳线,一个接交换,对外服务。二块硬盘,其中一块作仲裁,一块作数据。启用iis,测试效果!!
作了录像,太大了,压缩完,13M。如果有需要的,留言,私下发!
原创
2009-07-10 10:02:47
884阅读
14评论
作了windows群集,顺便也作个linux的群集,环境同样是在vmware下面作的,二台redhat9 ,二个网卡,三个硬盘,下载作群集的软件,待会附近里面给大家免费下载。 同样作了录像,也是太大了,不好上传,要的留言,私下发吧。如果有哪位作了as 5.0的群集,可以发个链接过来,学习一下,我作5.0的群集,cman的服务老起不来。
原创
2009-07-10 10:18:44
3099阅读
点赞
12评论
因为最近没时间写博客,上传个视频供大家欣赏吧!
晕,不知道怎么上传视频,大家要的回复写下邮箱,我会发给大家的!
原创
2010-12-18 21:04:23
386阅读