前言关于kafka的工作机制，已经在上篇博文：Kafka原理及单机部署中详细写出来，这里只是将kafka的一个群集部署写了出来。博文大纲：一、环境准备二、部署zookeeper服务三、部署kafka集群一、环境准备部署kafka群集所需的安装包，可以从我的网盘链接中下载。二、部署zookeeper服务1、主机kafka01配置如下#部署zookeeper[root@kafka01src]#tarz
原创
2019-11-25 22:31:48
1358阅读
一、环境准备主机名IP运行服务kafka1192.168.171.131kafka+zookeeperkafka2192.168.171.134kafka+zookeeperkafka3192.168.171.135kafka+zookeeper二、部署zookeeper服务源码包（提取码：6q58）1、kafka1配置如下#部署zookeeper[root@kafka1~]#tarzxfzook
原创
精选
2020-05-07 12:08:08
2616阅读
一、Kafka概述1）消息队列1）点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除）点对点模型通常是一个基于拉取或者轮询的消息传送模型，这种模型从队列中请求信息，而不是将消息推送到客户端。这个模型的特点是发送到队列的消息被一个且只有一个接收者接收处理，即使有多个消息监听者也是如此；2）发布/订阅模式（一对多，数据生产后，推送给所有订阅者）发布订阅模型则是一个基于推送的消息传送模型。发布订
原创
2020-02-27 14:52:13
1707阅读
点赞
消息队列（Message Queue），是分布式系统中重要的组件，其通用的使用场景可以简单地描述为：当不需要立即获得结果，但是并发量又需要进行控制的时候，差不多就是需要使用消息队列的时候。一、消息队列1.什么是消息队列消息（Message）是指在应用间传送的数据。消息可以非常简单，比如只包含文本字符串，也可以更复杂，可能包含嵌入对象。消息队列（Message Queue）是一种应用间的通信方式，消
原创
2024-07-15 13:47:23
234阅读
一、简介1、介绍Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。2、主要应用场景是日志收集：可以用kafka收集各种服务的日志，通过已统一接口的形式开放给各种消费
推荐
原创
2022-10-18 16:18:39
10000+阅读
点赞
28评论
Kafka版本 0.8.1-0.8.2一、创建topic模板：/usr/hdp/2.2.0.0-2041/kafka/bin/kafka-topics.sh --create --zookeeper IP:2181 --replication-factor 2 --partitions 30 --topic TEST二、删除t
原创
2016-01-28 15:21:57
2148阅读
一、概念理解 Kafka 是最初由Linkedin 公司开发，**是一个分布式、支持分区的(patition)、多副本的(replica)、**基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景。1、Kafka的特性高吞吐量、低延迟： Kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒。可扩展性： kafka集群支持热扩展。**持久性，可
转载
2024-02-22 15:03:30
35阅读
kafka是分布式发布订阅消息系统Kafka作为一个集群，运行在一台或者多台服务器上.Kafka 通过 topic 对存储的流数据进行分类。每条记录中包含一个key，一个value和一个timestamp(时间戳)。 a、高吞吐量、低延迟：kafka每秒可以处理几十万条消息，延迟最低只有几毫秒，每个topic可以分多个partition、consumer group
转载
2024-03-21 19:29:58
24阅读
搭建要求： 1.CDH环境已经搭建成功，在CDH上搭建kafka。要求用CDH上zookeeper管理kafka而不用kafka自带的zookeeper 2.kafka_2.11-0.8.2.1.tgz已经上传到kafka集群环境中 搭建步骤 1. 主机操作 改动hosts 10.10.0.11 s
转载
2017-05-10 18:44:00
221阅读
2评论
Last project has been finished. biztalk 2006 R2 HA base on windows server 2003 cluster, with sql server 2005 on Windows server 2008 failover cluster as DB environment. It is my fist time to proceed bi
原创
2010-12-17 21:18:38
457阅读
一、Rabbitmq概念RabbitMQ是一个开源的靠AMQP协议实现的服务，服务器端用Erlang语言编写，支持多种客户端，如：Python、Ruby、.NET、Java、JMS、C、PHP、ActionScript、XMPP、STOMP等，支持AJAX。用于在分布式系统中存储转发消息，在易用性、扩展性、高可用性等方面表现不俗。AMQP，即AdvancedMessageQueuingProtoc
原创
2019-11-23 11:53:32
1338阅读
Mencached基本部署Mamcached概述memcached是一套分布式的高速缓存系统，运行在内存中。memcached缺乏认证以及安全管制，这代表应该将memcached服务器放置在防火墙后。实验准备名称角色地址centos7-1服务端192.168.142.66centos7-2客户端192.168.142.77实验步骤memcached服务端安装环境包[root@localhostli
原创
2019-12-27 08:40:32
939阅读
点赞
一、部署Rabbitmq集群Rabbitmq集群大概分为两种方式：1、普通模式：默认的集群模式，消息的尸体只存在一个节点上；2、镜像模式：把需要的队列做成镜像，存在于多个节点。ha-mode：all：列队到所有节点；exatly：随机镜像到其他节点上；nodes：镜像到指定节点上。集群节点模式：1、内存节点：工作在内存上；2、磁盘节点：工作在磁盘上；例外：内存节点和磁盘节点共同存在，提高访问速度的
原创
2020-04-01 10:14:15
671阅读
常见的Web集群调度器1、目前常见的Web集群调度器分为软件和硬件2、软件通常使用开源的LVS、Haproxy、 Nginx LVS性能最好，但是搭建相对复杂; nginx 的upstream模块支持群集功能，但是对群集节点健康检查功能不强，高并发性能没有haproxy好。3、硬件一般使用比较多的是F5，也有很多人使用国内的一些产品，如梭子鱼、绿盟等Haproxy应用分析1、LVS在企业应用中抗
原创
精选
2022-03-01 16:49:04
330阅读
一、常见的web集群调度器 1、目前常见的web集群调度器分为软件和硬件 2、软件通常使用开源的LVS、Haproxy、Nginx 3、硬件一般使用比较多的是F5，也有很多人使用国内的一些产品，如梭子鱼、绿盟等 二、Haproxy应用分析 1、LVS在企业应用中抗负载能力很强，但存在不足 LVS不支 ...
转载
2021-08-23 23:01:00
120阅读
2评论
# MySQL群集部署实现指南
## 概述
在本文中，我将向你介绍MySQL群集部署的过程和步骤。我们将使用一些常用的工具和技术来实现高可用性和负载均衡。
## MySQL群集部署流程
下面是实现MySQL群集部署的一般步骤：
| 步骤 | 描述 |
| --- | --- |
| 1 | 准备服务器 |
| 2 | 安装MySQL |
| 3 | 配置主服务器 |
| 4 | 配置从服务
原创
2023-11-01 04:48:07
50阅读
部署前准备：这里我们搭建的nacos主要将数据存储在了mysql中，我们这里先购买了腾讯云MySQL数据库，首先在数据库中创建一个nacos数据库，并执行nacosmysql.sqlsql文件参考https://github.com/alibaba/nacos/blob/master/distribution/conf/nacosmysql.sql部署过程一、配置1.进入控制台，找到配置中心，选择
原创
2022-08-03 13:58:26
2438阅读
Memcached群集部署一、Memcached群集概述 Memcached本身是基于内存的缓存，它的设计本身没用冗余机制。如果一个Memcached节点失去了所有的数据，理论上后端的应用程序可以从数据源中再次获取到数据。如果担心节点失效会大大加重数据库的负担，可以增加更多的节点来减少丢失一个节点的影响，热备节点在其
原创
2016-08-25 15:05:29
2251阅读
部署MongoDB分片群集分片概述高数据量和吞吐量的数据库应用会对单机的性能造成较大的压力，大的查询量会将单机的CPU耗尽，大的数据量对单机的存储压力较大，最终会耗尽系统的内存而将压力转移到磁盘IO上。MongoDB分片是使用多个服务器储存数据的方法，以支持巨大的数据存储和对数据进行操作。分片技术可以满足MongoDB数据量大量增长的需求，当一台MongoDB服务器不足以存储海量数据或者不足以能提
原创
2018-07-17 20:27:22
956阅读
点赞
RabbitMQ 简介 MQ全称为Message Queue, 消息队列（MQ）是一种应用程序对应用程序的通信方法。应用程序通过读写出入队列的消息（针对应用程序的数据）来通信，而无需专用连接来链接它们。消息传递指的是程序之间通过在消息中发送数据进行通信，而不是通过直接调用彼此来通信，直接调用通常是用于诸如远程过程调用的技术。排队指的是应用程序通过 队列来通信。队列的使用除去了接收
原创
2018-10-22 23:15:30
646阅读
点赞
