接触分布式相关概念差不多有两周时间了，以前觉得其很神秘，离自己也很遥远，进而对它充满向往。如今有机会参与相关的工作让我觉得既兴奋又倍感压力。好了，切入正题，今天主要就之前学习的一些知识点：kafka、zookeeper做一下总结。 一：消息队列MQ 说到消息队列MQ，目前业界常用的有RabbitMQ、ZeroMQ、ActiveMQ、Kafka、RocketMQ。下面主要就Kafka进行展开分析
转载
2024-04-30 20:56:16
128阅读
实际项目中发送MQ消息，如果不做集群，其中mq机器出了故障宕机了，那么mq消息就不能发送了，系统就崩溃了，所以我们需要集群MQ，当其中一台MQ出了故障，其余的MQ机器可以接着继续运转，所以这里描述一下如何使用ZooKeeper来进行ActiveMQ的高可用集群。注意：关闭防火墙前提条件： 准备三个服务器节点用来安装部署Zookeeper和ActiveMQ，我的三个节点分别为：192.168.1.1
转载
2024-04-19 12:48:38
68阅读
zookeeper集群+activemq集群搭建一、zookeeper介绍ZooKeeper：它是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等!二、zookeeper集群搭建1.基础环境IP/名称操作系统服务端口集群
转载
2024-03-20 10:53:13
43阅读
目录项目介绍common-通用server-服务端client-客户端 前方备注：由于这篇文章是去年七月写的，然后本来打算写过，就删了，但是感觉后面改善的也没有特别多，就是加了个负载均衡啥的，就又恢复了…，然后项目也放GitHub了，地址：simple-rpc，这篇文章做个参考还行。项目介绍前段时间看了《netty实战》这本书，简单的入了一个netty的门，然后想着dubbo RPC也是用net
转载
2024-07-15 00:37:54
23阅读
在现代互联网架构中，随着微服务架构的兴起，对于基础设施自动化和配置管理的需求也越来越迫切。Ansible作为一款开放源代码的自动化工具，为开发人员提供了强大的功能，使得管理和部署大型分布式系统变得更加高效和灵活。在这里，我们将探讨Ansible在消息队列（MQ）和Zookeeper的配置管理中的应用。
首先，让我们来讨论Ansible在消息队列方面的应用。消息队列在分布式系统中扮演着至关重要的角
原创
2024-03-08 12:15:53
96阅读
一、一般调优的基本过程1.明了需要调优的系统架构2.设定性能调优的目标3.明了目标当前的性能情况4.找出目前的性能瓶颈的所在5.解决引起性能瓶颈的根本问题6.重复以上过程直到达到设定目标性能为止二、性能指标：吞吐率并发数三、调优点：1.硬件配置优化：虚拟机物理机CPU 内存 2、系统优化（Linux)已经根据门户的方式去优化。3.JVM参数优化：-Xms：设置jvm内存的初始大小-Xmx
CAP传统的SQL —>ACIDA : atomicity 原子性 C : Consistency 一致性 I ：Isolation 独立性 D：Durability持久性NoSQL —> CAPC :Consistency 强一致性 A ：Availability 可用性 P：Partition tolerance 分区容错性 CAP理论就是说在分布式存储系统中，最多只能同时较好的满
首先从概念上来说，MQ是消息中间件，MB是ESB产品MQ负责在两个系统之间传递消息，这两个系统可以是异构的，处于不同硬件、不同操作系统、用不同语言编写，只需要简单的调用几个MQ的API，就可以互相通讯，你不必考虑底层系统和网络的复杂性。MQ作为IBM的一个拳头产品，虽然功能看上去很简单，就是个消息队列，但他却是IBM中间件的核心，也是相比其他厂商（比如BEA）的一个优势。MQ不仅有很高的性能，而
转载
2024-04-29 11:26:07
402阅读
Zookeeper的出现是为了解决分布式系统中，由于网络不确定性所引起的：数据访问顺序不确定、数据访问视角不统一、节点上下线感知滞后等问题。1、Zookeeper是什么？Zookeeper是一个分布式的，开放源码的分布式应用程序系诶套服务，是Google的Chubby一个开源的实现。2、Zookeeper基础单元zookeeper基础单元称作znode，类似于操作系统中的文件夹。对zookeepe
转载
2024-10-26 10:17:10
22阅读
MQ的整个过程中有三处可能产生消息的丢失生产者到MQ的链路MQ自身宕机MQ到消费端的链路生产者到MQ的消息丢失生产者发送消息过程中可能因为网络问题等导致消息发送不成功，丢失数据，这个过程MQ提供了两种机制来解决：MQ事务在生产端发送消息时，可以使用MQ提供的事务提交机制，当消息发送成功后才会提交事务继续运行，否则当次处理回滚// 开启事务
channel.txSelect
try {
// 发送消
转载
2024-05-30 09:01:56
53阅读
前言redis简单来说 就是一个数据库，不过与传统数据库不同的是 redis 的数据是存在内存中的，所以存写速度非常快，因此 redis 被广泛应用于缓存方向。另外，redis 也经常用来做分布式锁。redis 提供了多种数据类型来支持不同的业务场景。除此之外，redis 支持事务 、持久化、LUA脚本、LRU驱动事件、多种集群方案。所以在面试中我们经常可以看到redis的身影，今天给大家带来一道
转载
2023-11-21 16:20:30
145阅读
FuseSource最近发布了ActiveMQ和ServiceMix发行版的企业版。
其中一些重要功能包括增量修补 ， 自定义平台安装程序和第三方验证 。
新企业版附带的最酷的功能之一是Fuse Fabric和一些新工具 ，使您可以利用Fabric管理环境。
Fabric允许您通过一些命令行或在基于Web的漂亮应用程序中单击按钮来部署，配置和配置ESB容器和M
转载
2024-07-01 10:00:09
80阅读
目录背景：问题分析与解决思路：选型：环境准备：引入MQ，redis的依赖配置文件生产者(报表请求入口) 随后创建消费者工程，过程同生产者结语 ：背景：现有一个分布式的应用要与第三方报表服务对接，对方提供restful接口，调用这些接口以获取报表信息或者下载报表文件。首先，如果不需要下载文件，直接在MVC架构的service调用这些rest接口就好。可涉及到文件下载，网络IO耗时
转载
2023-08-24 23:36:08
138阅读
字节跳动，青训营社区课程，2h如何使用Kafka一、是什么基本概念Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue）Kafka：分布式时间流平台，用于高性能数据管道、流分析、数据集成、关键任务应用MQ的两种模式（1）点对点模式：producer往MQ写入数据，consumer去MQ中消费，消费完后，给MQ一个状态，MQ根据这个状态delete 消息（2）发布/订阅
转载
2024-03-29 08:51:35
127阅读
python3 RabbitMQ RabbitMQ是一个在AMQP基础上完整的，可复用的企业消息系统。他遵循Mozilla Public License开源协议。MQ全称为Message Queue, 消息队列（MQ）是一种应用程序对应用程序的通信方法。应用程序通过读写出入队列的消息（针对应用程序的数据）来通信，而无需专用连接来链接它们。消 息传递指的是程序之间通过在消息中发送
es分为站内搜索和浏览器搜索，一般是logstash，但是要是实时的更新就要用到了mq发消息进行更新。倒排索引，一个词条对应一个文档。es是被优化的。es可以实时但是solr是不能实时的，任意阻塞。其实用的最多的还是这两个：redis是缓存数据库。mongodb是非关系数据库最像数据库的。接口安全：cookie和session能对应上。logstash：吃资源的。-----------------
### 使用MQ和Kafka实现消息传递
#### 1. 流程概述
下面是使用MQ和Kafka实现消息传递的基本流程：
| 步骤 | 操作 |
|------|------|
| 1 | 创建消息队列（MQ） |
| 2 | 发送消息到MQ |
| 3 | 从MQ消费消息 |
| 4 | 将消息发送到Kafka |
| 5 | 从Kafka消费消息 |
####
原创
2024-05-17 14:05:34
114阅读
今天听IBM的工程师介绍了MQ和MB的特性，以及他们的区别与联系，觉得很通俗易懂，特此记录，方便将来的初学者可以更快的把握这两者的特点。首先从概念上来说，MQ是消息中间件，MB是ESB产品MQ负责在两个系统之间传递消息，这两个系统可以是异构的，处于不同硬件、不同操作系统、用不同语言编写，只需要简 单的调用几个MQ的API，就可以互相通讯，你不必考虑底层系统和网络的复杂性。MQ作为IBM的一个拳
Spark Join的优化经验Spark和flink的区别Kafka和传统的MQ之间的区别1.架构模型方面RabbitMQ遵循AMQP协议，RabbitMQ的brokerExchange,Binding,queue组成，其中exchange和binding组成了消息的路由键；客户端Producer通过连接channel和server进行通信，Consumer从queue获取消息进行消费（长连接，q
# Redis 和 MQ：高效消息传递与缓存管理
在现代软件开发中，消息队列（Message Queue，MQ）和缓存技术是非常重要的组成部分。消息队列用于异步通信和解耦系统组件，而缓存则用于提高系统性能和减轻数据库负载。Redis 是一个流行的内存数据库，也被广泛用作缓存工具，而消息队列则有多种选择，比如 RabbitMQ、Kafka 等。
## Redis 简介
Redis 是一种基于键
原创
2024-03-19 04:53:05
47阅读
