一、实例要求1、编写一个netty群聊系统，实现服务器端和客户端之间的数据简单通讯（非阻塞） 2、实现多人群聊 3、服务器端：可以检测用户上线，离线，并实现消息转发功能 4、客户端：通过channel可以无阻塞发送消息给其他所有用户，同时可以接受其他用户发送的消息（由服务器转发得到） 5、目的：进一步理解netty非阻塞网络编程机制二、服务端1、GroupChatServer.javapackag
转载
2023-07-22 01:25:01
72阅读
kafka是什么？使用场景？ kafka是一个高吞吐的分布式消息队列系统。特点是生产者消费者模式，先进先出（FIFO）保证顺序，自己不丢数据，默认每隔7天清理数据。消息列队常见场景：系统之间解耦合、峰值压力缓冲、异步通信。kafka生产消息、存储消息、消费消息 &nb
转载
2024-02-04 01:22:48
25阅读
ES 为什么要集群高可用。高可用（High Availability）是分布式系统架构设计中必须考虑的因素之一，它通常是指，通过设计减少系统不能提供服务的时间。如果系统每运行100个时间单位，会有1个时间单位无法提供服务，我们说系统的可用性是99%。负载均衡。将流量均衡的分布在不同的节点上，每个节点都可以处理一部分负载，并且可以在节点之间动态分配负载，以实现平衡。高性能。将流量分发到不同机器，充分
转载
2023-09-03 10:36:29
63阅读
Kafka的优势和应用场景Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。简单地说，Kafka就相比是一个邮箱，生产者是发送邮件的人，消费者是接收邮件的人，Kafka就是用来存东西的，只不过它提供了一些处理邮件的机制。一、Kafka的优势如下： 高吞吐量、低延迟：kafka每秒可
转载
2024-05-13 17:49:07
28阅读
ES是如何解决高并发的？es是一个分布式全文检索框架，隐藏了复杂的处理机制，内部使用分片机制、集群发现、分片负载均衡请求路由。Shards分片：代表索引分片，es可以把一个完整的索引分成多个分片，这样的好处是可以把一个大的索引拆分成多个，分布到不同的服务器上，构成分布式搜索。Replicas分片：代表索引副本，es可以设置多个索引的副本，副本的作用一是提高系统的容错性，当某个服务器某个分片损坏或丢
转载
2024-02-17 21:10:18
58阅读
Elasticsearch(ES)是一个基于Lucene构件的开源、分布式、RESTful接口全文搜索引擎。ES还是一个分布式文档数据库，其中每个字段均是被索引的数据且可被搜索，它能够扩展至数以百计的服务器存储以及处理PB级别的数据。它可以在很短的时间内在存储、搜索和分析大量的数据。它通常作为具有复杂所搜场景情况下的核心发动机。
ES就是为考可用和可扩展而生的。可以通过购置性能更强的服务器来完成。
转载
2023-11-03 13:55:05
55阅读
认识集群集群的模式哨兵模式高可用集群搭建单机集群创建文件夹复制默认配置文件，并修改一些选项开启所有服务器使用Ruby命令开启集群验证集群是否开启成功关闭集群恢复集群 认识集群我们先从三个问题去认识集群什么是集群？集群就是多台服务器集中在一起，服务器有主从之分，客户端访问主服务器，从服务器一般不会提供服务，但从服务器会同步主服务器的数据。为什么要集群？如果没有集群，所有数据都在一台服务器上，假如该
转载
2023-09-01 23:07:06
69阅读
Hadoop介绍Hadoop是Apache旗下的一个用java语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。狭义上说，Hadoop指Apache这款开源框架，它的核心组件有：HDFS（分布式文件系统）：解决海量数据存储YARN（作业调度和集群资源管理的框架）：解决资源任务调度MAPREDUCE（分布式运算编程框架
转载
2023-07-30 15:53:33
109阅读
Hadoop的优势有四高：(1) 高可用: Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元 素或存储出现故障，也不会导致数据的丢失(2) 高扩展: 在集群间分配任务数据，可方便的扩展数以千计的节点(3) 高效性: 在MapReduce的思想下，Hadoop是并行工作的，以加快任务处 理速度(4) 高容错性: 能够自动将失败的任
转载
2023-07-24 13:56:11
223阅读
上一篇博客中，我们初步了解了Kafka实质上是一个消息队列，具有异步、解耦、削峰的作用并且在mac环境下安装了Kafka相关环境，具体可以参考Kafka学习笔记(一):Kafka简介与mac下的环境配置。今天我们将以实战的方式深入理解 Kafka 集群的基本组件和专有术语 broker、topic、producer、consumer、partition等。从上节课的实验，我们了解了 Kafka 的
转载
2024-02-20 18:40:01
48阅读
ZooKeeper概述 Zookeeper是一个分布式协调服务的开源框架。主要用来解决分布式集群中应用系统的一致性问题。 ZooKeeper本质上是一个分布式的小文件存储系统。提供基于类似于文件系统的目录树方式的数据存储，并且可以对树中的节点进行有效管理。从而用来维护和监控你存储的数据的状态变化。通过监控这些数据状态的变化，从而可以达到基于数据的集群管理。ZooKeeper特性 1.全局数据一致：
转载
2024-03-22 13:56:51
59阅读
1.目标今天，在这篇Kafka文章中，我们将看到Kafka Cluster Setup。这个Kafka集群教程为我们提供了一些设置Kafka集群的简单步骤。简而言之，为了实现Kafka服务的高可用性，我们需要在集群模式下设置Kafka。 因此，在此Kafka Cluster文档中，我们将学习Kafka多节点群集设置和Kafka多代理群集设置。此外，我们将看到Kafka Zookeeper
转载
2024-02-17 21:35:07
32阅读
1.负载均衡介绍：负载均衡是由多台服务器以对称的方式组成一个服务器集合，每台服务器都具有等价的地位，都可以单独对外提供服务而无须其他服务器的辅助。其工作模式为将外部发送来的请求均匀分配到对称结构中的某一台服务器上，而接收到请求的服务器独立地回应客户的请求。均衡负载能够平均分配客户请求到服务器列阵，基于此提供快速获取重要数据，解决大量并发访问服务问题。2.集群的分类负载均衡集群（Load Balan
转载
2024-01-17 09:11:20
61阅读
1. HBase简介
HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase利 用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Z
转载
2024-07-22 09:46:36
55阅读
1.zookeeper介绍 zookeeper是一个为分布式应用提供一致性服务的软件，它包含一个简单的原语集，分布式应用程序可以根据它实现同步服务，
配置维护和命名服务等。
基本架构图：
2.为什么要使用zookeeper &n
转载
2024-06-18 13:08:32
54阅读
Elasticsearch(ES)是一个基于Lucene构件的开源、分布式、RESTful接口全文搜索引擎。ES还是一个分布式文档数据库，其中每个字段均是被索引的数据且可被搜索，它能够扩展至数以百计的服务器存储以及处理PB级别的数据。它可以在很短的时间内在存储、搜索和分析大量的数据。它通常作为具有复杂所搜场景情况下的核心发动机。 ES就是为考可用和可扩展而生的。可以通过购置性能更强的服务器来完成。
转载
2024-02-12 21:04:46
79阅读
RabbitMQ 有着非常不错的性能，和应对各种故障的能力。它能在集群中最大化的发挥自身优势，一起来看下吧。RabbitMQ 最优秀的功能之一就是其内建集群，它能够将集群在5分钟内搭建并运行起来。RabbitMQ 内建集群的设计用于完成两个目标：允许消费者和生产者在 Rabbit 节点崩溃的情况下继续运行。通过添加更多的节点来线性扩展消息通信吞吐量。为了能更好地理解，让我们看一下RabbitMQ集
转载
2024-04-08 12:26:21
24阅读
简介集群作用1、数据安全：给主服务增加一个数据备份。基于这个目的，可以搭建主从架构，或者也可以基于主从架构搭建互主的架构。2、读写分离：对于大部分的JAVA业务系统来说，都是读多写少的，读请求远远高于写请求。这时，当主服务的访问压力过大时，可以将数据读请求转为由从服务来分担，主服务只负责数据写入的请求，这样大大缓解数据库的访问压力。MySQL的主从架构只是实现读写分离的一个基础。实现读写分离还是需
转载
2024-03-31 10:26:15
51阅读
分片集群就是把一个大的数据集拆分成若干个小的数据集，将拆分后的数据集存储在不同的mongo实例中。分片的优缺点优点：存储分布式：分片可以把大数据集分散到多个节点，减少单个节点的存储压力负载分布式：分片可以减少单个节点的负载压力，包括IO，CPU等缺点： 会增加系统的复杂性和维护成本。分片集群的组件 如上图所示：分片集群由 分片、mongos路由器、配置服务器组成。分片；存储集群中的数据，在分片集群
转载
2023-11-02 14:27:36
57阅读
Nginx 安装：Nginx 架构说明：Nginx实践：-------------------------Nginx 安装：略Nginx 架构说明：Nginx 架构图: 架构说明：1）nginx启动时，会生 不处理网络请求，主要负责调度工作进程，也就是图示的三项：加载配置、启动工作进程及非停升级。所以，nginx启动以后，查看操作系统的进程列表，我们就能看到至少有两个ngin
转载
2024-04-07 12:42:00
46阅读
