springboot继承efk实现日志收集1.安装es和kibana我使用的云服务器centos7,2核+4G内存,跑起来内存使用率50%左右建议使用最低配置和我一样,1+2的配置kibana应该跑不起来,安装过程使用了尚硅谷的springcloud的课程资料,也**!!!可以不用,自己pull**,我附了pull的方法资料包:链接:https://pan.baidu.com/s/1GW1qUUw
前提:SpringBoot可以离开SpringCloud独立使用开发项目,但是SpringCloud离不开SpringBoot,属于依赖的关系.所以基本是搭建SpringBoot + 组件 = SpringCloud什么是Spring Cloud  1、Spring Cloud它不是一个具体的框架,它是一个工具箱,它提供了各类工具,可以帮助我们快速地构建分布式系统。  2、基于Spring Boo
Redis6搭建高可用的多主多从集群环境准备搭建redis6集群安装redis6修改配置文件修改cluster-enabled修改cluster-config-file修改cluster-node-timeout启动集群 环境准备首先我们需要6台redis,那么为啥是6太呢?是因为我们要部署多master和多slaver集群,其中master和slaver各三台,如图:当然,这次我就安装一台然后
转载 2024-06-19 19:43:59
139阅读
## OpenStack需要几台服务器? OpenStack是一个开源的云计算平台,可以用于构建和管理私有云和公有云。但是对于初学者来说,可能会有疑惑:到底需要多少台服务器才能运行OpenStack呢?本文将为大家解答这个问题。 ### OpenStack的组件 在了解OpenStack需要多少服务器之前,我们需要先了解一下OpenStack的主要组件。OpenStack由多个服务组成,例如
原创 2024-06-17 06:12:58
148阅读
Redis主从复制原理主从复制是只将堕胎redis服务器 一般是一主二从三台 作为一个集群一台是master 主节点 另外的节点称为slave/follower 称为从节点集群内 主节点有读写功能,以写为主 从节点只有只读功能,不能写入数据从节点的数据是从主节点复制过来的主从复制的优点实现了数据冗余,主备复制上的数据是一样的 实现了热备功能故障恢复 当主节点故障时,备节点可以提供恢复数据
当我们在谈论“mysql 集群需要几台服务器”这个问题时,实际上是在思考如何设计一个高效、稳定的数据库集群。那么,究竟需要多少台服务器呢?这不仅取决于具体的需求、负载和配置,还涉及到一系列的前期检查、设计架构、安装部署、依赖管理、安全加固等步骤。下面,我们来详细梳理一下这个过程。 ## 环境预检 首先,环境预检是至关重要的。我们需要确保我们的系统满足 MySQL 集群的基本要求。以下是系统要求
原创 7月前
89阅读
为什么Hadoop集群中机器台数多反而执行速度慢? 这里我对这个现象给出解释。由于水平有限,发现错误,请及时留言,或站内和我联系。这里假设集群中有slave1,slave2,slave3三个节点,其中slave3工作效率低。一共有6个任务,需要去做,slave1和slave2执行一个任务是1分钟,slave3执行一个任务是2分钟。有一个前提是每个slave完成自身的任务才回去推测执行。如果让sl
Nginx:轻量级,高性能http和反向代理服务器。高并发连接达到2-4万个,内存、cpu等系统资源消耗低。Rewrite重写规则(根据域名,URL的不同将HTTP请求分到不同的后端服务器群组),内置的健康检查功能(Nginx)Proxy 后端的某台web服务器宕机也不会影响前端访问),节省带宽(支持GZIP压缩,可以添加浏览本地缓存的Header头)。负载均衡是用反向代理的原理实现的。ngin
# 搭建OpenStack需要几台服务器? OpenStack作为一种流行的开源云计算平台,允许用户通过自助服务的方式管理计算资源、存储和网络。许多用户在开始搭建OpenStack环境时,往往会问:我需要几台服务器才能成功搭建OpenStack?在本文中,我们将深入探讨这一问题,并附上代码示例以及状态图和关系图的展示。 ## OpenStack架构概述 OpenStack由多个组件组成,这些
原创 2024-09-20 11:35:27
173阅读
在部署Hadoop集群之前,我们首先需要了解Hadoop的架构和组件。Hadoop是一个开源的分布式存储和计算框架,通过将数据分布存储在集群中的多台服务器上来实现大规模数据的存储和处理。 在部署Hadoop集群时,通常需要准备三种不同的节点:NameNode节点,DataNode节点和ResourceManager节点。NameNode节点主要负责存储HDFS文件系统的元数据,DataNode节
原创 2024-05-27 11:15:47
143阅读
在部署 VMware 集群之前,我们需要明确确定需要准备多少台服务器来搭建集群。通常情况下,VMware 集群通常由多台物理服务器组成,每台服务器上运行着多个虚拟机实例,以实现高可用性和负载均衡。在确定需要准备多少台服务器之前,我们需要先了解 VMware 集群的基本概念和基本组成。 VMware 集群是由多台 ESXi 主机组成的一个集合,这些主机通过 VMware vCenter 进行管理和
原创 2024-04-23 18:52:53
383阅读
第1章 Redis介绍1.1 Redis是什么Redis是一种基于键值对的NoSQL数据库,与很多键值对数据库不同,redis中的值可以有string,hash,list,set,zset,geo等多种数据结构和算法组成. 因为Redis会将所有的数据都放在内存中,所以他的读写性能非常惊人. 不仅如此,Redis还可以将内存中的数据利用快照和日志的形式保存到硬盘上 Redis还提供了键过期,发布订
一、LVS简介   Internet的快速增长使多媒体网络服务器面对的访问数量快速增加,服务器需要具备提供大量并发访问服务的能力,因此对于大负载的服务器来讲, CPU、I/O处理能力很快会成为瓶颈。由于单台服务器的性能总是有限的,简单的提高硬件性能并不能真正解决这个问题。为此,必须采用多服务器和负载均衡技术才能满足大量并发访问的需要。Linux 虚拟服务器(Linux Virtual S
MySQL主从复制面试之作用和原理一、什么是主从复制?主从复制,是用来建立一个和主数据库完全一样的数据库环境,称为从数据库;主数据库一般是准实时的业务数据库。二、主从复制的作用(好处,或者说为什么要做主从)重点!1、做数据的热备,作为后备数据库,主数据库服务器故障后,可切换到从数据库继续工作,避免数据丢失。2、架构的扩展。业务量越来越大,I/O访问频率过高,单机无法满足,此时做多库的存储,降低磁盘
# 微服务架构需要几台服务器 在软件开发领域,微服务架构已经成为一种流行的架构模式。通过将一个大型应用程序拆分成多个独立的微服务,可以更容易地进行开发、部署和维护。但是,对于初学者来说,可能会有一个常见的疑问:微服务架构需要几台服务器才能运行? ## 微服务架构概述 微服务架构是一种通过将应用程序拆分成多个小型、独立的服务来构建应用程序的架构模式。每个微服务都有自己的数据库和业务逻辑,通过A
原创 2024-04-10 04:45:50
690阅读
一、硬件环境假设有4台机,IP及主机名如下:192.168.100.105 c1 192.168.100.110 c2 192.168.100.115 c3 192.168.100.120 c4 二、软件环境操作系统:Ubuntu Server 18.04JDK:1.8.0Hadoop:3.3.0/3.3.1* 这里的ZooKeeper、Hadoop根目录都放在/home/目录下&nbs
文章目录ZooKeeper内部原理1. 选举机制(面试重点)☆☆2. 节点类型3. Stat结构体4. 监听原理(面试重点)☆5. 写数据流程☆ ZooKeeper内部原理ZooKeeper的部署方式有哪几种?集群中的角色有哪些?集群最少需要几台机器?部署方式单机模式、集群模式角色:Leader和Follower集群最少需要机器数:31. 选举机制(面试重点)☆☆半数机制:集群中半数以上机器存
这段时间学习了一下Elasticsearch,先记录一下搭建elasticsearch集群。首先是集群的结构图: 主分片和副本分片不能同时存在于同一台服务器,比如主1和副1不能同时存在于同一台服务器,不然宕机之后这里的数据都没有了。搭建我这里准备了3台elasticsearch服务器 里面的系统环境我都已经搭建完毕了,用的都是elasticsearch7.6.2。 安装包到ES的官网下载就可以了,
# MongoDB 分片集群的部署流程 ## 1. 确定需求 在部署 MongoDB 分片集群之前,我们首先需要明确需求。需要考虑以下几个因素: 1. 数据量:确定需要存储的数据量大小,以及数据增长的速度。 2. 并发访问量:预估每秒钟的读写请求数量。 3. 可用性要求:确定对于数据的可用性、容错性和故障恢复的要求。 ## 2. 设计分片集群架构 根据需求,设计 MongoDB 分片集群
原创 2023-09-17 08:11:06
178阅读
# Hadoop 单机模式搭建指南 ## 一、导言 Hadoop 是一个开源的分布式计算框架,广泛用于大数据处理。尽管 Hadoop 最初被设计用于集群环境,但在开发和学习阶段,单机模式(Single Node Mode)是一个很好的起点。本文将指导你如何在单台服务器上搭建 Hadoop 单机模式。 ## 二、流程概述 下面是实现 Hadoop 单机模式的步骤概述: | 步骤 | 描述
原创 2024-10-10 06:25:51
42阅读
  • 1
  • 2
  • 3
  • 4
  • 5