文 /简朝阳 随 着信息量飞涨，信息的存储成为了这个时代至关重要的一项技术。如何来保证数据存储技术能够适应信息量的增长速度和我们对信息的高度依赖，成为一个非常重要 的课题。本文将从数据库架构的层面，通过以开源的数据存储软件来构建分布式数据层的思路，期望实现一个低成本的高可用可扩展的数据层架构。 传统数据库架构 纵观各传统商业数据库软件，多以集中式架构为主，鲜有以分布式为设计理念的架构
转载
2024-09-12 08:27:03
19阅读
凡事都要讲究个为什么。在搭建集群之前，我们首先先问一句，为什么我们需要搭建集群？它有什么优势呢？1|1高可用性 Elasticsearch 作为一个搜索引擎，我们对它的基本要求就是存储海量数据并且可以在非常短的时间内查询到我们想要的信息。所以第一步我们需要保证的就是 Elasticsearch 的高可用性，什么是高可用性呢？它通常是指，通过设计减少系统不能提供服务的时间。假设系统一直能够提供服
转载
2024-07-24 19:29:06
61阅读
概述 常见的存储高可用方案的根本原理就是把数据复制到多个存储设备，通过数据冗余的方式来实现数据的可靠性。比如同一份数据，一份在城市A，一份在城市B。如果城市A发生自然灾害导致机房瘫痪，那么业务就可以直接切到城市B进行服务，从而保障业务的高可用。但是这是理想情况，一旦数据被复制并且分开存储，就涉及到了网络传输，即使在同机房，而且网络状况良好的情况下，也会有10ms以上的延迟，而这种延迟导致各种各样
转载
2024-05-04 12:53:01
19阅读
受VMware ESXI服务器ESXiArgs勒索软件影响的组织可以使用自动脚本进行恢复。美国网络安全和基础设施安全局(CISA)和联邦调查局(FBI)联合发布了一份警告，称正在进行的ESXiArgs勒索软件活动针对的是虚拟机(vm)的未打补丁和已停用或过期版本的VMware ESXi hypervisor。根据CISA的数据，全球有3800个VMware ESXi服务器被入侵，可能导致在ESXi
转载
2024-03-15 19:41:00
20阅读
# MongoDB分片要几台机器
## 引言
随着数据量的不断增长，单台服务器无法满足业务需求的情况下，分布式系统成为了解决方案之一。在分布式数据库中，MongoDB是一种非常流行的选择。MongoDB的分片机制可以帮助我们将数据分布在多台机器上，以实现横向扩展和高可用性。
本文将介绍MongoDB分片的基本概念和原理，并讨论确定分片集群所需的机器数量。
## MongoDB分片简介
M
原创
2023-08-19 12:57:54
171阅读
一、高可用的由来1.1 为何需要Replication 在Kafka在0.8以前的版本中，是没有Replication的，一旦某一个Broker宕机，则其上所有的Partition数据都不可被消费，这与Kafka数据持久性及Delivery Guarantee的设计目标相悖。同时Producer都不能再将数据存于这些Partition中。 如果Producer使用同步模式则Producer会在
转载
2024-08-07 10:45:37
60阅读
Kubernetes（K8S）是一种开源的容器编排引擎，可以实现容器化应用程序的部署、扩展和管理。在构建Kubernetes高可用集群时，我们通常需要多台机器来确保集群的稳定性和可靠性。那么，k8s高可用集群最少需要几台机器呢？接下来我将详细介绍这个问题的解决方案。
首先，我们来看一下构建Kubernetes高可用集群的步骤以及每一步需要做什么：
| 步骤 | 操作 |
| ---- | --
原创
2024-03-06 10:45:30
219阅读
# 实现K8S高可用集群需要几台机器
## 概述
Kubernetes（K8S）是一种开源的容器编排平台，用于自动化部署、扩展和管理容器化的应用程序。为了确保高可用性，我们需要配置一个高可用的K8S集群。通常情况下，K8S高可用集群至少需要3台机器来实现。在这篇文章中，我们将介绍如何配置一个具有3台机器的K8S高可用集群。
## 步骤
下面是配置一个3台机器的K8S高可用集群的步骤：
| 步
原创
2024-03-06 14:27:57
221阅读
文章目录一、 MySQL MHA概述1.1 什么是MySQL MHA1.2 MHA的优点1.3 MHA 的组成二、搭建MHA环境实验目的实验思路实验参数实验所需软件包实验过程1. 安装MySQL数据库2. 配置 MySQL 一主两从3. 安装 MHA 软件4. 配置无密码认证5. 配置 MySQL MHA 高可用6. 模拟 master 故障切换7. 如果宕机的master重新加入的情况 一、
转载
2024-08-06 10:59:19
0阅读
什么是2PC？2pc即是两阶段提交协议，是将整个事务流程分为两个阶段，准备阶段（Prepare phase）、提交阶段（commit phase）,2是指两个阶段，p是指准备阶段，C是指提交阶段。在计算机部分关系数据库如Oracle、Mysql支持两阶段提交协议1，准备阶段：事务管理器给每个参与都发送Prepared消息，每个数据库参与者在本地执行事务，并写本地的Undo/Redo日志，此时事务没
转载
2024-07-15 10:54:10
39阅读
1. Redis集群的环境搭建(windows)1.1. 环境 Redis集群：如果部署到多台电脑，就跟普通的集群一样；因为Redis是单线程处理的，多核CPU也只能使用一个核，所以部署在同一台电脑上，通过运行多个Redis实例组成集群，然后能提高CPU的利用率。需要4个部件：Redis： 安
转载
2024-04-18 13:49:31
81阅读
1.什么是redis?Redis 是一个基于内存的高性能key-value数据库（有理解错误或不足欢迎指正）。2.Reids的特点Redis本质上是一个Key-Value类型的内存数据库，很像memcached，整个数据库统统加载在内存当中进行操作，定期通过异步操作把数据库数据flush到硬盘上进行保存。因为是纯内存操作，Redis的性能非常出色，每秒可以处理超过 10万次读写操作，
转载
2024-06-20 09:52:14
19阅读
一、同机器下的集群搭建： 1，创建redis实例统一存放的文件夹——在/usr/local路径下创建cluster文件夹，命令：mkdir cluster &nb
转载
2024-06-28 20:16:20
50阅读
为什么要有集群 一主可以有多从，如果同时的访问量过大或者发生自燃灾害，主服务可能会挂掉，数据服务就会挂掉 大公司都会有很多的服务器（华东、华南、华中等等）集群概念 集群是一组相互独立的、通过高速网络互联的计算机，它们构成了一个组，并以单一系统的模式加以管理。一个客户与集群相互作用时，集群像是一个独立的服务器。集群配置是用于提高可用性和可缩放性。Redis集群 分类 软件层
转载
2023-08-05 18:10:44
67阅读
一、主机规划3台主机：1个master、2个slaver/worker ip地址使用docker默认的分配地址：master： 主机名： hadoop2、ip地址： 172.17.0.2slaver1： 主机名： hadoop3、ip地址： 172.17.0.3 主机名： hadoop4、ip地址： 172.17.0.4
二、软件安装1、在docker中安装centos镜像，并启动c
转载
2023-07-19 19:26:35
150阅读
Kubernetes (K8s)是一个开源的容器编排平台，可以自动化应用程序的部署、扩展和管理。在搭建K8s集群时，需要明确集群中所需的机器数量。本文将介绍搭建K8s集群所需的机器数量以及相应的步骤和代码示例。
在搭建K8s集群之前，我们需要了解几个概念：
1. 控制平面（Master）：用于管理集群的主节点，负责整个集群的管理和调度。
2. 工作节点（Node）：用于运行应用程序的从节点，负责
原创
2024-02-07 12:30:16
108阅读
# 如何实现mysql生产环境几台机器
## 1. 流程概述
在实现mysql生产环境几台机器的过程中，我们需要按照以下步骤进行操作：
| 步骤 | 操作 |
| --- | --- |
| 1 | 安装mysql |
| 2 | 配置mysql主从复制 |
| 3 | 进行负载均衡配置 |
| 4 | 建立监控系统 |
## 2. 具体步骤及操作
### 步骤一：安装mysql
在每台
原创
2024-06-03 04:16:36
5阅读
说明本博文较长，但是有效，如若计划安装多节点的hadoop，请一步一步坚持下去，有问题请留言，我们可以讨论来解决问题。 本人将该4个节点的hadoop安装在了vmware上了，同时支持安装在物理机或者vmware ESXi上。节点说明ip地址hadoop01主节点192.168.10.61hadoop02从节点192.168.10.62hadoop03从节点192.168.10.63hadoop
Ingress基本概念通俗来讲，ingress和Service、Deployment，也是一个k8s的资源类型，ingress用于实现用域名的方式访问k8s内部应用。通过用户访问的 URL，把请求转发给不同的后端 Service。这种全局的，为了代理不同后端Service而设置的负载均衡服务，就是Kubernetes里的Ingress服务。client > 负载均衡(
转载
2024-10-14 06:24:43
58阅读
hdfs 跟mapreduce 尽可能同节点 数据本地化，就近原则，减少耗时元数据：物品的属性Schema（描述数据的数据）用户行为：通过监控实时获取mapreduce（复习） （1）通常一个集群中，有这几个角色：master、slave、client （2）数据副本——数据高可用、容灾 （3）mapreduce——分而治之思想 （4）一个split和一个map是一对一的关系上 （5）开发java
