1.Zookeeper安装搭建Zookeeper集群并查看各服务器的角色停止Leader并查看各服务器的角色1.1 安装Zookeeper1）编辑/etc/hosts ,所有集群主机可以相互 ping 通（在nn01上面配置，同步到node1，node2，node3）nn01 hadoop]# vim /etc/hosts192.168.1.21 nn01192.168.1.22 node1192
一、同机器下的集群搭建： 1，创建redis实例统一存放的文件夹——在/usr/local路径下创建cluster文件夹，命令：mkdir cluster &nb
转载
2024-06-28 20:16:20
50阅读
1.HA架构注意事项 两个Namenode节点在某个时间只能有一个节点正常响应客户端请求，响应请求的节点状态必须是activestandby状态要能够快速无缝切换成active状态，两个NN节点必须时刻保持元数据一致将edits文件放到qjournal(一种分布式应用，依赖zookeeper实现，管理edits)，而不存储在两个NN上，如果各个edits放在各个NN上，只能通过网络通信达
转载
2024-07-26 12:46:37
54阅读
1. Redis集群的环境搭建(windows)1.1. 环境 Redis集群：如果部署到多台电脑，就跟普通的集群一样；因为Redis是单线程处理的，多核CPU也只能使用一个核，所以部署在同一台电脑上，通过运行多个Redis实例组成集群，然后能提高CPU的利用率。需要4个部件：Redis： 安
转载
2024-04-18 13:49:31
81阅读
1.什么是redis?Redis 是一个基于内存的高性能key-value数据库（有理解错误或不足欢迎指正）。2.Reids的特点Redis本质上是一个Key-Value类型的内存数据库，很像memcached，整个数据库统统加载在内存当中进行操作，定期通过异步操作把数据库数据flush到硬盘上进行保存。因为是纯内存操作，Redis的性能非常出色，每秒可以处理超过 10万次读写操作，
转载
2024-06-20 09:52:14
19阅读
（一）配置环境
1.1.硬件：
三台机器：ubuntu12.04-64 server
1.2 软件：
jdk 1.6.0_45 64位
hadoop-1.0.3
1.3 分工如下：
node00:NameNode/JobTracker/SecondaryNameNode(这里最好用一台机来单独做SecondaryNameNode)
node01:DataNode/TaskTracker
node
转载
2024-07-26 12:46:50
47阅读
为什么要有集群 一主可以有多从，如果同时的访问量过大或者发生自燃灾害，主服务可能会挂掉，数据服务就会挂掉 大公司都会有很多的服务器（华东、华南、华中等等）集群概念 集群是一组相互独立的、通过高速网络互联的计算机，它们构成了一个组，并以单一系统的模式加以管理。一个客户与集群相互作用时，集群像是一个独立的服务器。集群配置是用于提高可用性和可缩放性。Redis集群 分类 软件层
转载
2023-08-05 18:10:44
67阅读
一、介绍========这篇文档旨在介绍如何安装配置基于2台服务器的MySQL集群。并且实现任意一台服务器出现问题或宕机时MySQL依然能够继续运行。注意！虽然这是基于2台服务器的MySQL集群，但也必须有额外的第三台服务器作为管理节点，但这台服务器可以在集群启动完成后关闭。同时需要注意的是并不推荐在集群启动完成后关闭作为管理节点的服务器。尽管理论上可以建立基于只有2台服务器的MySQL集群，但是
转载
2024-06-15 10:01:59
163阅读
Ingress基本概念通俗来讲，ingress和Service、Deployment，也是一个k8s的资源类型，ingress用于实现用域名的方式访问k8s内部应用。通过用户访问的 URL，把请求转发给不同的后端 Service。这种全局的，为了代理不同后端Service而设置的负载均衡服务，就是Kubernetes里的Ingress服务。client > 负载均衡(
转载
2024-10-14 06:24:43
58阅读
异步复制： MySQL默认的复制即是异步的，主库在执行完客户端提交的事务后立即将结果返回给客户端，并不关心从库是否已经接受并处理，这样就会导致一个问题，主如果crash掉了，此时主上已经提交的事务可能并没有传到从上，如果此时，强行将从提升为主，可能导致新主上的数据不完整全同步复制： 指当主库执行完一个事务，所有的从库都执行该事
转载
2024-07-23 13:34:16
7阅读
hadoop2.6 HA平台搭建一、条件准备软件条件：Ubuntu14.04 64位操作系统，Hadoop 2.6.0, zookeeper 3.4.6硬件条件：1台主节点机器，配置：cpu 8个，内存32G,硬盘200G5台从节点机器，配置均为：cpu 4个，内存16G,硬盘200G各个节点IP如下：服务器名字Ip地址备注（为方便操作将hostname改为如下）Hd-Na
转载
2024-06-12 19:38:01
80阅读
使用docker进行跨主机mysql-cluster集群实践构建集群环境搭建docker swarm集群创建docker跨主机overlay网络用docker启动mysql-clustermysql-cluster的配置安装 构建集群环境搭建docker swarm集群在进行mysql-cluster集群前，我们需要设置好docker的集群环境，使用docker swarm模式来进行docker
转载
2024-05-15 21:34:21
172阅读
Mysql集群架构
mysql复制：
简单的架构： master ---> slave (双机热备)
master ：
接受读、写请求。
会有一个专门的IO线程，负载把本地的二进制日志记录发送到slave服务器
slave：
默认情况下，只能接受读请求,它可以减轻master的读压力
会有两个线程：
转载
2024-04-02 11:18:24
26阅读
1 redis集群什么是redis集群（为什么要搭建redis集群）： 通常，为了提高网站响应速度，总是把热点数据保存在内存中而不是直接从后端数据库中读取。 Redis是一个很好的Cache工具。大型网站应用，热点数据量往往巨大，几十G上百G是很正常的事儿。 由于内存大小的限制，使用一台 Redis 实例显然无法满足需求，这时就需要使用多台 Redis作为缓存数据库。但是如何保证数据存储的一致性呢
转载
2023-10-15 16:14:20
59阅读
Kubernetes（简称K8S）是一种开源容器编排平台，用于自动化部署、扩展和管理容器化应用程序。它允许我们轻松地管理多个容器化应用程序，并根据需要自动进行水平扩展。在构建K8S集群之前，我们首先需要了解K8S集群所需的机器数量。
构建一个可靠和高可用的K8S集群需要考虑一些因素，如节点（Node）的数量和类型、Master节点和Worker节点的分配以及网络和存储等。下面将通过步骤和代码示例
原创
2024-02-04 12:29:11
112阅读
作者 | Tina作为最活跃的大数据项目之一，Flink 进入 Apache 软件基金会顶级项目已经有八年了。Apache Flink 是一款实时大数据分析引擎，同时支持流批执行模式，并与 Hadoop 生态可以无缝对接。2014 年，它被接纳为 Apache 孵化器项目，仅仅几个月后，它就成为了 Apache 的顶级项目。对于 Flink 来说，阿里有非常适合的流式场景。作为 Flin
Sails+mongoDB项目部署在阿里云服务器上一、购买服务器1. 配置安全规则： 80/80：sails接口27017/27017：mongodb接口8080/8080：tomcat接口22/22：ssh接口（ftp）用的二、下载xshell和xftp1.Xshell：远程控制服务器的centos 注意：名称随便取，主机是服务器
# 如何实现hadoop集群几台机器合适
## 1. 流程图
```mermaid
sequenceDiagram
小白->>经验丰富的开发者: 请求帮助
经验丰富的开发者-->>小白: 回答问题
```
## 2. 步骤
| 步骤 | 描述 |
| --- | --- |
| 1 | 确定需求和数据量 |
| 2 | 配置Hadoop集群 |
| 3 | 测试集群 |
|
原创
2024-04-12 04:31:20
26阅读
elk日志分析系统，在生产环境中一般搭建集群，来满足大数据量的查询分析下面就说说集群的搭建：集群的搭建主要还是配置文件的修改：主要配置文件修改项：cluster.name: baichebao-cluster这个是配置集群的名字，为了能进行自动查找node.name: "baichebao-node-1"这个是配置当前节点的名字，当然每个节点的名字都应该是唯一的node.master: false
转载
2024-05-07 21:25:15
34阅读
MongoDB集群搭建，首先决定有几台Linux服务器完成，然后分配好端口，以防后面修改时忘记，而且还要在之前进行相关配置完成这些修改。我现在是在VM上安装了三台RatHat5.0后进行搭建。 本次搭建mongodb集群，预计有一个mongos，三个config，三个副本集名称分别为Shard1，Shard2，Shard3.每个复制集里有三个节点，一个primary（主节点），一个second（
转载
2024-07-18 20:21:38
169阅读
