实验指导：13.1 实验目的能够理解Spark存在的原因，了解Spark的生态圈，理解Spark体系架构并理解Spark计算模型。学会部署Spark集群并启动Spark集群，能够配置Spark集群使用HDFS。13.2 实验要求要求实验结束时，每位学生均已构建出以Spark集群：master上部署主服务Master；slave1、2、3上部署从服务Worker；client上部署Spark客户端。
转载
2023-10-25 21:07:53
106阅读
# MongoDB 集群配置教程
在现代应用中，数据库的可扩展性和高可用性是尤为重要的。接下来，我将指导你如何设置一个包含两台服务器的 MongoDB 集群。我们将从整体流程开始，再逐步深入每一个步骤。
## 整体流程
以下是设置 MongoDB 集群的基本步骤：
| 步骤 | 操作 | 说明
原创
2024-10-12 05:11:26
89阅读
目录准备条件一. 服务器配置1. 配置服务器，设置固定IP2. 关闭防火墙3. 服务器分配二. 部署Java1. 下载Java2. 上传172.16.72.201服务器的/usr/local/下解压3. 修改/etc/profile4. 刷新5. 在172.16.72.202、172.16.72.203服务器上执行步骤2、3、4三. 部署es1. 解压es至/usr/local/下 修改文件名为
按照上几篇的内容，安装好两台ubuntu虚拟机之后，首先确定好哪台机子做namenode，哪台做datanode，打开终端,输入：$sudo vi /etc/hosts
在打开的文件中输入主机名和IP地址，比如我的是：127.0.0.0 localhost202.118.212.4 ubuntu202.118.212.5 ubuntu01两台虚拟机上都要这么写，然后开启SSH服务，确保两台虚拟机能
转载
2024-01-18 10:41:25
42阅读
转自doublexi: Spark其实是Hadoop生态圈的一部分，需要用到Hadoop的HDFS、YARN等组件。为了方便我们的使用，Spark官方已经为我们将Hadoop与scala组件集成到spark里的安装包，解压开箱即可使用，给我们提供了很大的方便。如果我们只是本地学习的spark，又不想搭建复杂的hadoop集群，就可以使用该安装包。spark-3.2.0-bin-hadoop3.2-
转载
2024-01-16 18:00:55
70阅读
Zookeeper的扩容和缩容目的是用三台新的ZK服务器替换老的三台，所以采取先扩容再缩容的方式来进行。扩容环境描述原有ZK服务器计算机名称IP地址角色myidSrv01172.16.100.10Follower1Srv02172.16.100.20Follower2Srv03172.16.100.30Leader3新加入ZK服务器计算机名称IP地址角色myidSrv04172.16.100.40
转载
2024-05-02 16:50:09
60阅读
nginx的搭建方式就不多说了，以前写过 重点说keepalivedkeepalived安装总共两台服务器，192.168.3.48, 192.168.3.49,要求VIP为192.168.3.100 在192.168.3.48, 192.168.3.49上安装keepalived和yum install psmiscyum install keepalived -y
yum install ps
转载
2024-04-11 15:11:44
40阅读
# 如何实现“redis集群挂掉2台”
## 一、整体流程
首先，我们需要了解一下Redis集群的工作原理。Redis集群通常由多个Redis实例组成，通过槽位分配数据，实现数据的分布式存储和高可用。
在Redis集群中，如果有两台节点挂掉，其他节点会自动进行故障转移，确保集群的正常运行。下面是实现“redis集群挂掉2台”的步骤表格：
| 步骤 | 操作 |
| ------ | ---
原创
2024-03-07 05:32:37
90阅读
# Redis Cluster集群介绍与示例
## 什么是Redis Cluster集群？
Redis Cluster是Redis（一个基于内存的高性能键值存储系统）的一个分布式解决方案，可以将数据分散存储到多个节点上，实现高可用性和可扩展性。
在Redis Cluster中，数据被分散存储在多个节点上。每个节点负责存储一部分数据，并与其他节点进行通信和数据同步。通过将数据分布到多个节点上，
原创
2023-08-01 16:21:40
218阅读
声明：写此博客是为了记录并分析solr集群搭建的全过程，防止后期时间久了不用会遗忘。希望同时也能帮到有需要的朋友因为是在虚拟机上模拟安装，所以采用伪集群的方式进行安装，即将如果是真正的生产环境，将伪集群的ip改下就可以了，步骤是一样的。SolrCloud架构图如下：使用伪分布式实现solr集群。需要三个zookeeper实例，4个tomcat实例。我们是在一台虚拟机上模拟，所以将虚拟机内存设置到1
转载
2024-10-10 11:06:41
73阅读
Spark Standalone 全分不模式：既真正的集群模式，master和worker部署在不同的节点之上，一般至少需要3个节点（一个master和两个worker），需要三台主机，slave，slave1，slave2（slave是master节点，slave1，slave2是worker节点）。一、前期准备二、安装scala三、安装spark四、问题总结一、前期准备1. 准备好scala，
转载
2023-11-18 23:23:18
236阅读
具体环境：两台云端服务器 专有网络一台云端服务器 经典网络软件环境： jedis 2.9.0 redis3.2.101、先是设置了redis密码再集群 补充点： /usr/lib/ruby/gems/1.8/gems/redis-3.3.0/lib/redis/client.rb 这里的 client.rb文件路径是按照你安装ruby、在通过gems安装redis3.3的时候的路径(不熟悉ruby
转载
2023-08-10 17:27:21
100阅读
redis主从配置实验环境：一台机器上，启动两个redis服务，通过两个不同的端口，模拟两台机器。拷贝一份redis配置文件：[root@shuai-01 default]# cp /etc/redis.conf /etc/redis2.conf更改配置文件的端口号，pidfile,logfile,dirport 6380
pidfile /var/run/redis_6380.pid
logfi
转载
2023-08-11 21:13:35
126阅读
文章目录前言节点1.1 启动节点槽指派2.1 记录节点的槽指派信息2.2 传播节点的槽指派信息2.3 记录集群所有槽的指派信息在集群中执行命令3.1 计算键属于哪个槽3.3 节点数据库的实现重新分片复制与故障转移 前言Redis集群是Redis提供的分布式数据库方案，集群通过分片(sharding)来进行数据共享，并提供复制和故障转移功能。本节将对集群的节点、槽指派、命令执行、重新分片、转向、故
转载
2024-06-28 20:07:36
74阅读
前言想在本地提交spark程序，在网上找了一些文章。在本地提交的前提就是，spark以集群的方式启动。于是想以简单的standalone方式启动，但在启动的时候遇到了一些问题，下面把过程和问题总结一下。正文前提：已经下载到spark到机器上（master和slave），并且已经配置好了SPARK_HOME（使用版本：spark-2.1.0-bin-hadoop2.7.tgz）已经安装了java(使
转载
2023-09-17 07:40:58
209阅读
两台服务器搭建redis集群### 两台服务器，各启动三个实例，形成三主三从
实验机器IP： 172.31.25.110 172.31.25.111
系统环境：centos 7
1、安装所需环境和工具
yum -y install wget vim tcl gcc make
2、下载redis 压缩包并解压
cd /usr/local/
wget http://download.redis.
转载
2023-08-30 14:00:51
83阅读
cluster 在node1和node2上搭建redis集群(1)将redis-4.0.1.tar.gz包上传到一台机器上去，/usr/local目录下，解压缩：tar -zxvf redis-4.0.1.tar.gz ，重命名为redis : mv redis-4.0.1 redis(2)安装redis需要的一些依赖：yum install -y tcl gcc zlib-devel o
转载
2023-08-20 11:20:34
112阅读
redis5.0集群搭建(两台服务器) 用两台虚拟机模拟6个节点，一台机器3个节点，创建出3 master、3 salve 环境。 redis 采用 redis-5.0.2 版本。 两台虚拟机都是 CentOS ，一台 Centos7 （IP:192.168.1.20），一台 Centos7（IP:192.168.1.22） 。1 redis下载地址:http://redis.io/downloa
转载
2023-07-12 17:32:39
231阅读
生产环境实战spark （9）分布式集群 5台设备 SPARK集群安装1, 上传spark
原创
2017-04-25 15:48:33
51阅读
Redis介绍与实践在Linux cent os上搭建 redis。单机Redis搭建1，redis是c语言开发的，需要安装c语言的编译环境gccyum install gcc-c++2，将redis源码包上传到服务器上redis-3.0.0.tar.gz并解压tar zxvf redis-3.0.0.tar.gz3，编译redis，进入到解压的目录里，输入命令makecd redis-3.0.0
转载
2024-06-28 20:17:02
56阅读
