目录一、Consul 简介1.什么是服务注册与发现2. 什么是consul3.consul 架构 二、部署 consul 服务器（192.168.88.10）1.建立 Consul 服务2.查看集群信息3.通过 http api 获取集群信息三、registrator服务器（192.168.88.60）1.安装 Gliderlabs/Registrator2.测试服务发现功能是
目录1.概观2.与Spark链接3.初始化Spark3.1.使用Shell（Python）4.弹性分布式数据集（RDD）4.1.并行化集合4.2.外部数据集4.3.RDD操作4.3.1.基本4.3.2.将函数传递给Spark4.3.3.理解闭包4.3.4.使用键值对4.3.5.转换（Transformations）4.3.6.操作（Actions）4.3.7.shuffle4.4.RDD持久性4.
Hadoop单节点示例搭建大数据已经成为现在热门中的热门，逢人必说Hadoop，作为初学者最好的学习方式是一步一步的搭建属于自己的Hadoop环境，网络上也有很多这方面的教程，但是还是缺少从最原始的操作系统环境开始到最后Hadoop环境部署的文章，因此才有了本文。 本文从最基础的操作系统环境到系统环境变量到具体的软件安装，hadoop安装流程源自自hadoop官方英文手册。基础环境操作系统我的主
转载
2024-05-17 03:22:51
55阅读
# Docker搭建Zookeeper单节点
在分布式系统中，Zookeeper是一个经常被使用的开源软件，它提供了一个分布式的协调服务。在Zookeeper中，数据被存储在树形的结构中，可以被用于解决一些分布式系统中的共同问题，例如配置管理、命名服务、分布式锁等等。
本文将介绍如何使用Docker来搭建一个Zookeeper单节点，以方便开发者进行学习和测试。
## 步骤一：安装Docke
原创
2023-12-29 08:17:44
258阅读
# 如何使用Docker搭建单节点etcd
Etcd是一个分布式键值存储系统，广泛用于服务发现和配置管理。使用Docker，你可以轻松地搭建一个单节点的etcd实例。下面的内容将逐步指导你完成这个过程。
## 流程概述
以下是搭建单节点etcd的步骤：
| 步骤编号 | 步骤描述 | 命令
Dockerfile：
转载
2023-05-18 22:43:38
125阅读
使用docker搭建jira环境docker的安装资源使用版本如何获取docker资源使用docker-compose启动搭建mysql启动jira的docker镜像页面配置jira docker的安装docker的安装，本篇文章就暂不详细描述，有时间我会写一篇关于docker环境安装的文章。资源使用版本这是描述一下我使用的服务器、jira版本、mysql数据库版本：项目版本服务器CentOS
转载
2024-02-02 10:03:29
108阅读
docker搭建分布式Elasticsearch集群主机node1:192.168.50.21node2:192.168.50.22node3:192.168.50.23环境依赖Jdk1.8dockerroot权限搭建步骤（确保已经安装docker和jdk1.8）切换root权限sudo -i创建es文件夹mkdir /data/docker_elasticsearch创建脚本文件并编写脚本nod
转载
2023-08-18 14:04:55
189阅读
jumpserver跳板机/堡垒机docker部署关于跳板机/堡垒机的介绍： 跳板机可以使开发或运维人员在维护过程中首先要统一登录到这台服务器，然后再登录到目标设备进行维护和操作。 Jumpserver是一款开源的开源的堡垒机，可使系统的管理员和开发人员安全的连接到企业内部服务器上执行操作，并且支持大部分操作系统，是一款非常安全的远程连接工具。1.关闭selinux# vim /etc/sysco
转载
2023-12-07 09:10:41
150阅读
Docker----Consul集群搭建一：介绍Consul Consul 是一个支持多数据中心分布式高可用的服务发现 和 配置共享的服务软件，由 HashiCorp 公司用 Go 语言开发 ， 用于实现分布式系统的服务发现与配置 。1、特点consul 支持健康检查，允许存储键值对；一致性协议采用 Raft 算法，用来保证服务的高可用；成员管理和消息广播采用 GOSSIP 协议，支持 ACL 访
转载
2023-10-18 20:23:14
121阅读
文章目录一、Redis 集群（理论篇）1、redis 集群形式1-1、数据分区方案1-2、代理分区2、高可用方式2-1、Sentinel（ 哨兵机制）支持高可用2、Redis-Cluster二、docker 部署 Cluster 集群1、创建 6 个 redis 节点2、使用 redis 建立集群3、测试redis集群Redis集群报错：(error) CROSSSLOT Keys in req
转载
2023-08-18 12:19:30
236阅读
背景 近期由于项目需求，需要建立一套日志聚合系统，采用经典的ELK(logstash =》elasticsearch =》kibana)日志系统架构，本文则是记录相关elasticsearch\logstash\kibana\filebeat等环境的安装过程!说明：数据流走向：filebeat => logstash => elastics
转载
2023-10-08 12:36:27
161阅读
一，搭建本地pyspark单机练习环境以下过程本地单机版pyspark练习编程环境的配置方法。注意：仅配置练习环境无需安装hadoop,无需安装scala.1，安装Java8下载地址：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html注意避免安装其它版本的jdk否则可能会有不兼容s
转载
2023-12-23 13:16:22
214阅读
# 使用Dockerfile构建Spark单节点集群
Docker是一个开源的容器化平台，它可以帮助开发者将应用程序及其依赖项打包到一个可移植的容器中，使其可以在不同的环境中运行。Spark是一个开源的大数据处理框架，它提供了分布式计算的能力，可以处理大规模的数据集。
在本文中，我们将介绍如何使用Dockerfile构建一个Spark单节点集群。这个集群将包含一个Spark主节点和一个Spar
原创
2023-07-14 17:00:25
132阅读
spark
原创
2020-12-18 15:29:01
1495阅读
RAC下查看实例名与节点名之间关系
ORACLE 提供了一个全局数据字典视图 gv$instance,可以用来查询 实例名和节点名之间的关系SQL>select instance_name,INSTANCE_NUMBER,HOST_NAME from gv$instance;
INSTANCE_NAME INSTANCE_NUMBER HOST_NAME
-----------
转载
2024-08-26 14:28:31
28阅读
1 下载Apache Kafka zk安装文档Linux安装 Zookeeper_安小然然的-2 解压 tar -zxvf kafka_2.11-2.1.1.tgz3 配置 配置config中的server.properties文件 日志存放地址log.dirs=/APP/kafka-logs配置访问地址 listeners=PLAINTEXT://10.10.136.5:909...
原创
2022-01-05 15:05:00
178阅读
# MySQL单节点搭建指南
MySQL作为一个开源的关系型数据库管理系统，以其高效、可靠和易扩展的特点而备受青睐。在许多小型或中型项目中，单节点的MySQL数据库搭建方案能够满足基本的业务需求。本篇文章将带领读者逐步了解如何搭建一个MySQL单节点实例，并结合具体的代码示例和图形化表示，帮助你更好地理解整个过程。
## 1. 下载并安装MySQL
首先，我们需要从官方网站下载MySQL。在
# 搭建单节点 HBase 的指南
HBase 是一个开源的、分布式的 NoSQL 数据库，专为海量数据存储和快速随机访问而设计。本文将为你介绍如何在单节点环境下搭建 HBase，并提供相应的代码示例。
## 环境准备
在开始之前，请确保你的系统中已安装 Java（JDK 1.8 或更高版本）。可以通过以下命令检查 Java 的安装：
```bash
java -version
```
目录HDFS 是做什么的HDFS 从何而来为什么选择 HDFS 存储数据HDFS 如何存储数据HDFS 如何读取文件HDFS 如何写入文件HDFS 副本存放策略Hadoop2.x新特性1、HDFS 是做什么的 HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，
转载
2024-09-09 10:11:40
60阅读
