zookeeper集群部署由于没有多余的电脑，所以我只在我个人电脑上面布置了一个伪集群的系统，安装了三个zookeeper如果看见过我的单机版的zookeeper，那么布置集群会很容易，就是布置三个单机版本的，然后分别配置zoo.cfg一下，让单机版的zookeeper可以联系起来互相通信就可以了。下面可是布置zookeeper集群系统：以下内容主要来源于网络和自己的亲身总结经验，如果有更好的配置
Oozie 是大数据四大协作框架之一——任务调度框架，另外三个分别为数据转换工具 Sqoop,文件收集库框架 Flume,大数据 WEB 工具 Hue，这三个后面的文章将逐一给大家介绍。Oozie 概述Oozie 是一个用来管理 Hadoop 生态圈 job 的工作流调度系统。由 Cloudera公司贡献给 Apache。Oozie 是运行于 Java servlet 容器上的一个 java we
Hadoop单节点示例搭建大数据已经成为现在热门中的热门，逢人必说Hadoop，作为初学者最好的学习方式是一步一步的搭建属于自己的Hadoop环境，网络上也有很多这方面的教程，但是还是缺少从最原始的操作系统环境开始到最后Hadoop环境部署的文章，因此才有了本文。 本文从最基础的操作系统环境到系统环境变量到具体的软件安装，hadoop安装流程源自自hadoop官方英文手册。基础环境操作系统我的主
转载
2024-05-17 03:22:51
55阅读
使用docker搭建jira环境docker的安装资源使用版本如何获取docker资源使用docker-compose启动搭建mysql启动jira的docker镜像页面配置jira docker的安装docker的安装，本篇文章就暂不详细描述，有时间我会写一篇关于docker环境安装的文章。资源使用版本这是描述一下我使用的服务器、jira版本、mysql数据库版本：项目版本服务器CentOS
转载
2024-02-02 10:03:29
108阅读
安装步骤易错情况不予给出：限于服务器个数有限本次测试了两种情况1、单节点方式：部署在一台服务器上2、单IP多节点（伪集群）：部署在同一IP，但是有多个节点，各有自己的端口3、多IP多节点：部署在不同IP，各有自己的端口（未测试） 一、单机模式（单节点模式）：1）下载压缩包，直接解压zookeeper-3.5.3压缩包，任意解压到一个你喜欢的地方。2）复制zoo_sample.cfg，将其改名为zo
转载
2024-07-18 19:57:12
114阅读
# Linux部署单节点Redis教程
## 1. 简介
Redis是一款开源的高性能键值存储数据库，被广泛应用于缓存、队列、排行榜和实时分析等场景。本教程将指导你如何在Linux环境下部署单节点Redis。
## 2. 准备工作
在开始部署Redis之前，你需要确保以下条件已满足：
- 一台运行Linux的服务器
- 已安装合适版本的Redis
## 3. 部署步骤
下面是部署单节点Re
原创
2023-08-17 14:46:30
202阅读
# Linux 单节点 Redis 部署指南
在当今的技术环境中，Redis 是一个广泛使用的开源缓存和数据存储解决方案，尤其是在需要快速读写性能的场合。对于刚入行的开发者而言，了解如何在 Linux 上进行单节点 Redis 部署是一个重要的技能。本文将通过逐步指导你完成这一过程。
## 部署流程
下面是整个部署过程的简要流程：
| 步骤 | 操作
原创
2024-09-15 04:14:44
100阅读
Redis 部署方案 单节点 默认情况下Redis 为单示例模式,安装简单,使用也便捷. 生产环境中存在单节点问题,受限于单机的内存,不具备扩展的能力。 Redis 安装 1. 下载安装包
https://redis.io 下载最最新版本 2. 解压缩
tar -zxf redis-3.0.1.tar.gz 3. cd redis-3.0.1
一、准备工作最小化安装CentOS 7.5，装完后，进行初始化selinux，防火墙端口无法访问，主机名问题，都是安装的常见错误，一定要细心确认。 kolla的安装，要求目标机器是两块网卡：ens33，设置的IP是：192.168.41.13，之后Horizon访问就是通过这个IP地址；ens37，不分配IP，这个是让neutron的br-ex 绑定使用，虚拟机是通过这块网卡访问外网。e
什么是单例模式单例模式是设计模式的最简单的形式之一。这个模式的最主要目的是使得类的一个对象称为系统中唯一的实例。单例模式的特点一个类只有一个对象。 例如：一夫一妻制。单例模式的分类饿汉模式：在创建对象的时候，直接分配资源，当对象想要使用资源的时候，立即可以使用。懒汉模式：在创建对象时不分配资源，当该对象需要资源时，再分配资源。 例如：我们在逛超市的时候，有可能会买好几天的东西放在冰箱里，这样当我们
转载
2024-03-19 11:32:26
17阅读
一、简介DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。DataX本身作为数据同步框架，将不同数据源的同步抽象为从源头数据源读取数据的Reader插件，以及向目标端写入数据的Writer插件，理论上DataX框架可
创建用户elastic，配置密码，elasticsearch默认不能用root用户启动，需要创建一个普通用户useradd elastic
passwd elastic修改vm.max_map_count配置sudo vi /etc/sysctl.conf
vm.max_map_count = 262144
sudo sysctl -p复制安装包到新建用户elastic的home目录/home/e
原创
2024-09-11 14:57:59
915阅读
配置基础环境1、测试环境直接关闭防火墙2、主机添加hosts记录# vim /etc/hosts
10.2.24.17 hadoop3、创建hadoop用户# useradd hadoop
# passwd hadoop4、添加免密登录（如果不添加免密登录，后面启动服务时候会提示输入密码）# su - hadoop
$ ssh-keygen -t rsa
$ ssh-copy-id haddop@
原创
2024-06-21 10:04:28
196阅读
1、首先上传安装包链接：https://pan.baidu.com/s/1pcqCJs8Nzd0ZvQloIQKvmA
提取码：xlq7注意：因fastdfs自带nginx，部署会占用80端口，如有需要部署nginx，注意端口冲突tips：fastdfs类似ftp，文件存储2、解压cd ~ ##进入用户主目录tar xf fastdfsrpm.tar.gz ##解压cd fastd
原创
2022-10-12 13:33:54
390阅读
点赞
Linux搭建Redis集群服务安装过程第一步：下载并解压kunzai@kunzai:~$ cd /usr/local/
kunzai@kunzai:/usr/local$ wget http://download.redis.io/releases/redis-3.2.4.tar.gz
kunzai@kunzai:/usr/local$tar -zxvf redis-3.2.4.tar.gz第二
转载
2023-06-04 09:51:42
107阅读
# 使用Dockerfile构建Spark单节点集群
Docker是一个开源的容器化平台，它可以帮助开发者将应用程序及其依赖项打包到一个可移植的容器中，使其可以在不同的环境中运行。Spark是一个开源的大数据处理框架，它提供了分布式计算的能力，可以处理大规模的数据集。
在本文中，我们将介绍如何使用Dockerfile构建一个Spark单节点集群。这个集群将包含一个Spark主节点和一个Spar
原创
2023-07-14 17:00:25
132阅读
一、为什么要部署单节点k8s？通常来说k8s集群至少是需要三个节点或三个节点以上来搭建，单由于在公司环境中做多集群管理平台rancher测试，且没有多余服务器资源，所以必须在一台服务器上rancher和k8s集群，所以就有了单节点部署k8s集群。我使用的服务器IP：10.23.197.21二、部署流程预先准备检查系统版本，要求系统版本在7.5以上。cat /etc/redhat-release
c
转载
2023-11-24 00:50:31
62阅读
目录1.概观2.与Spark链接3.初始化Spark3.1.使用Shell（Python）4.弹性分布式数据集（RDD）4.1.并行化集合4.2.外部数据集4.3.RDD操作4.3.1.基本4.3.2.将函数传递给Spark4.3.3.理解闭包4.3.4.使用键值对4.3.5.转换（Transformations）4.3.6.操作（Actions）4.3.7.shuffle4.4.RDD持久性4.
一，搭建本地pyspark单机练习环境以下过程本地单机版pyspark练习编程环境的配置方法。注意：仅配置练习环境无需安装hadoop,无需安装scala.1，安装Java8下载地址：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html注意避免安装其它版本的jdk否则可能会有不兼容s
转载
2023-12-23 13:16:22
214阅读
犹豫了很久，一直在想要写些技术上的东西出来给大家分享，但是由于工作繁忙，加之鄙人有些懒，所以，左拖右拖得拖到现在才写出了第一篇文章。当然，如果排版什么的比较丑的话，还望各位看官手下留情。好了，废话不多说，下面真正的戏肉来了。VMware Horizon是随着VMware View 5.1一同发布的，它的定位是终端用户计算产品，它秉承了VMware一贯作风，采用Virtual Appliance的方
转载
2023-11-17 16:41:58
107阅读
