因为学习的需要，需要部署一个hadoop的集群，在网上有很多的hadoop集群安装教程但是有的不够详细而且中间有的问题没有指出来我结合了一些安装的教程，在这里通过结合我自己搭建的过程以及遇到的一些问题写出一篇比较完善的安装教程。首先说明下我的安装环境，我但是在一台ubuntu系统的主机和一台windows上安装两个虚拟机ubuntu来搭建集群。ubuntu的版本都是14.04的桌面版的。安装的步骤
转载
2023-07-21 16:24:32
141阅读
一、集群规划主机ip角色ceph01192.168.1.12master，etcd1k8s-master2192.168.1.125master，etcd4k8s-m2192.168.1.14master，etcd2ceph02192.168.1.18node，etcd6ceph03192.168.1.27node，etcd7k8s-m1192.168.1.16node，etcd5k8s-m319
转载
2023-12-15 05:06:11
118阅读
Ubuntu搭建Hadoop分布式集群运行环境配置目标搭建Hadoop分布式集群步骤1 搭建master1.1 安装JDK1.2 安装SSH1.3 安装Hadoop2 搭建node2.1 从master克隆出node2.2 设置master和node之间SSH通信2.2.1 在master上修改hostsname2.2.2 在node1和node2上修改hostsname2.2.3 修改host
转载
2023-12-17 10:28:32
221阅读
hadoop完全分布式集群搭建(超详细)集群信息jdk: 1.8linux: ubuntu18.04 serverhadoop: hadoop2.9.2虚拟机: VMware一.安装VMware,准备一台虚拟机1.VMware:到VMware官网下载安装:一路next2.linux镜像:到官网下载 这里一定要下服务器版的 因为我们搭建集群至少要三台虚拟机 ,桌面版的太浪费性能,公司里也都是用服务器
转载
2023-10-11 10:16:15
1565阅读
Ubuntu Ceph集群搭建
在当前的大数据时代，存储和管理海量数据成为了一项重要任务。为了应对这个挑战，越来越多的企业和组织开始采用Ceph集群作为他们的存储解决方案。本文将介绍在Ubuntu操作系统上搭建Ceph集群的步骤和注意事项。
Ceph是一个开源的分布式存储系统，它可以通过组合各种硬件设备，包括普通服务器和硬盘，构建出高可靠、高性能的存储集群。它具有自动分布、高可靠、弹性伸缩等特
原创
2024-02-06 14:30:44
220阅读
在搭建Ubuntu上的Hadoop集群之前，首先需要明确Hadoop的基本概念和整个搭建过程。Hadoop是一个开源的分布式系统基础架构，可以帮助处理大规模数据存储和处理的问题。在Ubuntu系统上搭建Hadoop集群需要一定的Linux系统基础和网络知识。
下面，我将向你详细介绍如何在Ubuntu上搭建Hadoop集群的整个过程，并提供相应的代码示例。
### 搭建Ubuntu上的Hadoo
原创
2024-05-17 09:25:45
85阅读
简介 linux环境：centos7.2 zookeeper版本：3.7.0 zookeeper下载地址请参考笔者
原创
2022-12-14 11:02:23
129阅读
redis-4.0.3.gem 下载 https://rubygems.org/gems/redis/ 按照视频在这个地方出错： [root@lx opt]# gem install redis-4.0.11
ERROR: Could not find a valid gem 'redis-4.0.11' (>= 0) in any repository
[root@lx opt]#
安装完elementary后打开界面真的是眼前一亮哇!!!!!!!!!!接下来配置一些常用的功能:目录1.配置超级用户2.添加vmware-tool3.配置国内源4.配置SSH连接5.配置搜狗输入法6.安装tweaks-tool 1.配置超级用户elementary os 在创建之初是默认不允许使用root进行管理的,下面这一行可以配置root用户的密码：sudo passwd root
1.本文Ubuntu 16.04下搭建Web服务器(MySQL+Apache)的内容很多可能参照网上前辈的，但有所改进吧。这些设置可能会有所不同，你需要根据不同情况进行修改。2.切换管理员身份在ubuntu中需要用root身份进行操作,所以用下面的命令确保以root身份登录: 输入 su , 然后再输入密码.3.开始安装mysqlapt-get install mysql-se
目录一、服务端1、安装nfs服务端组件2、配置共享目录（1）新建即将共享出去的目录（2）配置/etc/exports3、重启nfs服务4、查询nfs是否启动二、客户端1、客户端安装nfs-common2、查看服务端共享出来了哪些目录3、挂载服务器端目录至客户端本地（1）在客户端建一个目录用于接收nfs（2）开始挂载4、客户端查看挂载情况5、客户端取消挂载参考文献一、服务端1、安装nfs服务端组件s
转载
2024-03-18 21:27:18
202阅读
为什么要有集群之前我们已经讲了主从的概念，一主可以多从，如果同时的访问量过大(1000w),主服务肯定就会挂掉，数据服务就挂掉了或者发生自然灾难大公司都会有很多的服务器(华东地区、华南地区、华中地区、华北地区、西北地区、西南地区、东北地区、台港澳地区机房)集群的概念集群是一组相互独立的
原创
2020-10-24 19:45:06
732阅读
# Ubuntu Redis 集群搭建指南
作为一名经验丰富的开发者，我将指导你如何在Ubuntu系统上搭建Redis集群。Redis是一个高性能的键值存储系统，常用于缓存和消息队列。集群模式可以提高Redis的可用性和扩展性。
## 一、准备工作
在开始搭建Redis集群之前，请确保你已经安装了以下软件：
- Ubuntu操作系统
- 安装了Redis
- 安装了`redis-cli`工
原创
2024-07-23 10:33:51
251阅读
实验环境： 虚拟化软件：VMware® Workstation 16 Pro 镜像：ubuntu-22.04.2-live-server-amd64.iso Hadoop版本：hadoop-3.3.4.tar.gzubuntu镜像链接hadoop文件链接配置虚拟机 （1）新建虚拟机，选择实验镜像【ubuntu-22.04.2-live-server-amd64.iso】 （2）调整硬件配置，配置如
转载
2023-09-20 10:42:36
278阅读
首先确保你的Hadoop环境已安装下载spark安装包到主机，到这个站点http://archive.apache.org/dist/spark/下载想要的版本，下面安装使用的是spark2.4.0版本，安装其他版本基本类似，注意点在后面会提到# 解压，-C代表解压到那个目录
sudo tar -zxvf spark-2.4.0-bin-without-hadoop.tgz -C /usr/loc
转载
2024-05-30 20:16:08
168阅读
Ubuntu镜像下载地址：http://mirrors.aliyun.com/ubuntu-releases/16.04/根据window 选择 32/64位的操作系统第2步：在vmware workstation 软件中选择”开始\新建虚拟机”按钮后，如图所示。第2步：后单击“下一步”按钮硬件兼容性选择如下，如图所示。第3步：后单击“下一步”按钮，选择稍后安装操作系统，如图所示。第4步：后单击“
转载
2023-12-07 00:27:07
192阅读
ubuntu16.04 搭建hadoop2.X系列1.软件版本(提供网盘链接)ubuntu-16.04.2-desktop-amd64.isohadoop-2.7.3.tar.gzjdk-8u144-linux-x64.tar.gz2.平台准备服务器准备 (内存可为1G，2G只为流畅) Master:内存2G 1核。 Slaver:内存2G 1核。 IP设置 (IP类比自身服务器) Mast
转载
2024-04-10 04:52:23
33阅读
PXE引导安装ubuntu 18.04.21.PXE基本概念2.PXE服务器搭建步骤详解2.1 实验环境2.2 PXE Server安装相关服务2.3 配置DHCP服务（主要是两个文件）2.4 配置TFTP服务2.5 配置HTTP2.6 配置NFS2.7 配置PXE 启动文件2.8 添加启动镜像2.9 Preseed文件内容 1.PXE基本概念PXE (preboot execute envir
转载
2023-11-24 00:05:48
330阅读
Ubuntu下hadoop的安装与配置 版本：Ubuntu13.10 -64bit, hadoop1.0.4 由于数据库课程作业的需要，最近在Ubuntu下配置了hadoop环境，在此作一下记录。 首先要了解一下，hadoop是Apa
转载
2023-07-25 00:16:09
133阅读
此文介绍 ubuntu 平台下配置 AMD/ATI Opencl 环境，我是ubuntu 12.04。主要分为六个步骤：1. Take a look at your hardware to make sure it’s compatible 先安装驱动，http://support.amd.com/zh-cn/download/ 里面选择你的机器的显卡型号，OS型号，系统
转载
2024-05-21 00:26:19
84阅读
