集群配置信息：目录1准备工作1.1克隆三台虚拟机1.1.1更改主机名1.1.2配置静态ip1.1.3更改主机映射1.1.4配置ssh1.2安装jdk和hadoop并配置环境变量2配置集群信息2.1修改core-site.xml2.2HDFS的配置文件：2.3 配置YARN文件2.4 配置MapReduce文件2.5 配置slaves文件3集群启动1准备工作1.1克隆三台
转载
2023-12-19 09:54:03
98阅读
一、集群规划主机ip角色ceph01192.168.1.12master，etcd1k8s-master2192.168.1.125master，etcd4k8s-m2192.168.1.14master，etcd2ceph02192.168.1.18node，etcd6ceph03192.168.1.27node，etcd7k8s-m1192.168.1.16node，etcd5k8s-m319
转载
2023-12-15 05:06:11
118阅读
Ubuntu搭建Hadoop分布式集群运行环境配置目标搭建Hadoop分布式集群步骤1 搭建master1.1 安装JDK1.2 安装SSH1.3 安装Hadoop2 搭建node2.1 从master克隆出node2.2 设置master和node之间SSH通信2.2.1 在master上修改hostsname2.2.2 在node1和node2上修改hostsname2.2.3 修改host
转载
2023-12-17 10:28:32
221阅读
没有进行单点配置的同学，请参考的的上一篇博客hadoop单点配置1、域名映射 编辑/etc/hosts 文件，注意host name不要有下划线192.168.0.128 master
192.168.0.129 slave1
重启网络服务
service network restart
ubuntu下：/etc/init.d/networking restar
转载
2023-10-20 06:27:18
52阅读
因为学习的需要，需要部署一个hadoop的集群，在网上有很多的hadoop集群安装教程但是有的不够详细而且中间有的问题没有指出来我结合了一些安装的教程，在这里通过结合我自己搭建的过程以及遇到的一些问题写出一篇比较完善的安装教程。首先说明下我的安装环境，我但是在一台ubuntu系统的主机和一台windows上安装两个虚拟机ubuntu来搭建集群。ubuntu的版本都是14.04的桌面版的。安装的步骤
转载
2023-07-21 16:24:32
141阅读
hadoop完全分布式集群搭建(超详细)集群信息jdk: 1.8linux: ubuntu18.04 serverhadoop: hadoop2.9.2虚拟机: VMware一.安装VMware,准备一台虚拟机1.VMware:到VMware官网下载安装:一路next2.linux镜像:到官网下载 这里一定要下服务器版的 因为我们搭建集群至少要三台虚拟机 ,桌面版的太浪费性能,公司里也都是用服务器
转载
2023-10-11 10:16:15
1565阅读
1、 安装JDKa) 从http://www.oracle.com/technetwork/java/javase/downloads/index.html上下载Linux下的JDK安装文件jdk-6u30-linux-i586.bin。b) &n
转载
2024-01-04 23:53:25
50阅读
前言近期好多小伙伴都开始学习Linux内核了，那么如何搭建一个Linux运行环境，变成Linux内核初学者的拦路虎，今天我就一步步详细解说一下，如何使用虚拟机VMware安装Ubuntu，跟我一起开始Linux内核之旅。 手把手教你搭建Linux开发环境（VMware+Ubuntu）前言一、准备工作二、安装VMware Workstation三、安装Ubuntu 一、准备工作你需要提前准备好这两样
# 在 Ubuntu 上构建 Spark 集群
Apache Spark 是一个强大的开源大数据处理工具，支持快速处理大规模数据集。通过构建 Spark 集群，我们可以大幅提升数据处理的性能和能力。本文将介绍如何在 Ubuntu 上搭建一个简单的 Spark 集群，并通过一些示例代码来帮助您更好地理解。
## 一、准备工作
### 1. 环境要求
在开始之前，确保您有以下环境：
- 至少两
原创
2024-10-11 10:13:09
50阅读
ubuntu中安装hadoop集群
hadoop是由java 语言编写的主从结构分布式计算存储架构准备工作：操作系统： Ubuntu16.04软件安装包：jdk-8u171-linux-x64.tar.gz ； hadoop-2.6.5.tar.gz配置环境：3台虚拟机master:192.168.122.10
node1 :192.1
转载
2023-07-12 14:00:39
133阅读
群组的设置使得用户管理更加便捷。系统管理员可以通过对群组授权（grant）或撤销权限（revoke）而免去了为每个用户设置权限的繁琐工作。此外，设置群组权限可以为群组中的用户建立公共的工作区，管理他们对外设的使用权限。不同的Linux系统使用不同的理念来设置群组管理。在Ubuntu系统中使用的是UPG（user private group）机制，默认为每个用户设置与用户名同名的群组名。系统中的群组
虽然不知道有什么用但为了上课还是要装 直接切入正题从零开始的先看这篇用到的资源hadoop-3.2.1.tar.gzhttps://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gzjdk-8u241-linux-x64.tar.gz 链接：https://pan.baidu.com/
转载
2024-01-10 11:36:43
38阅读
目录第一部分第二部分第一部分一、点击【创建新的虚拟机】。二、选择【典型】，点击【下一步】。三、选择【稍后安装操作系统】，点击【下一步】。四、选择【Linux】，版本选择【Ubuntu 64位】，点击【下一步】。五、虚拟机名称输入【Ubuntu_18】，点击【浏览】更改系统的安装位置，这里建议安装在和虚拟机同一个盘，方便整理文件。六、点击【下一步】磁盘容量依据实际情况设置。七、点击【自定义硬件】点击
转载
2024-04-09 14:31:40
251阅读
首先确保你的Hadoop环境已安装下载spark安装包到主机，到这个站点http://archive.apache.org/dist/spark/下载想要的版本，下面安装使用的是spark2.4.0版本，安装其他版本基本类似，注意点在后面会提到# 解压，-C代表解压到那个目录
sudo tar -zxvf spark-2.4.0-bin-without-hadoop.tgz -C /usr/loc
转载
2024-05-30 20:16:08
168阅读
记得上学期有门课程就是MapReduce,在顺利通过之后，还是决定好好整理一下，方便日后用到，同时也能跟大家分享交流一下。具体的步骤和过程如下所示：一、创建Hadoop用户<span style="font-size:18px;">~$ sudo addgroup hadoop
~$ sudo adduser --ingroup hadoop hadoop</span>
转载
2023-11-27 09:25:12
84阅读
一、需要的工具需要的工具我已经完成分享，需要的可以直接在网盘中下载。VMware15 Workstation Pro 提取码：pp12ubuntu16 18 19 镜像 提取码：yfj0Xshell+Xftp 提取码：6ao9jdk1.8 提取码：rzpyhadoop 提取码：5hpm二、搭建单机伪分布式集群说明： 搭建完全分布式集群的时候我们可以先从伪分布式集群搭建起，后面从机的java had
转载
2023-12-26 20:45:51
10阅读
Ubuntu Ceph集群搭建
在当前的大数据时代，存储和管理海量数据成为了一项重要任务。为了应对这个挑战，越来越多的企业和组织开始采用Ceph集群作为他们的存储解决方案。本文将介绍在Ubuntu操作系统上搭建Ceph集群的步骤和注意事项。
Ceph是一个开源的分布式存储系统，它可以通过组合各种硬件设备，包括普通服务器和硬盘，构建出高可靠、高性能的存储集群。它具有自动分布、高可靠、弹性伸缩等特
原创
2024-02-06 14:30:44
220阅读
在搭建Ubuntu上的Hadoop集群之前，首先需要明确Hadoop的基本概念和整个搭建过程。Hadoop是一个开源的分布式系统基础架构，可以帮助处理大规模数据存储和处理的问题。在Ubuntu系统上搭建Hadoop集群需要一定的Linux系统基础和网络知识。
下面，我将向你详细介绍如何在Ubuntu上搭建Hadoop集群的整个过程，并提供相应的代码示例。
### 搭建Ubuntu上的Hadoo
原创
2024-05-17 09:25:45
85阅读
简介 linux环境：centos7.2 zookeeper版本：3.7.0 zookeeper下载地址请参考笔者
原创
2022-12-14 11:02:23
129阅读
安装完elementary后打开界面真的是眼前一亮哇!!!!!!!!!!接下来配置一些常用的功能:目录1.配置超级用户2.添加vmware-tool3.配置国内源4.配置SSH连接5.配置搜狗输入法6.安装tweaks-tool 1.配置超级用户elementary os 在创建之初是默认不允许使用root进行管理的,下面这一行可以配置root用户的密码：sudo passwd root
