一、部署前的准备创建三台虚拟机并且设置虚拟机的ip，名称：创建好虚拟机，设置ip 设置ip地址首先点击vm上的编辑按钮下虚拟网络编辑器查看VMnet8的ip地址是多少，比如我这ip地址为192.168.223.0，那么我的虚拟机的ip地址前3位就需要设置为192.168.223。 然后打开虚拟机登录，输入命令：vi /etc/sysconfig/network-scripts/ifcfg-ens3
转载
2023-07-12 10:04:16
1031阅读
本文用到的软件设置固定IP（1）（2）修改配置文件“/etc/sysconfig/network-scripts/ifcfg-ens33”#修改：ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
\#添加以下内容
IPADDR=192.168.128.130(根据自身情况)
NETMASK=255.255.255.0
GATEWAY=192.168.128
转载
2023-07-24 09:32:05
618阅读
Hadoop完全分布式的基础配置完全分布式配置可以在伪分布式配置的基础上进行配置，也可以从新开始，本次从新开始配置本次安装的JDK的版本为jdk-8u144-linux-x64.tar，Hadoop的版本为hadoop-2.7.2.tar。前期准备：(在root用户下) 3台Linux服务器，服务器的IP、hostname、HWaddr已经设置完毕，防火墙服务关闭、并且在/opt目录下新建modu
转载
2024-06-22 17:28:36
330阅读
版本说明Centos： CentOS-7-x86_64-DVD-2009JDK： jdk-8u291-linux-x64Hadoop： hadoop-2.7.71. 准备工作设置静态IP关闭防火墙安装JDK配置环境变量服务器克隆修改主机名设置IP和主机名映射SSH免密登录1.1 设置静态IP1️⃣ Step1：在 VMware中网络配置为NAT模式，查看网关地址，编辑 --> 虚拟网络编辑器
转载
2023-07-24 14:29:39
260阅读
Hadoop完全分布式集群配置完整配置视频可在b站观看hadoop完全分布式集群配置第一步：安装虚拟机Linux Centos6.8 64位 Vmware11第二步：配master的固定IP设置IP地址前要先看看vmware虚拟网络编辑器中的子网IP和网关IP master、slave1和slave2的地址不能和网关IP重复。固定IP设置: vi /etc/sysconfig/network-sc
转载
2023-12-26 21:09:26
51阅读
Hadoop本身的安装配置过程比较简单，主要精力在于服务器环境的配置上。一、服务器基础软件由于机器有限，我在笔记本上使用VMware虚拟了出两台虚拟机来跑。一台作为名字节点（nameNode），一台作为数据节点（dataNode），勉强用着。虚拟机操作系统版本：RedHat Linux 6.4（64-bit）需要安装的服务：openssh，包括服务端和客户端（一般都自带有）二、设置静态IP将两台虚
转载
2024-04-12 16:52:09
127阅读
前期准备就不详细说了，课堂上都介绍了 一、.修改Linux主机名:所有主机上的主机名必须一致sudo gedit /etc/hostname2.修改IP：刚建好的虚拟机的ip是动态的每次重启可能发生该变，这样的话每次重启可能都有需要修改hosts文件，所以这里我们推荐配置静态IP，配置方法如下：1）. 2）. 3）. 4）.5）.选中IPv4 Settings选项卡，将选项卡中的method中
转载
2023-07-24 14:29:52
593阅读
Hadoop配置总结配置静态的的ip/*为什么我会先配置这个就是因为我安装的centos7的版本是没有ifconfig这个命令的所以只能先设置他的静态的ip地址才能链接远程所以我先配置这。*/
cat /etc/sysconfig/network-scripts/ifcfg-ens33
增加的：
IPADDR="写入的是你想要配置的IP地址并且前面是一样的"
这个前面这个段是在VMware中点击编
转载
2023-11-23 12:50:55
166阅读
hadoop2.2.0安装步骤
1.准备Linux环境
1.0点击VMware快捷方式，右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段：192.168.1.0 子网掩码：255.255.255.0 -> apply -> ok
回到windows -->
转载
2024-03-13 15:35:15
36阅读
下载hadoop安装包可以到这个网站上下载http://www.apache.org/dist//hadoop/core/如果下载不下来自己到网上找找很多的。选一个版本下载。我用的是hadoop-0.20.2。2.解压到一个目录下。随便选择按个目录。建议直接选择一个根目录。随后进行配置。这里配置的是伪分布式了。需要配置四个文件。都在conf目录下。分别为：hadoop-env.sh、core-si
转载
2024-07-26 12:50:50
58阅读
说在前面的话由于老师给我们学生布置了一个Linux作业，虽然有几个可选的题，但是最后我还是觉得选择Hadoop应用开发，毕竟我一直想尝试这个新东西，趁着这个机会学点东西挺好的。要想使用这个Hadoop进行应用开发，那么首先就应该配好环境，安装啥的不说了，因为我觉得这个配置静态ip有点麻烦，也最容易出问题，所以下面我将和你谈谈如何为你的hadoop集群服务器配置静态ip：为什么要配置静态ip?使用静
转载
2023-09-20 12:32:23
125阅读
上篇文章中我们已经将之前配置好的伪分布集群虚拟机复制出来做为master节点的虚拟机，接下来我们还需对该虚拟机做进一步的配置来达到我们的要求。对master虚拟机的配置将从网络、hostname、更改Hadoop相关配置等几方面展开。1、网络配置目前虚拟机网卡IP地址为自动获取模式。也就是说虚拟机每次开机IP地址都不是确定的。这对于集群来说是不可接受的，因为集群节点（master、slave）之间
转载
2023-09-01 08:54:43
110阅读
hadoop的安装虚拟机镜像：centos-7 虚拟机三台： hadoop1：主节点 hadoop2：从节点 hadoop3：从节点 本博客相关资源文件连接：编译所需安装包编译后的hadoop3.3.11.服务器ip以及名称的配置修改服务器ip为静态ip1. 查看本机ip
ip addr (idconfig)
2. 进入网卡配置文件
vi /etc/sysconfig/network-s
转载
2023-07-21 14:54:31
734阅读
文章目录配置网卡的ip地址.在Ubuntu18.04中配置IP地址.界面语言的更改（英文转中文）源的选择:安装VMware Tools.主机名(hostname)的更改 在第一讲中我们学会了VMware下安装,从零开始,手把手教你在Ubuntu18.04下部署hadoop(一):建立属于自己的虚拟机 今天.我们再学习一些基本的操作.配置网卡的ip地址.这个部分可真的是一个大坑啊,Ubuntu16
转载
2024-06-22 20:16:11
60阅读
集群搭建的步骤有很多，并不是一成不变的标准顺序，我写的只是仅供大家的一个参考，希望能帮到大家，如果有不对的地方也希望大家留言指教。首先要创建一个虚拟机然后将虚拟机打开1.修改虚拟机IP地址和配置NAT模式，根据下面的命令和图片中红色框内容进行设置 IPADDR是本台虚拟机的IP地址 vi /etc/sysconfig/network-scripts/ifcfg-eth0 2.修改本机的IPV4 打
转载
2023-10-17 22:52:00
159阅读
一、什么是hadoophadoop是一个分布式系统架构，负责海量数据的存储和海量数据的分析计算。 spark框架可以在Hadoop之上做内存计算二、hadoop框架搭建1.虚拟机安装Centos7.5系统整个虚拟机的安装按照 硬件 -> 软件(OS) -> 网卡 -> 主机名 的顺序1）硬件截图忘保存了哎，内存大小4G（2G太小了，选2G的话可能后面还要改），CPU个数一般都选2
转载
2023-07-12 12:48:39
53阅读
Hadoop集群环境搭建一、网络配置1.准备CentOS7.7操作系统2.完整克隆创建好的虚拟机以如下方式命名：hadoop01，hadoop02，hadoop033.检查网络ip是否存在，如果不存在，需要关闭NetworkManagersystemctl stop NetworkManager （临时）
systemctl disable NetworkManager （永久）4.
转载
2023-07-12 09:47:45
82阅读
Hadoop概述Hadoop技术主要是由下面这三个组件组合而成的： HDFS是一个典型的主从模式架构。HDFS的基础架构HDFS的集群搭建一点准备工作其实这一块没啥内容，就是将Hadoop官网下载下来的Hadoop的tar包上传到我们服务器上的文件目录下： 这里可以使用随便的文件传输工具，我使用与xshell配套的xftp： 使用下面的命令解压该tar包： 解压完成： 然后为该程序建立一个软链接：
转载
2024-09-13 11:01:07
88阅读
推荐大象教程，介绍Hadoop、HDFS、MapReduce架构和工作原理相对来说非常的清晰。其内容是与《Hadoop the Definitive Guide》基本一致的。讲解的很细致、细节，又带了一些个人的理解和举例子，比较易懂，是比Hadoop官网更值得一看的入门教程。Hadoop 教程 | Hadoop 教程HDFS 教程 | HDFS 教程MapReduce 教程 | MapReduce
转载
2024-10-12 14:28:49
42阅读
目录前言一、HADOOP HA之NameNode HA集群配置1、修改hadoop-env.sh2、修改core-site.xml3、修改hdfs-site.xml4、修改workers5、同步配置文件6、启动zookeeper集群7、启动journalnode8、格式化namenode9、同步元数据10、格式化ZKFC11、启动HDFS二、HADOOP HA之NameNode HA集群应用1、查
转载
2023-09-27 20:39:22
1425阅读
