安装前提： 1.ssh软件安装 2.ssh免密设置成功 3.Jdk1.7以上版本安装 4.Path设置，将jdk的bin目录设置到path中 5.Hadoop软件下载并解压。 6.对Hadoop文件解压文件夹下的hadoop-2.7.3/etc/hadoop目录下的hadoop-env.sh 、core-site.xml、hadfs-site.xml、mapred-site.xml、y
转载
2023-09-14 13:07:25
54阅读
准备工作主机名称系统环境ip地址hadoop-mastercentos7192.168.150.181hadoop-slave1centos7192.168.150.182hadoop-slave2centos7192.168.150.1831.下载hadoop 本文用的是hadoop-2.7.3的版本下载hadoop的链接：http://hadoop.apache.org/releases.ht
转载
2023-09-14 13:06:46
53阅读
一、准备工作在VMware官网下载虚拟机 本文使用到的centos为7.8 2003 Apache开源网站上下载hadoop，版本根据自己需要下载，本文采用2.7.7版本 ssh远程工具，本文使用到的有xshell，xftp。 hadoop需要Java的环境，本文使用jdk1.8二、虚拟机里安装centos注意：安装后如果提示 大部分原因是BIOS里面未开启，这里每种品牌的电脑的开启有所不同，如果
转载
2023-09-14 13:07:06
51阅读
第一步：对管理IP和业务IP进行确认 查看那些是业务IP，那些地址是管理IP 由于我的服务器上有装了saltstack自动化管理工具，所以可以批量查看！ salt -E "192.168.30" cmd.run "ethtool enp130s0f0"|egrep "(192.168.30)|(Speed)" 如果没有可以分别查看[root@localhost ~]# etht
目录一、新建虚拟机：二、连接XSHell三、修改主机名称和网络名称四、关闭防火墙五、关闭selinux六、jdk的安装与卸载七、hadoop的安装八、克隆九、配置slave1和slave2十、ssh免密登录十一、格式化节点十二、启动hadoop集群一、新建虚拟机：参考教程：静态IP设置：masterip：192.168.100.10网关：192.168.100.2子网掩码：255.255.255.
一：测试环境搭建规划：主机名称IP用户HDFSYARNhadoop11192.168.1.101hadoopNameNode,DataNodeNodeManagerhadoop12192.168.1.102hadoopDataNodeNodeManagerhadoop13 192.168.1.103hadoopDataNode,SecondaryNameNodeNodeManagerhadoop1
环境说明：系统：Centos7 在VM中安装的hadoop版本：2.7.7JDK：1.8注意：Hadoop需要Java环境的。记得安装Java环境PS：Centos JDK安装 mkdir /data 1：上传jdk的tar.解压2：修改/etc/proflie，把Javahome环境变量配置上：记住：在修改前，先备份在文件最后添加： export JAVA_HOME=/da
固定IP
修改文件 /etc/sysconfig/network-scripts/ifcfg-ens33
下面内容为参考
TYPE=Ethernet
BOOTPROTO=static
NM_CONTROLLED=yes
原创
2021-10-15 10:53:06
1110阅读
点赞
3评论
一、前言 开始学习数据处理相关的知识了，第一步是搭建一个Hadoop集群。搭建一个分布式集群需要多台电脑，在此我选择采用VMWare+CentOS7搭建一个三台虚拟机组成的Hadoop集群。注：1.本次搭建环境中操作系统的用户名为hadoop，请自行替换/home/hadoop为本机对应路径。 2.本次用到的软件版本为：VMware Workstation 14 Pro 14.1.
准备工作装JDK修改本地计算机名修改hostname重启配置hadoop配置文件克隆虚拟机到node1ssh免密登录格式化只在master启动只在master 准备工作两台centos虚拟机：主机别名192.168.0.49master192.168.0.53node1两台主机用户名都为sunpeng（听说要统一） 首先配置master主机，配置好之后clone一份系统到node1，稍微改一下就
CentOS 7 安装Hadoop1、Hadoop安装前的准备(1)复制文件到CentOS 7 1)建立共享文件夹，如下图所示：2)将文件复制到hadoop文件夹下(2)时间同步,如下图所示： (3)修改主机名，如下图所示：(4)配置网络环境，如下图所示： (5)关闭防火墙，如下图所示：(6)配置hosts列表，如下图所示：(7)测试主节点和从节点是否能够相互ping通，如下图所示：(8) 安装j
转载
2023-07-10 11:28:01
192阅读
文章目录一、修改静态IP1.点击虚拟网络编辑器2.查看NAT网关3.修改主机名字4.修改静态IP二、Xshell连接1.新建会话三、关闭防火墙四、安装JDK1.创建module、software文件夹2.卸载现有JDK3.安装JDK4.安装Hadoop 一、修改静态IP1.点击虚拟网络编辑器2.查看NAT网关 根据自己的网段，规划出4个IP 192.168.153.132 hadoop-00 1
文章目录目录系列文章目录文章目录前言一、前期准备二、Hadoop介绍2.1、Apache Hadoop2.2、Cloudera Hadoop2.3、Hortonworks Hadoop2.4、Hadoop1与Hadoop2的区别2.5、大数据技术生态体系三、虚拟机环境准备1. 克隆虚拟机 &n
Hadoop搭建（其他组件安装最近更新）一.系统一些基本配置1.更改网卡配置（克隆之后把另外两台ip改了）vi /etc/sysconfig/network-scripts/ifcfg-ens33#网卡里面的配置
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static #使用static配置
DEFROUTE=yes
IPV
配置Hadoop全分布式环境一、准备工作准备三台虚机并保证能相互ping通 序号 IP地址 主机名类型 用户名 1 192.168.162.177 Master.Hadoop NameNode root 2 192.168.162.155 Slave1
说实话，本人编译hadoop的过程比较曲折，但收获也很多，下面系统介绍一下CentOS7下编译hadoop-2.7.1的全过程吧。 先说明，32位Linux操作系统可以直接下载编译好的hadoop使用，但是64位Linux操作系统需要自己编译。1.工具准备，最靠谱的是hadoop说明文档里要求具备的那些工具。到官网http://hadoop.apache.org/releases.html，
转载
2023-08-08 21:28:27
94阅读
文章目录1.下载地址2 节点介绍3 开始搭建 HDFS 系统3.1 将Hadoop安装包上传到虚拟机CentOS7-023.2 解压 Hadoop 安装包3.2 配置 Hadoop 的运行环境3.3.1 配置hadoop-env.sh文件3.3.2 配置core-site.xml文件3.3.3 配置hdfs-site.xml文件3.3.4 在 Linux 中配置 Hadoop 环境变量3.3.5
今天研究了下配置tomcat:1.安装前提，配置apr,apr-util两个文件，具体方法百度2.还需要安装jdk环境将jdk环境变量写入/etc/profile里exportJAVA_HOME=/usr/java/jdk1.8.0_151exportJRE_HOME=/usr/java/jdk1.8.0_151/jreexportCLASSPATH=.:$JAVA_HOME/lib/dt.jar
原创
2017-12-13 10:53:49
5053阅读
操作系统版本：
centos7 64位hadoop版本：
hadoop-2.7.3hbase版本：
hbase-1.2.4机器：
192.168.11.131 master1 Namenode ResourceManager QuorumPeerMain Jobhistory HMaster DFSZKFailoverControll
匿名访问：a.安装vsftpd：yum-yinstallvsftpdb.修改配置文件：vim/etc/vsftpd/vsftpd.confanonymous_enable=YESlocal_enable=YESwrite_enable=YESlocal_umask=022dirmessage_enable=YESxferlog_enable=YESconnect_from_port_20=YESx
原创
2018-02-06 05:07:11
10000+阅读
