大数据为什么hadoop集群搭建 hadoop大数据平台搭建

转载

mob64ca14068b0b 2024-07-22 12:47:21

文章标签 大数据为什么hadoop集群搭建大数据 hadoop 大数据环境搭建 Hadoop环境搭建 文章分类 Hadoop 大数据

我们此处使用的是VM虚拟机，centOS6.5的系统，初学者建议装中文版的系统，方便查看，我这边也是先装中文版的系统，本文章主要讲解如何在搭建大数据平台之前要对虚拟机进行环境配置工作，我会在重要的步骤截图上传，方便大家学习讨论，同时，对于一些拓展知识我会进行注释解释，一些其他相关知识也会在文章末尾写出来的，以下便具体的讲解如何进行配置

一、系统环境准备工作：

①

** 首先查看网卡IP

大数据为什么hadoop集群搭建 hadoop大数据平台搭建_大数据环境搭建

$ ip a 或$ ifconfig (network interfaces configuring)网络接口配置（此处是为了先查看网段，先把网段记住，方便后面修改IP）

大数据为什么hadoop集群搭建 hadoop大数据平台搭建_大数据_02

** 然后配置VPN（Virtual Private Network 虚拟专用网络）

大数据为什么hadoop集群搭建 hadoop大数据平台搭建_大数据_03

a. 右下角选择"配置VPN"

b. 选择eth0，点击编辑（eth开头的是网卡）

c. 在IPv4页面设置

方法：手动

添加：地址192.168.195.195 掩码255.255.255.0 网关192.168.122.2

DNS服务器：192.168.122.2, 202.96.209.5

勾选需要IPv4

静态IP前三个字段都是必须和系统是一样的，可以修改第四个网段，子网掩码一般都是255.255.255.0，网关把IP复制过来把末端改成2就可以了，末位设置为2,是NAT模式特有的做法。把IP修改成静态过后是不能进行联网的，也就是说ping不同外网，这是必须要配置DNS服务器才行， DNS一般直接把网关拷贝过来就可以了。

#202.96.209.5（或133）是上海电信DNS服务器（baidu），8.8.8.8是Google服务器

SFTP***

Windows里面的不一样，要是直接在Windows里面建文件的话拿到Linux里面可能会不兼容

大数据为什么hadoop集群搭建 hadoop大数据平台搭建_大数据为什么hadoop集群搭建_04

编辑文件（root）

# vi /etc/sysconfig/network-scripts/ifcfg-eth0 

 

  #注意：VPN修改后，文件名会变化，如：ifcfg-Auto_eth0 

 
ONBOOT=yes# 把网卡设置成开机启动 

 
BOOTPROTO=static# 把DHCP改为static，Linux严格区分大小写，一定要注意 

 
IPADDR=192.168.195.195
 
NETMASK=255.255.255.0
 
GATEWAY=192.168.195.2
 
  
 

  设置好后，重启网卡： 

 

  # ifup eth0 （若是有问题，将文件中以IPV6开头的行删除） 

 

  #Linux中eth0，eth1，eth2分别表示网卡一，网卡二，网卡三 …… 

 
（这里是我的详细类容，大家参考下，不要复制过去）： 

 

  #若是有问题就将IPV6开头的删除 

 

  DEVICE="eth0" 

 

  BOOTPROTO=static 

 

  IPV6INIT="yes" 

 

  NM_CONTROLLED="yes" 

 

  ONBOOT="yes" 

 

  TYPE="Ethernet" 

 

  UUID="0faffc60-5eda-421f-9cb9-c90cea321005" 

 

  HWADDR=00:0C:29:3D:37:60 

 

  IPADDR=192.168.122.128 

 

  NETMASK=255.255.255.0 

 

  PREFIX=24 

 

  GATEWAY=192.168.122.2 

 

  DNS1=192.168.122.2 

 

  DNS2=202.96.209.5 

 

  DEFROUTE=yes 

 

  IPV4_FAILURE_FATAL=yes 

 

  IPV6_AUTOCONF=yes 

 

  IPV6_DEFROUTE=yes 

 

  IPV6_PEERDNS=yes 

 

  IPV6_PEERROUTES=yes 

 

  IPV6_FAILURE_FATAL=no 

 

  NAME="System eth0" 

 

  LAST_CONNECT=1477989881

2、设置DNS

# vi /etc/sysconfig/network-scripts/ifcfg-eth0 （同一个文件） 

 

  DNS1=192.168.122.2 #第一个DNS设置成跟网关地址一样，NAT模式比较特殊 

 

  DNS2=202.96.209.5 

 
  
 

  # service network restart #重启network服务，即网络服务

3、修改主机名

** 集群内部的主机名通常都会使用统一的命名格式

** 注意：hadoop里主机名不能使用下划线 

 

  ibeifeng 

 
 

  # vi /etc/sysconfig/network 

 

  HOSTNAME=ibeifeng 

 
 

  查看主机名： 

 

  # hostname

4、关闭Linux防火墙和selinux

** 默认情况下,防火墙只开启了22号端口，会影响集群通讯

# service iptables status 

 

  # service iptables stop # 关闭防火墙服务 

 

  # chkconfig iptables off # 设置为开机不启动 

 

  # chkconfig --list # 列出所有的系统服务 

 

  # chkconfig --list | grep ip 

 

  PS：

等级代号指定该系统服务要在哪一个执行等级中开启或关闭。

等级0表示：表示关机，系统默认运行级别不能设置为0，否则不能正常启动、关闭。

等级1表示：单用户模式

等级2表示：无网络连接的多用户命令行模式

等级3表示：有网络连接的多用户命令行模式

等级4表示：等级4保留，一般不用，可以处理一些特殊情况。如笔记本电池用尽时，可以切换到这个模式来做一些设置。

等级5表示：带图形界面的多用户模式

等级6表示：重新启动

# 关闭selinux，是一个安全子系统，它能控制程序只能访问特定文件

# vi /etc/sysconfig/selinux（注意：此文件在notepad中不可见）

SELINUX=disabled # 把enforcing改成disabled

5、添加主机名映射

** 后面需要多次使用主机名

# vi /etc/hosts

在最后一行添加：192.168.195.195 ibeifeng

6、创建普通用户

** 后期所有操作都尽量使用普通用户来进行

# useradd tom #创建用户ibeifeng

# passwd tom #设置密码

# echo blue | passwd --stdin ibeifeng #--stdin接收系统输入数据 

 

  PS: 

 

  Xshell：工具--选项--键盘和鼠标 

 

  右键粘贴功能: 修改“右键按钮”为：paste the clipboard contents 

 

  选中复制功能：勾选“将选中的内容自动复制到剪贴板” 

 
  
 

  ----JDK----------------------------------------------- 

 
  
 

  #除非必需，尽量使用普通用户来操作 

 

  ssh(Secure Shell)是目前较可靠，专为远程登录会话和其他网络服务提供安全性的协议。 

 

  Xshell登录：ssh tom@192.168.122.128 

 
  
 

  ** 安装JDK 

 

  $ su - # tom在/opt内无创建目录的权限 

 

  # mkdir /opt/modules # 用于软件安装目录 

 

  # mkdir /opt/softwares # 用于软件下载目录 

 
  
 

  # chown ibeifeng:ibeifeng /opt/modules/ # 授权用户:组 

 

  # chown ibeifeng:ibeifeng /opt/softwares/ 

 
  
 

  # su - ibeifeng 

 

  $ tar zxvf jdk-7u67-linux-x64.tar.gz -C /opt/modules/ --选项-C 表示解压的目标路径 

 
  
 

  # 设置JAVA_HOME和PATH 

 

  # vi /etc/profile (root用户) 

 

  JAVA_HOME=/opt/modules/jdk1.7.0_67 

 

  export PATH=$PATH:$JAVA_HOME/bin 

 
  
 

  PS:

***卸载其他软件捆绑安装的JDK，若是没有则无需卸载

# rpm -qa #查看所有已安装的rpm包

# rpm -qa | grep -i java --'-i'：忽略大小写

# 卸载rpm软件包

# rpm -e --nodeps java-1.7.0-openjdk-1.7.0.9-2.3.4.1.el6_3.x86_64

①NAT(Network Address Translation)网络地址转换，它是一个IETF标准，允许一个整体以一个公用IP地址出现在Internet上。

顾名思义，它是一种把内部私有网络地址翻译成合法网络IP地址的技术。简单的说，NAT就是在局域网内部网络中使用内部地址，

而当内部节点要与外部网络进行通讯时，就在网关处，将内部地址替换成公用地址，从而在外部公网（internet）上正常使用，

这一功能很好地解决了公共IP地址紧缺的问题。通过这种方法，只申请一个合法IP地址，就把整个局域网中的计算机接入Internet。

内部网计算机用户通常不会意识到NAT的存在。NAT功能通常被集成到路由器、防火墙、ISDN路由器或者单独的NAT设备中。

NAT有三种类型：静态NAT(Static NAT)、动态地址NAT(Pooled NAT)、网络地址端口转换NAPT（Port－Level NAT）。其中，

静态NAT设置起来最为简单和最容易实现的一种，内部网络中的每个主机都被永久映射成外部网络中的某个合法的地址。