hadoop修改 resourceManeger地址 hadoop修改ip地址

转载

mob64ca13ff5b03 2024-04-29 16:46:40

文章标签 hadoop python xml 文章分类 Hadoop 大数据

复制数据

rsync -r spark-1.6.1 root@10.161.20.93:/mnt/sd02

scp -r spark-1.6.1 root@10.161.20.93:/mnt/sd02

1.修改IP

第一种：通过Linux图形界面进行修改（强烈推荐）
进入Linux图形界面 -> 右键点击右上方的两个小电脑 -> 点击Edit connections -> 选中当前网络System eth0 -> 点击edit按钮 -> 选择IPv4 -> method选择为manual -> 点击add按钮 -> 添加IP：192.168.1.101 子网掩码：255.255.255.0 网关：192.168.1.1 -> apply
第二种：修改配置文件方式（屌丝程序猿专用）

vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE="eth0"    #虚拟机网卡名称。
 BOOTPROTO="static"               ##static，静态ip，而不是dhcp，自动获取ip地址
 HWADDR="00:0C:29:3C:BF:E7"
 NM_CONTROLLED="yes"
 ONBOOT="yes"       ### #开机启用网络配置。
 TYPE="Ethernet"
 UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c"
 IPADDR="192.168.1.101"           ###
 NETMASK="255.255.255.0"          ###
 GATEWAY="192.168.1.1"            ###
 DNS1=8.8.8.8
 DNS2=114.114.114.114
 IPV6INIT=no
 USERCTL=no

2.修改主机名

vim /etc/sysconfig/network

3.修改IP映射关系

vim /etc/hosts

4.修改linux的启动项

修改 /etc/inittab文件
vim /etc/inittab
最后一行改为id:3:initdefault:
如果要启动到桌面，则改为id：5：initdefault
如果之前安装了桌面环境，要从命令行切换到桌面下，只需要执行 init 5 或 startx 即可。

5.修改防火墙

#查看防火墙状态
 service iptables status
 #关闭防火墙
 service iptables stop
 #重启防火墙
 service iptables restart
 #查看防火墙开机启动状态
 chkconfig iptables --list
 #关闭防火墙开机启动
 chkconfig iptables off
 查看状态
 chkconfig | grep iptables----------------------------------------------
 service iptables stop
 service iptables status
 service ip6tables stop
 service ip6tables status
 chkconfig iptables off
 chkconfig ip6tables off 
关闭 SELINUX
vi /etc/selinux/config
 SELINUX=disabled
 临时关闭：
 setenforce 0
 修改配置文件/etc/selinux/config（重启生效）：
 将 SELINUX=enforcing 改为 SELINUX=disabled
 查看 SELINUX 状态：
 1、 /usr/sbin/sestatus –v
 SELinux status: enabled（enabled：开启； disabled：关闭）
 2、使用命令： getenforce

或开放端口：

开放端口：vi /etc/sysconfig/iptables
service iptables restart
-A INPUT -m state --state NEW -m tcp -p tcp --dport 22 -j ACCEPT

6.修改sudo权限

默认情况下，普通用户执行sudo <指令> 的时候会出现如下错误：
xxx is not in the sudoers file
解决办法：
$ su -
# chmod u+w /etc/sudoers
# vi /etc/sudoers
找到如下行：
root ALL=(ALL) ALL
在其下面添加：
knityster ALL=(ALL) ALL"
(其中的knityster为你要添加的用户名)
保存
最后：
# chmod 440 /etc/sudoers

7安装jdk

CentOS，自带OpenJdk，不过运行CDH5需要使用Oracle的Jdk，需要Java 7的支持。
卸载自带的OpenJdk，使用 rpm -qa | grep java 查询java相关的包，
使用 rpm -e --nodeps xxx包名卸载。
去Oracle的官网下载jdk的rpm安装包，并使用 rpm -ivh 包名安装之。
查询
rpm -qa | grep java 查询 java 相关的包，
卸载
使用 rpm -e --nodeps 包名卸载之。
创建软链接
ln -s 源文件链接目录
ln -s /usr/jdk-7u_65-i585 /usr/jdk
将java添加到环境变量中
vim /etc/profile
#在文件最后添加
export JAVA_HOME=/usr/jdk
export PATH=$PATH:$JAVA_HOME/bin

8.安装hadoop

先上传hadoop的安装包到服务器上去/home/hadoop/
注意：hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop
伪分布式需要修改5个配置文件
3.1配置hadoop

第一个：hadoop-env.sh
     vim hadoop-env.sh
     #第27行
     export JAVA_HOME=/usr/java/jdk1.7.0_65
     
 第二个：core-site.xml    <!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->
     <property>
         <name>fs.defaultFS</name>
         <value>hdfs://weekend-1206-01:9000</value>
     </property>
     <!-- 指定hadoop运行时产生文件的存储目录 -->
     <property>
         <name>hadoop.tmp.dir</name>
         <value>/home/hadoop/hadoop-2.4.1/tmp</value>
             </property>
     
 第三个：hdfs-site.xml   hdfs-default.xml  (3)
     <!-- 指定HDFS副本的数量 -->
     <property>
         <name>dfs.replication</name>
         <value>1</value>
 </property>
     
 第四个：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
     mv mapred-site.xml.template mapred-site.xml
     vim mapred-site.xml
     <!-- 指定mr运行在yarn上 -->
     <property>
         <name>mapreduce.framework.name</name>
         <value>yarn</value>
 </property>
     
 第五个：yarn-site.xml
     <!-- 指定YARN的老大（ResourceManager）的地址 -->
     <property>
         <name>yarn.resourcemanager.hostname</name>
         <value>weekend-1206-01</value>
 </property>
     <!-- reducer获取数据的方式 -->
 <property>
         <name>yarn.nodemanager.aux-services</name>
         <value>mapreduce_shuffle</value>
  </property>第六个：slaves
          hostname4slave1         hostname4slave2

3.2将hadoop添加到环境变量
vim /etc/proflie
   export JAVA_HOME=/usr/java/jdk1.7.0_65
   export HADOOP_HOME=/itcast/hadoop-2.4.1
   export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile
3.3格式化namenode（是对namenode进行初始化）
$HADOOP_HOME/bin
   hdfs namenode -format (hadoop namenode -format)
.配置ssh免登陆
#生成ssh免登陆密钥
#进入到我的home目录
cd ~/.ssh
ssh-keygen -t rsa （四个回车）
执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
将公钥拷贝到要免登陆的机器上
ssh-copy-id localhost
ssh-copy-id otherhostname

3.4启动hadoop
   先启动HDFS
   sbin/start-dfs.sh

   再启动YARN
   sbin/start-yarn.sh

3.5验证是否启动成功
   使用jps命令验证
   27408 NameNode
   28218 Jps
   27643 SecondaryNameNode
   28066 NodeManager
   27803 ResourceManager
   27512 DataNode
   http://192.168.1.101:50070 （HDFS管理界面）
   http://192.168.1.101:8088 （MR管理界面）

8.Centos6.5 python2.6.6 升级到2.7.5

查看python的版本
1. # python -V
2. Python 2.6.6
1.下载Python-2.7.5至/usr/local/
1. # wget https://python.org/ftp/python/2.7.5/Python-2.7.5.tar.bz2
2.解压
1. # tar -jxvf Python-2.7.5.tar.bz2
3.更改工作目录
1. #cd Python-2.7.5
4.安装
1. # ./configure --enable-unicode=ucs4
2. # make all
3. # make install
4. # make clean
5. # make distclean
编译之后，会在/usr/local/bin/目录生成相关python的文件
5.查看版本信息
# /usr/local/bin/python2.7 -V
6.建立软连接，使系统默认的 python指向 python2.7
1. # mv /usr/bin/python /usr/bin/python2.6.6
2. # ln -s /usr/local/bin/python2.7 /usr/bin/python
7.重新检验Python 版本
1. # python -V
8解决系统 Python 软链接指向 Python2.7 版本后，因为yum是不兼容 Python 2.7的，所以yum不能正常工作，我们需要指定 yum 的Python版本
1. # vi /usr/bin/yum
将文件头部的
#!/usr/bin/python
改成
#!/usr/bin/python2.6.6

9.VMware克隆镜像匹配

1、克隆之后的操作系统需要重新分配物理地址
a、修改/etc/sysconfig/network-scripts/ifcfg-eth0 文件中的物理地址
vi /etc/sysconfig/network-scripts/ifcfg-eth0
删除两行：UUID和HWADDR物理地址
修改： IPADDR
b、删除文件/etc/udev/rules.d/70-persistent-net.rules
rm -rf /etc/udev/rules.d/70-persistent-net.rules
2、修改主机名
vi /etc/sysconfig/network 文件
3、修改hosts
vi /etc/hosts 文件。
在文件最后增加一行：IP 地址主机名
192.168.239.6 node8
192.168.239.7 node7

4、重启启动linux: init 6

9.配置ssh免登陆

#生成ssh免登陆密钥
#进入到我的home目录
cd ~/.ssh
ssh-keygen -t rsa （四个回车）
执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
将公钥拷贝到要免登陆的机器上
ssh-copy-id localhost
ssh-copy-id otherhostname

本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。