Ubuntu查看hadoop版本的命令 ubuntu配置hadoop

转载

月光倾城美 2024-05-13 09:56:30

文章标签 Ubuntu查看hadoop版本的命令 hadoop ubuntu JAVA Hadoop 文章分类 Hadoop 大数据

1，
ubuntu修改root密码：
alt+f2,在弹出的运行窗口中输入：gnome-terminal，回车。如果新装的系统还没有设置root密码可以在这个界面输入：sudo passwd root，回车后按提示输入两次root的密码（注意，输入时是不会提示*号的，直接输入即可）。

2，
关闭防火墙
$sudu ufw disable

3.
Ubuntu 下安装 OpenSSH Server ：
sudo apt-get install openssh-server
然后确认sshserver是否启动了：（或用“netstat -tlp”命令）
ps -e | grep ssh

4.
配置ssh免密码登录
操作：(1)ssh-keygen -t rsa 一路回车
(2)cd ~/.ssh
(3)cp id_rsa.pub authorized_keys
(4)重启sshd服务 service sshd restart
(5)ssh localhost 第一次执行时需要确认登录，执行exit退出，再次执行，如果没有提示，证明正确
(6)ssh hadoop0

5,安装rsync sudo apt-get install rsync

6.配置JDK环境

/etc/profile

/etc/environment
ls environment

chmod 777 /etc/environment

成功安装完JDK后，接下来我们将要进行ＪＤＫ的配置，使用命　$ sudo gedit /etc/environment　对environment文件进行修改并添加以下代码：

Java代码

PATH＝"/usr/local/jdk/bin" 

CLASSPATH="/usr/local/jdk/lib" 

JAVA_HOME="/usr/local/jdk" 


source /etc/environment

把jdk加入为全局变量
修改/etc/profile文件
如果你的计算机仅仅作为开发使用时推荐使用这种方法，因为所有用户的shell都有权使用这些环境变量，可能会给系统带来安全性问题。
·用文本编辑器打开/etc/profile
·在profile文件末尾加入：

export JAVA_HOME=/usr/local/jdk 

export HADOOP_HOME=/usr/local/hadoop 

export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH 

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 

export JAVA_HOME ANT_HOME HADOOP_HOME CLASSPATH PATH

另一种写法

JAVA_HOME=/usr/java/jdk1.7.0_05 

ANT_HOME=/usr/local/apache-ant-1.8.3 

HADOOP_HOME=/opt/hadoop-1.0.3 

CLASSPATH=.:$JAVA_HOME/lib/tools.jar 

PATH=$JAVA_HOME/bin:$ANT_HOME/bin:$HADOOP_HOME/bin:$PATH 

export JAVA_HOME ANT_HOME HADOOP_HOME CLASSPATH PATH 


source /etc/profile

7.安装hadoop 1.0.3

6.安装hadoop
操作：(1)把hadoop.xx.tar.gz放到/usr/local
(2)解压缩tar -zxvf hadoop.xx.tar.gz
(3)重命名 mv hadoop-1.1.2 hadoop

7,修改hadoop配置文件，指定JDk安装路径 vi conf/hadoop-env.sh export JAVA_HOME=/usr/local/jdk

8,修改Hadoop核心配置文件core-site.xml，配置HDFS的地址和端口号

vi conf/core-site.xml 
 <configuration> 
 <property> 
 <name>fs.default.name</name> 
 <value>hdfs://liuying005:9000</value> 
 </property> 
 <property> 
 <name>fs.checkpoint.period</name> 
 <value>3600</value> 
 </property> 
 <property> 
 <name>fs.checkpoint.size</name> 
 <value>67108864</value> 
 </property> 
 <property> 
 <name>hadoop.tmp.dir</name> 
 <value>/opt/hadoop/tmp</value> 
 </property> 
 </configuration>

9,修改Hadoop中HDFS的配置，修改replication

vi conf/hdfs-site.xml 
<configuration> 
 <property> 
 <name>dfs.name.dir</name> 
 <value>/usr/local/hadoop/name</value> 
 </property> 
 <property> 
 <name>dfs.data.dir</name> 
 <value>/usr/local/hadoop/data</value> 
 </property> 
<property> 
<name>dfs.replication</name> 
<value>1</value> 
</property> 
</configuration>

10,修改Hadoop中MapReduce的配置文件，配置的是JobTracker的地址和端口

vi conf/mapred-site.xml 
<configuration> 
<property> 
<name>mapred.job.tracker</name> 
<value>liuying005:9001</value> 
</property> 
</configuration>

11.修改主机名
操作：(1)hostname hadoop0
(2)gedit /etc/hosts 修改主机名
修改ip与主机名的映射
操作：gedit /etc/hosts 增加一行记录192.168.1.101 hadoop0

12,格式化Hadoop的文件系统HDFS bin/hadoop namenode -format

13,启动hadoop bin/start-all.sh

最后，验证Hadoop是否安装成功。

打开浏览器，分别输入一下网址：http://localhost:50030
(MapReduce的Web页面)http://localhost:50070 (HDfS的web页面)如果都能查看，说明安装成功。

14
1 关闭safemode模式，输入如下命令：

bin/Hadoop dfsadmin -safemode leave

2 检查存储空间是否足够，输入如下命令：

df -hl

3 重新格式化hdfs，按照如下步骤

a) 删除master和所有slave上的 hadoop目录下的logs文件，并重新建立
hadoop根目录下隐藏目录logs
rm -rf logs

b) 删除master和所有slave上的hdfs存储目录，即conf/core-site.xml配置文件中hadoop.tmp.dir属性对应的value所指向的目录，并重新建立