首先安装jdk

使用apt-get命令安装jdk,因为缺少依赖所以先下载依赖包,

执行命令:sudo apt-get -f install

安装提示执行所需的操作,

接着执行命令:

sudo apt-get update
sudo apt-get install default-jre
sudo apt-get install default-jdk

再执行

java -version

可查询jdk版本,最新的是jdk8,因此下载的也是jdk8

-----------------------------------------

执行途中遇到问题:

1,没有secureCRT没有rz上传命令,

执行命令:apt-get install lrzsz

2,crt远程链接一段时间超时

2.1、在客户端配置

#vi /etc/ssh/ssh_config(注意不是/etc/ssh/sshd_config文件),后面添加

?

1

2

Host *

ServerAliveInterval 30

这表示要让所有的ssh连接自动加上此属性;如果要指定服务端,如下:

使用-o的参数ServerAliveInterval来设置一个防止超时的时间

?

1

ssh-o ServerAliveInterval=30 IP地址

2.2在服务端配置

编辑服务器 /etc/ssh/sshd_config,最后增加

?

1

2

ClientAliveInterval 60

ClientAliveCountMax 1

这 样,SSH Server 每 60 秒就会自动发送一个信号给 Client,而等待 Client 回应

2.3在securtCRT上设置:options–>Global Options–>general–>default Session–>Edit Default Settings–>

如上图设置,每秒钟发送一次请求表示链接没有断掉。

---------------------------------------------------------------

接着配置jdk环境变量

进入到home目录下

执行命令 :

vim /etc/profile

在文件最后,输入一下内容:

export JAVA_HOME=“(你的jdk安装目录,一般为/usr/bin/jvm/java-6-sun)”

export CLASSPATH=“.:hdfs jps进程缺失 hadoop启动jps缺少secondary_tcp/ipCLASSPATH”

export PATH =“hdfs jps进程缺失 hadoop启动jps缺少secondary_hdfs jps进程缺失_02PATH”

-------------------------配置ssh免密码登录-------------

(1)确认能够联网,执行命令

sudo apt-get install ssh

接着,步骤如下:
1、cd ~,进入到我的home目录
2、cd .ssh/
3、ssh-keygen -t rsa (四个回车)
执行完这个命令后,会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)
4、cp id_rsa.pub authorized_keys

这样就行了,但是测试ssh locahost的时候提示permission denied(publickey.gssapi-with-mic)

需要做下面修改:

vim /etc/ssh/sshd_config

·1

对比下面的内容,如果和你的不符合,就改成下面的,如果你那里的那一行前面有#号,就把#号去掉(可能顺序会和下面的不一样)

PermitRootLogin yes

PasswordAuthentication yes

HostKey /etc/ssh/ssh_host_rsa_key

RSAAuthentication yes

PubkeyAuthentication yes

AuthorizedKeysFile .ssh/authorized_keys

重启ssh服务:sudo /etc/init.d/ssh restart

检验ssh是否安装成功:ssh -version

显示:Bad escape character ‘rsion’.表示安装成功

输入:ssh localhost

如下,说明安装成功:

-----------------------------------------下载,安装hadoop-----------------------------

首先下载hadoop:http://hadoop.apache.org/releases.html#Download

找到如下位置:

点开箭头位置下载tar包,小编这里下载的是hadoop-3.0.0的

rz命令上传到用户目录下,尽量不要使用root用户,小编如下:

这里做一个伪分布式的:

需要修改hadoop的几个配置文件,进入到/home/xiaoye/hadoop-3.0.0/etc/hadoop目录

可以看到许多的配置文件。

1,修改hadoop-env.sh

设置jdk的安装目录,(export JAVA_HOME=“/usr/lib/jvm/java-1.8.0-openjdk-amd64”)

2,修改core-site.xml

hadoop.tmp.dir

/home/xiaoye/hadoop-3.0.0/tmp

fs.default.name

hdfs://localhost:9000

加入红框里的内容即可,value的值要确定有相应的目录哦,可自己mkdir

3,修改hdfs-site.xml

dfs.datanode.data.dir

/home/xiaoye/hadoop-3.0.0/hadoop/data

dfs.namenode.name.dir

/home/xiaoye/hadoop-3.0.0/hadoop/name

dfs.http.address

0.0.0.0:8100

dfs.replication

1

同上,value值要新建相应的目录。

4,修改mapred-site.xml

mapred.job.tracker

localhost:9001

----------------------------------------------启动hadoop------------------------------

先格式化hdfs文件系统:进入到hadoop-3.0.0目录下,命令:

./bin/hadoop namenode -format

接着启动hadoop,进入到sbin目录下,命令:

./start-all.sh

启动完成后,输入命令:jps 查看节点启动情况

加上jps总共有6个节点进程说明启动成功,

在windows浏览器上输入你虚拟机的ip地址:8100就能够访问hdfs的页面了。

----------------------------------------遇到问题-----------------------

1,jps命令不能使用,即不存在的情况,并报如下错

The program ‘jps’ can be found in the following packages:

* openjdk-6-jdk

* openjdk-7-jdk

Ask your administrator to install one of them

输入以下命令结解决:sudo apt-get install openjdk-7-jdk

如果报openjdk-8-jdk

openjdk-9-jdk

则输入一下解决:sudo apt-get install openjdk-8-jdk

具体看你安装的jdk版本

2,缺少依赖包,以及无法通过apt-get命令下载jdk

尤其实在下载jdk的时候,许多网友给的答案是通过sudo apt-get install sun-java6-jdk 这个命令下载的,可是在我这里不能用,在根据报错信息修改的过程中,尝试过各种方法,比如更好下载路径为网易,阿里,163等,但是都不行,接着报错apt -get i386等信息错误,小编一开始以为是下载ubuntu版本是64位的,使用上述命令下载的是32位的jdk,导致不兼容,但是无法解决。最后百度到这个命令:apt-get -f install 就能够下载所有依赖了

接着执行:

接着执行命令:

sudo apt-get update
sudo apt-get install default-jre

sudo apt-get install default-jdk

能够下载最新的jdk版本。

此外,更好的选择有:



Installing Oracle JDK



sudo apt-get install python-software-properties
sudo add-apt-repository ppa:webupd8team/java
sudo apt-get update



Oracle JDK 6(旧版本)
sudo apt-get install oracle-java6-installer
Oracle JDK 7(较新的稳定版本)
sudo apt-get install oracle-java7-installer
Oracle JDK 8(最新预览版本)
sudo apt-get install oracle-java8-installer



Managing Java



sudo update-alternatives --config java
有 2 个候选项可用于替换 java (提供 /usr/bin/java)。



3,ip连接一段时间会自动断开。执行ifconfig命令是不显示ip

这个上面已说明,不再详述

4,设置静态ip后,无法上网,并有时在重启虚拟机后也不能上网

这个是小编的在设置静态ip是没有设置好的缘故,也记下来。

完整的设置静态ip的过程如下。

命令:vim /etc/network/interfaces

修改

# interfaces(5) file used by ifup(8) and ifdown(8)

auto lo

iface lo inet loopback

auto ens33

iface ens33 inet static

address 192.168.72.131

netmask 255.255.255.0

gateway 192.168.72.3

dns-nameservers 114.114.114.114

dns的114.114.114.114要跟小编的一样,这个应该公网的服务器。

当然dns也可以在/etc/resolv.conf文件中修改,但是每次重启修改的内容好像会消失。

对于ip地址的设置可参照如下讲解

----------------------------------------ip地址,网关,子网掩码,dns设置---------------------------------------------------------------

1.查看/设置下NAT的网络

打开VMware Workstation,

点击编辑——虚拟网络编辑器,查看NAT模式的网络。

如下图示,如果你对自动分配的子网IP不喜欢的可以点击还原默认设置,不过还是会自动分配的,不能自己设置的。

点击NAT设置,查看子网IP子网掩码以及查看和设置网关IP

点击DHCP设置,可以查看并设置自动分配的IP范围,后面用到手动分配的IP就是在这些IP中。

2.设置虚拟机的IP

点击VMware Workstation虚拟机——>设置,打开虚拟机设置

设置网络连接为NAT连接方式

开启虚拟机,进入图形界面,点击右上方的网络上下箭头符号,其中图示wired connection 1就是当前使用的网络。如果有其他的网络可以连接到其他的网络中

我们点击下面的Edit Connections进入IP设置。

选择要编辑的IP,点击Edit,进入网络设置界面

选择IPv4 Settings,进入网络设置界面,选择Method的方式:

automatic为自动分配,我们为了是我们的网络固定化,选择Manual;

点击下面的Add添加网络,包括设置Address(IP地址)NetMask和 Gateway

其中Address为虚拟网络编辑器NAT界面DHCP中的IP范围,Netmask为DHCP中的子网掩码,Gateway为NAT设置里面的网关。

设置完成后,保存退出,点击右上角的网络上下箭头,点击Disconnect,然后再选择我们设置的网络,这里选择的是wired connection 1。

相当于重新加载下网络配置文件访问网络。

现在我们查看下网络的IP;

ping下宿主机的IP,不是NAT的网络,(而是主机本身的IP),Ping一下百度

PING 宿主机的IP和百度的结果

联网效果:

-----------------------------------------------------------结束------------------------------------------------------------

5,ubuntu安装好后显示“device not managed”

1. 编辑/etc/NetworkManager/NetworkManager.conf:

sudo gedit /etc/NetworkManager/NetworkManager.conf
将其中的managed=false改为managed=true

2.重启network-manager service:

sudo service network-manager restart

6,不通版本的hadoop的conf的配置文件目录放置不一样,需要找找

7,启动hadoop后,可使用netstat -nltp命令查看访问端口和ip

8,无法启动namenode,./start-all.sh后发现只有namenode命令没有启动,其他四个都启动了,这是出现的情况有很多,建议看logs日志找到错误再百度。

9,ubuntu,防火墙启动关闭命令:

sudo ufw version防火墙版本:
ufw 0.29-4ubuntu1
Copyright 2008-2009 Canonical Ltd.

ubuntu 系统默认已安装ufw.

1.安装

sudo apt-get install ufw

2.启用

sudo ufw enable

sudo ufw default deny

运行以上两条命令后,开启了防火墙,并在系统启动时自动开启。关闭所有外部对本机的访问,但本机访问外部正常。

3.开启/禁用

sudo ufw allow|deny [service]

10.启动hadoop时,就是执行./start-all.sh命令是,出现localhost权限不够

这是ssh无密码登录设置失败的原因,可试试的解决方案是,重新设置用户密码,就是先删掉用户.ssh目录下的所有文件,再执行命令 passwd。再重新执行上面的ssh密码登录部分。