一.环境安装与配置

  1. 安装VM虚拟机
  2. 在VM虚拟机里安装Ubuntu server版本,本教程使用ubuntu 18.10 server
  3. 启用root用户
    装完Ubuntu后进入,用新用户登录,并执行命令sudo passwd root 设置root用户密码.
    执行logout注销当前用户,用root账户登录
  4. 关闭防火墙
    ufw diable
  5. 卸载iptables组件
    apt-get remove iptables
  6. 下载安装VIM
    apt-get install vim

二.SSH连接配置

Linux远程连接需求:
1.Linux有ssh服务
2.需要使用SSH客户端工具

  1. 安装SSH工具
    apt-get install openssh-server
  2. 启动SSH服务
    /etc/init.d/ssh /start 注意:查看进程是否启动指定服务ps -e | grep sshd
  3. 设置允许root登录
    vim /etc/ssh/sshd_config 找到PermitRootLogin 将其值设为yes
    PermitRootLogin yes 执行sudo service ssh restart重启服务
  4. 使用SSH连接工具连接
    ifconfig 查看当前IP
    使用SecureCRT或Putty连接

三.配置FTP服务(可选)

  1. 安装vsftpd服务组件
    apt-get install vsftpd
  2. 修改ftp用户的密码
    上述安装完成后,最自动为系统创建一个叫ftp的用户
    passwd ftp
  3. 设置ftp目录的权限
    vsftpd安装完成后,会自动创建一个/srv/ftp的目录
    cd /srv/ftpchmod 777 /srv/ftp
  4. 修改配置文件
    vim /etc/vsftpd.conf + 设置允许写的权限
    write_enable=YES
    + 设置不允许匿名登录
    anonymous_enable=NO
    + 允许本地用户登录
    local_enable=YES
    + 是否将所有用户的限制在主目录
    chroot_local_user=YES
    + 是否启动限制用户名单
    chroot_list_enable=YES
    + 定义名单设置的目录(方便管理大的账号列表)
    chroot_list_file=/etc/vsftpd.chroot_list
    + 增加服务配置
    pam_service_name=vsftpd
  5. 新建vsftpd.chroot_list文件
    vim /etc/vsftpd.chroot_list 在文件里写入访问的用户名ftp,保存退出
  6. 修改/etc/pam.d/vsftpd
    vim /etc/pam.d/vsftpd 注释掉最后一行
    # auth required pam_shells.so
  7. 启动vsftpd服务
    service vsftpd start 注意:重启 service vsftpd restart
  8. 客户端连接
    推荐FileZilla
    IP地址:ifconfig查看
    账号:ftp
    密码是之前设置的
    端口:21

四.JDK的安装与配置(Hadoop本质是Java程序)

  1. 下载JDK (下载for linux的.tar.gz)
    1)在官网下载,使用FTP上传
    2)使用wget下载
  2. 解压缩JDK
    tar xzvf jdk-name-***.tar.gz -C /usr/local 解压至-C后面的目录
  3. 文件夹改名(可选)
    进入解压后的目录
    cd /usr/local 将文件名改短
    mv jdk***/ jdk
  4. 配置环境文件
    vim /etc/profile 打开后进入最下面配置
    export JAVA_HOME=/usr/local/jdkexport PATH=$PATH:$JAVA_HOME/bin:export CLASS_PATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
  5. 使配置立即生效
    source /etc/profile
  6. 测试JDK
    执行java 或 javac 看是否出错

五.安装Hadoop

  1. 下载Hadoop并用FTP上传
    在www.apache.org找到Hadoop下载
  2. 解压Hadoop
    tar xzvf hadoop***.tar.gz -C /usr/local
  3. 重命名(可选)
    进入解压后的目录
    cd /usr/local 将文件名改短
    mv hadoop***/ hadoop
  4. 配置环境文件
    vim /etc/profile 打开后进入最下面配置
    export HADOOP_HOME=/usr/local/hadoopexport PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME:/sbin:
  5. 使配置立即生效
    source /etc/profile
  6. 在hadoop的资源文件定义要使用的jdk
    路径 /usr/local/hadoop/etc/hadoop/hadoop-env.sh
    修改下面的内容
    export JAVA_HOME=/usr/local/jdk
  7. 使用测试程序测序hadoop环境
    使用wordcount测试
    在Hadoop目录下创建一个文件夹
    mkdir input 编写一个文件
    echo hello,world nice to meet you > input/info.txt 执行wordcount统计单词数
    hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.5.jar wordcount input/info.txt ouput/ 注意:输出文件夹output必须不存在(rm output/ -r 可删除)

配置SSH免密登录

密钥对分为公钥和私钥,其中公钥放在服务器,私钥放在要通过SSH连接服务器的本机.
公钥相当于锁,私钥相当于钥匙.

  1. 生成密钥对
    ssh-keygen 选择生成的密钥对储存的位置,默认(/root/.ssh/id_rsa)即可
    选择是否对公钥对进行加密,若不加密,直接回车
  2. 安放公钥和私钥
    id_rsa -私钥
    id_rsa.pub -公钥
  3. 导入公钥
    将生成的公钥导入到ssh的配置文件
    cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
  4. 开启SSH登录
    打开ssh配置文件
    vim /etc/ssh/sshd_configPubkeyAuthentication
    默认注释,将no改为yes,取消注释即可开启ssh登录
  5. 关闭密码登录
    上述配置文件中
    PasswordAuthentication
    默认注释将yes改为no即可关闭密码登陆