黑马程序员Hadoop集群配置 黑马程序员linux课件

目录

• Linux 简介

• 不同应用领域主流操作系统
• Linux 系统历史
• Linux 系统版本

• Linux 安装

• 安装方式
• 网卡设置
• 安装 SSH 连接工具
• 使用 FinalShell 连接到 Linux
• Linux 和 Windows 目录结构对比
• Linux 目录介绍

• Linux 常用命令

• Linux 命令初体验
• Linux 命令使用技巧
• Linux 命令格式
• 文件目录操作命令 ls
• 文件目录操作命令 cd
• 文件目录操作命令 cat
• 文件目录操作命令 more
• 文件目录操作命令 tail
• 文件目录操作命令 mkdir
• 文件目录操作命令 rmdir
• 文件目录操作命令 rm
• 拷贝移动命令 cp
• 拷贝移动命令 mv
• 打包压缩命令 tar
• 文本编辑命令 vi
• 文本编辑命令 vim

• 命令模式
• 插入模式
• 底行模式

• 查找命令 find
• 查找命令 grep

• 软件安装

• 软件安装方式
• 安装 jdk
• 安装 Tomcat
• 安装 MySQL
• 安装 lrzsz

• 项目部署

• 手工部署项目
• 通过 Shell 脚本自动部署项目

Linux 简介

不同应用领域主流操作系统

① 桌面操作系统
Windows、Mac OS、Linux
② 服务器操作系统
UNIX、Linux、Windows Server
③ 移动设备操作系统
Android、iOS
④ 嵌入式操作系统
Linux

Linux 系统历史

➊ 时间：1991 年
➋ 地点：芬兰赫尔辛基大学
➌ 作者：Linus Torvalds（21 岁）
➍ 语言：C语言、汇编语言
➎ logo：企鹅
➏ 特点：免费、开源、多用户、多任务

Linux 系统版本

Linux 系统分为内核版和发行版

① 内核版

由 Linus Torvalds 及其团队开发维护

免费开源

负责控制硬件

② 发行版

基于 Linux 内核版进行扩展

由各个 Linux 厂商开发维护

有收费版和免费版

Linux 安装

安装方式

Linux 系统的安装方式：

① 物理机安装：直接将操作系统安装到服务器硬件上；

② 虚拟机安装：通过虚拟机软件安装；

虚拟机（Virtual Machine）指通过软件模拟的具有完整硬件系统功能、运行在完全隔离环境中的完整计算机系统。

虚拟机安装：

网卡设置

由于启动服务器时未加载网卡，导致 IP 地址初始化失败。

修改网络初始化配置，设定网卡在系统启动时初始化：

重启客户机。

安装 SSH 连接工具

SSH (Secure Shell), 建立在应用层基础上的安全协议。

常见的 SSH 连接工具:

① putty;

② secureCRT;

③ xshell;

④ finalshell;

通过 SSH 连接工具就可以实现从本地连接到远程的 Linux 服务器。

使用 FinalShell 连接到 Linux

Linux 和 Windows 目录结构对比

Linux 系统中的目录：

① / 是所有目录的顶点;

② 目录结构像一棵倒挂的树；

Linux 目录介绍

❶ bin 存放二进制可执行文件;

❷ boot 存放系统引导时存放的各种文件；

➌ dev 存放设备文件；

➍ etc 存放系统配置文件；

➎ home 存放系统用户的文件；

➏ lib 存放程序运行所需要的共享库和内核模块；

➐ opt 额外安装的可选应用程序包所放置的位置；

➑ root 超级用户目录；

➒ sbin 存放二进制可执行文件，只有 root 用户才能访问；

➓ tmp 存放临时文件；

⓫ usr 存放系统应用程序；

⓬ var 存放运行时需要改变数据的文件，例如日志文件；

Linux 常用命令

Linux 命令初体验

Linux 命令使用技巧

❶ Tab 键自动补全
❷ 连续两次 Tab 键，给出操作提示
➌ 使用上下箭头快速调出曾经使用过的命令
➍ 使用 clear 命令 或 快捷键 Ctrl + l 实现清屏

Linux 命令格式

command [-options] [parameter]
说明：
❶ command 命令名
❷ [-options] 选项，可用来对命令进行控制，也可以省略
➌ [parameter] 传给命令的参数，可以是 0 个，1 个或多个
注意：
[] 代表可选
命令名、选项、参数之间有空格进行分隔。

文件目录操作命令 ls

作用：显示指定目录下的内容

语法：ls [-al] [dir]

说明：

❶ -a 显示所有文件及目录（. 开头的隐藏文件也会列出）

❷ -l 除文件名称外，同时将文件型态（d 表示目录，- 表示文件）、权限、拥有者、文件大小等信息详细列出

注意：

由于我们使用 ls 命令时经常要加入 -l 选项，所以 Linux 为 ls -l 命令提供了一种简写方式，即 ll。

文件目录操作命令 cd

作用：用于切换当前工作目录，即进入指定目录
语法：cd [dirName]
特殊说明：
❶ ~ 表示用户的 home 目录
❷ . 表示目前所在的目录
❸ . . 表示目前目录位置的上级目录
举例：
❶ cd . .      切换到当前目录的上级目录
❷ cd ~      切换到用户的 home 目录
❸ cd /usr/local      切换到 /usr/local 目录

文件目录操作命令 cat

作用：用于显示文件内容

语法：cat [-n] fileName

说明：

-n : 由 1 开始对所有输出的行数编号

举例：

➤ cat /etc/profile      查看 etc 目录下的 profile 文件内容

文件目录操作命令 more

作用：以分页形式显示文件内容

语法：more fileName

操作说明：

❶ 回车键：向下滚动一行

❷ 空格键：向下滚动一屏

❸ b : 返回上一屏

❹ q 或 Ctrl + C：退出 more

举例：

more /etc/profile      以分页方式展示 /etc 目录下的 profile 文件内容

按空格键：

按 b:

文件目录操作命令 tail

作用：查看文件末尾的内容

语法：tail [-f] fileName

说明：

-f ：动态读取文件末尾内容并显示，通常用于日志文件的内容输出（按 Ctrl + C 结束）

举例：

❶ tail /etc/profile      显示 /etc 目录下的 profile 文件末尾 10 行的内容

❷ tail -2 /etc/profile      显示 /etc 目录下的 profile 文件末尾 2 行的内容

❸ tail -f my.log      动态读取 my.log 文件末尾内容并显示

文件目录操作命令 mkdir

作用：创建目录

语法：mkdir [-p] dirName

说明：

-p: 确保目录名称存在，不存在就创建一个，通过此选项，可以实现多层目录同时创建

举例：

❶ mkdir weixinyang      在当前目录下，建立一个名为 weixinyang 的子目录

❷ mkdir -p weixinyang/test      在工作目录下的 weixinyang 目录中建立一个名为 test 的子目录，若 weixinyang 目录不存在，则创建一个

文件目录操作命令 rmdir

作用：删除空目录

语法：rmdir [-p] dirName

说明：

-p： 当子目录被删除后使父目录为空目录的话，则一并删除；

举例：

❶ rmdir weixinyang      删除名为 weixinyang 的 空目录

❷ rmdir -p weixinyang/test      删除 weixinyang 中 名为 test 的子目录，若 test 目录删除后 weixinyang 变为空目录，则也被删除

❸ rmdir weixinyang*      删除名称以 weixinyang 开始的空目录

文件目录操作命令 rm

作用：删除文件或者目录

语法：rm [-rf] name

说明：

-r : 将目录及目录中的所有文件（目录）逐一删除，即递归删除；

-f ：无需确认，直接删除；

举例：

❶ rm -r weixinyang/      删除名为 weixinyang 的目录和目录中的所有文件，删除前需确认

❷ rm -rf weixinyang/      无需确认，直接删除名为 weixinyang 的目录和目录中的所有文件

❸ rm -f hello.txt      无需确认，直接删除 hello.txt 文件

拷贝移动命令 cp

作用：用于复制文件或目录；

语法：cp [-r] source dest

说明：

-r : 如果复制的是目录需要使用此选项，此时将复制该目录下的所有的子目录和文件；

举例：

❶ cp hello.txt weixinyang/      将 hello.txt 复制到 weixinyang 目录中

❷ cp hello.txt ./hi.txt      将 hello.txt 复制到当前目录，并改名为 hi.txt

❸ cp -r weixinyang/ ./weixin/      将 weixinyang 目录及目录下的所有文件复制到 weixin 目录下

❹ cp -r weixinyang/* ./weixin/      将 weixinyang 目录下的所有文件复制到 weixin 目录下

拷贝移动命令 mv

作用：为文件或目录改名、或将文件或目录移动到其他位置

语法：mv source dest

举例：

❶ mv hello.txt hi.txt       将 hello.txt 改名为 hi.txt

❷ mv hi.txt weixinyang/       将文件 hi.txt 移动到 weixinyang 目录中

❸ mv hi.txt weixinyang/hello.txt       将 hi.txt 移动到 weixinyang 目录中，并改名为 hello.txt

❹ mv weixinyang/ weixin/       如果 weixin 目录不存在，将 weixinyang 目录改名为 weixin

❺ mv weixinyang/ weixin/       如果 weixin 目录存在，将 weixinyang 目录移动到 weixin 目录中

打包压缩命令 tar

作用：对文件进行打包、解包、压缩、解压

语法：tar [-zcxvf] fileName [files]

包文件后缀为 .tar 表示只是完成了打包，并没有压缩

包文件后缀为 .tar.gz 表示打包的同时还进行了压缩

说明：

-z : z 代表的是 gzip, 通过 gzip 命令处理文件，gzip 可以对文件压缩或者解压

-c : c 代表的是 create, 即创建新的包文件

-x : x 代表的是 extract, 实现从包文件中还原文件

-v : v 代表的是 verbose, 显示命令的执行过程

-f : f 代表的是 file, 用于指定包文件的名称

举例：

❶ 打包：

❷ 打包并压缩：

❸ 解包：

❹ 解压并解包:

❺ 解包到指定位置：

文本编辑命令 vi

作用：vi 命令是 Linux 系统提供的一个文本编辑工具，可以对文件内容进行编辑，类似于 Windows 中的记事本

语法：vi fileName

说明：

❶ vim 是 vi 发展来的一个功能更加强大的文本编辑工具，在编辑文件时可以对文本内容进行着色，方便我们对文件进行编辑处理，所以实际工作时 vim 更加常用

❷ 要使用 vim 命令，需要我们自己完成安装。可以使用下面的命令完成安装：

yum install vim

文本编辑命令 vim

作用: 对文件内容进行编辑，vim 其实就是一个文本编辑器
语法：vim fileName
说明：
❶ 在 使用 vim 命令编辑文件时，如果指定的文件存在则直接打开此文件；如果指定的文件不存在则新建文件
❷ vim 在进行文本编辑时共分为 3 种模式，分别是命令模式 (Command mode), 插入模式 (Insert mode) 和 底行模式（Last line mode) , 这三种模式之间可以相互切换，在使用 vim 时一定要注意当前所处的是哪种模式

命令模式

❶ 命令模式下可以查看文件内容、移动光标（上下左右箭头、gg、G)

按 gg, 光标移动到文件开头：

按 G，光标移动到文件末尾：

❷ 通过 vim 命令打开文件后，默认进入命令模式

❸ 另外两种模式需要首先进入命令模式，才能进入彼此

插入模式

❶ 插入模式下可以对文件内容进行编辑

❷ 在命令模式下按下 [i, a, o] 任意一个，可以进入插入模式，进入插入模式后，下方会出现 [insert] 字样

❸ 在插入模式下按下 esc 键，回到命令模式

底行模式

❶ 底行模式下可以通过命令对文件内容进行查找、显示行号、退出等操作

❷ 在命令模式下按下 [:, /] 任意一个，可以进入底行模式

❸ 通过 / 方式进入底行模式后，可以对文件内容进行查找

❹ 通过 : 方式进入底行模式后，可以输入 wq（保存并退出）、q!（不保存退出）、set nu（显示行号）

查找：

设置行号：

查找命令 find

作用：在指定目录下查找文件

语法：find dirName -option fileName

举例：

❶ find . -name “*.java”       在当前目录及其子目录下查找 .java 结尾文件

❷ find /weixinyang -name “*.java”       在 weixinyang 目录及其子目录下查找 .java 结尾文件

查找命令 grep

作用：从指定文件中查找指定的文本内容

语法：grep word fileName

举例：

❶ grep hello HelloWorld.java      查找 HelloWorld.java 文件中出现的 hello 字符串的位置

❷ grep network *.cfg       查找当前目录中所有 .cfg 结尾的文件中包含 network 字符串的位置

软件安装

软件安装方式

❶ 二进制发布包安装
软件已经针对具体平台编译打包发布，只要解压，修改配置即可
❷ rpm 安装
软件已经按照 redhat 的包管理规范进行打包，使用 rpm 命令进行安装，不能自行解决库依赖问题
❸ yum 安装
一种在线软件安装方式，本质上还是 rpm 安装，自动下载安装包并安装，安装过程中自动解决库依赖问题
❹ 源码编译安装
软件以源码工程的形式发布，需要自己编译打包

安装 jdk

操作步骤:

❶ 使用 FinalShell 自带的安装工具将 jdk 的二进制发布包上传到 Linux

❷ 解压安装包，命令为 tar -zxvf jdk-8u171-linux-x64.tar.gz -C /usr/local/

❸ 配置环境变量，使用 vim 命令修改 /etc/profile 文件，在文件末尾加入如下配置：

JAVA_HOME=/usr/local/jdk1.8.0_171
PATH=$JAVA_HOME/bin:$PATH

❹ 重新加载 profile 文件，使更改的配置立即生效，命令为 source /etc/profile

❺ 检查安装是否成功，命令为 java -version

安装 Tomcat

操作步骤：

❶ 使用 FinalShell 自带的上传工具将 Tomcat 的二进制发布包上传到 Linux

❷ 解压安装包，命令为 tar -zxvf apache-tomcat-7.0.57.tar.gz -C /usr/local/

❸ 进入 Tomcat 的 bin 目录启动服务，命令为 sh startup.sh 或者 ./startup.sh

验证 Tomcat 启动是否成功，有多种方式：

❶ 查看启动日志

more /usr/local/apache-tomcat-7.0.57/logs/catalina.out
tail -50 /usr/local/apache-tomcat-7.0.57/logs/catalina.out

正常启动：

❷ 查看进程 ps -ef|grep tomcat

注意：

❶ ps 命令是 Linux 下非常强大的进程查看命令，通过 ps -ef 可以查看当前运行的所有进程的详细信息

❷ “|” 在 Linux 中称为管道符，可以将前一个命令的结果输出给后一个命令作为输入

❸ 使用 ps 命令查看进程时，经常配合管道符和查找命令 grep 一起使用，来查看特定进程

防火墙操作

❶ 查看防火墙状态(systemctl status firewallId、firewall-cmd --state)

❷ 暂时关闭防火墙 (systemctl stop firewallId)

❸ 永久关闭防火墙 (systemctl disable firewalld)

❹ 开启防火墙（systemctl start firewalld)

❺ 开放指定端口（firewall-cmd --znotallow=public --add-port=8080/tcp --permanent)

❻ 关闭指定端口（firewall-cmd --znotallow=public --remove-port=8080/tcp --permanent)

❼ 立即生效 (firewall-cmd --reload)

❽ 查看开放的端口（firewall-cmd --znotallow=public --list-ports）

停止 Tomcat 服务器的方式：

❶ 运行 Tomcat 的 bing 目录中提供的停止服务的脚本文件 shutdown.sh

sh shutdown.sh

./shutdown.sh

❷ 结束 Tomcat 进程

查看 Tomcat 进程，获得进程 id:

ps -ef | grep tomcat

执行命令结束进程：kill -9 33178

注意：

kill 命令是 Linux 提供的用于结束进程的命令，-9 表示强制结束。

安装 MySQL

❶ 检测当前系统中是否安装 MySQL 数据库

rpm -qa                                 查询当前系统中安装的所有软件

rpm -qa | grep mysql       查询当前系统中安装的名称带 mysql 的软件

rpm -qa | grep mariadb     查询当前系统中安装的名称带 mariadb 的软件

RPM (Ret-Hat Package Manager) RPM 软件包管理器，是红帽 Linux 用于管理和安装软件的工具。

注意：

如果当前系统中已经安装有 MySQL 数据库，安装将失败。

CentOS7 自带 mariadb，与 MySQL 数据库冲突。

❷ 卸载已经安装的冲突软件：

rpm -e --nodeps 软件名称           卸装软件

❸ 将资料中提供的 MySQL 安装包上传到 Linux 并解压：

mkdir /usr/local/mysql
tar -zxvf mysql-5.7.25-1.el7.x86_64.rpm-bundle.tar.gz -C /usr/local/mysql/

解压后得到 6 个 rpm 的安装包文件。

❹ 按照顺序安装 rpm 软件包

rpm -ivh mysql-community-common-5.7.25-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-5.7.25-1.el7.x86_64.rpm
rpm -ivh mysql-community-devel-5.7.25-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-compat-5.7.25-1.el7.x86_64.rpm
rpm -ivh mysql-community-client-5.7.25-1.el7.x86_64.rpm
yum install net-tools
rpm -ivh mysql-community-server-5.7.25-1.el7.x86_64.rpm

说明1：安装过程中提示缺少 net-tools 依赖，使用 yum 安装

说明2：可以通过指令升级现有软件及系统内核

yum update

❺ 启动 MySQL

systemctl status mysqld       查看 mysql 服务状态

systemctl start mysqld           启动 mysql 服务

说明：可以设置开机时启动 mysql 服务，避免每次开机启动 mysql

systemctl enable mysqld       开机启动 mysql 服务

netstat -tunlp                   查看已经启动的服务

netstat -tunlp | grep mysql

ps -ef | grep mysql             查看 mysql 进程

❻ 登录 MySQL 数据库，查阅临时密码：

cat /var/log/mysqld.log

cat /var/log/mysqld.log | grep password

❼ 登录 MySQL ，修改密码，开放访问权限：

mysql -uroot -p             登录 mysql ，使用临时密码登录

set global validate_password_length=4;         设置密码长度最低位数

set global validate_password_policy=LOW;          设置密码安全等级低，便于密码可以修改为 root

set password = password(“root”);          设置密码为 root

grant all on . to ‘root’@‘%’ identified by ‘root’;         开放访问权限

flush privileges;

navicat 测试连接：

❽ 测试 mysql 数据库是否正常登录：

show databases;

安装 lrzsz

操作步骤：

❶ 搜索 lrzsz 安装包，命令为        yum list lrzsz

❷ 使用 yum 命令在线安装，命令为        yum install lrzsz.x86_64

注意事项：

Yum (全称为 Yellow dog Updater, Modified) 是一个在 Fedora 和 Redhat 以及 CentOS 中的 shell 前端软件包管理器，基于 RPM 包管理，能够从指定的服务器自动下载 RPM 包并且安装，可以自动处理依赖关系，并且一次安装所有依赖的软件包，无需繁琐地一次次下载、安装。

❸ 测试：

项目部署

手工部署项目

① 在 IDEA 中开发 SpringBoot 项目并打成 jar 包

② 将 jar 包上传到 Linux 服务器

③ 启动 SpringBoot 程序

java -jar HelloSpringboot-1.0-SNAPSHOT.jar

④ 检查防火墙，确保 8080 端口对外开放，访问 SpringBoot 项目

⑤ 改为后台运行 SpringBoot 程序，并将日志输出到日志文件

➀ 线上程序不会采用控制台霸屏的形式运行程序，而是将程序在后台运行；

➁ 线上程序不会将日志输出到控制台，而是输出到日志文件，方便运维查阅信息；

nohup 命令：英文全称 no hand up（不挂起），用于不挂断地运行指定命令，退出终端不会影响程序的运行

语法格式：nohup Command [Arg…] [&]

参数说明：

Command : 要执行的命令

Arg : 一些参数，可以指定输出文件

& ：让命令在后台运行

举例：

nohup java -jar HelloSpringboot-1.0-SNAPSHOT.jar &> hello.log &

后台运行 java -jar 命令，并将日志输出到 hello.log 文件

把终端窗口关闭掉，程序依然在后台运行：

⑥ 停止 SpringBoot 程序

通过 Shell 脚本自动部署项目

操作步骤：

① 在 Linux 中安装 Git

yum list git           列出 Git 安装包

yum install git          在线安装 Git

② 使用 Git 克隆代码

cd /usr/local
git clone https://gitee.com/weixinyang1980/hello-spring-boot.git

③ 在 Linux 中安装 maven

tar -zxvf apache-maven-3.5.4-bin.tar.gz -C /usr/local
vim /etc/profile                    修改配置文件，加入如下代码

export MAVEN_HOME=/usr/local/apache-maven-3.5.4
export PATH=$JAVA_HOME/bin:$MAVEN_HOME/bin:$PATH

source /etc/profile
mvn -version

vim /usr/local/apache-maven-3.5.4/conf/settings.xml       修改配置文件内容如下

<localRepository>/usr/local/repo</localRepository>

④ 编写 Shell 脚本（拉取代码、编译、打包、启动）
将资料中提供的 Shell 脚本文件复制到 Linux

#!/bin/sh
echo =================================
echo 自动化部署脚本启动
echo =================================

echo 停止原来运行中的工程
APP_NAME=HelloSpringboot

tpid=`ps -ef|grep $APP_NAME|grep -v grep|grep -v kill|awk '{print $2}'`
if [ ${tpid} ]; then
    echo 'Stop Process...'
    kill -15 $tpid
fi
sleep 2
tpid=`ps -ef|grep $APP_NAME|grep -v grep|grep -v kill|awk '{print $2}'`
if [ ${tpid} ]; then
    echo 'Kill Process!'
    kill -9 $tpid
else
    echo 'Stop Success!'
fi

echo 准备从 Git 仓库拉取最新代码
cd /usr/local/hello-spring-boot
echo 开始从 Git 仓库拉取最新代码
git pull
echo 代码拉取完成

echo 开始打包
output=`mvn clean package -Dmaven.test.skip=true`

cd target

echo 启动项目
nohup java -jar Hellospringboot-1.0-SNAPSHOT.jar &> hellospringboot.log &
echo 项目启动完成

⑤ 为用户授予执行 Shell 脚本的权限

chmod (英文全称：change mode) 命令是控制用户对文件的权限的命令

Linux 中的权限分为: 读 (r) 、写 (w)、执行 (x) 三种权限

Linux 中的文件调用权限分为三级：文件所有者 (owner)、用户组 (Group)、其他用户 (Other Users)

只有文件的所有者和超级用户可以修改文件或目录的权限

要执行 Shell 脚本需要有对此文件的执行权限，如果没有则不能执行

chmod 可以使用三位八进制数来指定权限：

举例：

chmod 777 bootStart.sh      为所有用户授予读、写、执行权限

chmod 755 bootStart.sh      为文件拥有者授予读、写、执行权限，同组用户和其他用户授予读、执行权限

chmod 210 bootStart.sh      为文件拥有者授予写权限，同组用户授予执行权限，其他用户没有任何权限

注意：三位数字分别代表不同用户的权限

第 1 位表示文件拥有者的权限

第 2 位表示同组用户的权限

第 3 位表示其他用户的权限

⑥ 执行 Shell 脚本

⑦ 设置静态 ip

修改文件 /etc/sysconfig/network-scripts/ifcfg-ens33, 内容如下：

BOOTPROTO=“static”                     # 使用静态 IP 地址, 默认为 DHCP
IPADDR=“192.168.126.100”            # 设置静态 IP 地址
NETMASK=“255.255.255.0”            # 子网掩码
GATEWAY=“192.168.126.2”            # 网关地址
DNS1=“192.168.126.2”                    # DNS 服务器

⑧ 重启网络服务

systemctl restart network

注意：重启完网络服务后 ip 地址已经发生了改变，此时 FinalShell 已经连接不上 Linux 系统，需要创建一个新连接才能连接到 Linux。