linux的网络配置以及环境配置---(Day01)
1.centos7 的网络配置(我们设置的虚拟网卡可以比作是windows和linux之间的一个交换机的网络设置)
1.1 打开vmware虚拟机,在虚拟机中点击编辑下的虚拟网卡设置,如图
1.2 点击之后设置子网(子网指的就是网段),子网掩码,然后点击NAT设置
1.3 设置NAT ,这里设置的NAT指的就是设置虚拟机中交换机的ip地址 (这里我们的虚拟机这一部分就设置好了)
2.windows中的网络配置
2.1 先打开网络和internet设置,点击vmnet8网卡,右击选择属性,如图所示
2.2进入之后选择tcp/ipv4,如图
2.3 进入之后设置如图所示
3.linux中需要配置的东西
3.1 输入命令:vi /etc/sysconfig/network-scripts/ifcfg-ens33 进去网络配置文本编辑,为了方便之后虚拟机之间的克隆,我们在配置网络时要把唯一标识UID删除
3.2 在将网卡配置好之后,我们将重启我们的网络服务,输入命令:systemctl restart network,然后查看我们的网络ip地址:输入命令:ip addr
3.3 最后,我们需要ping 192.168.133.2 检查是否和我们的windows之间的联通的 ,然后在ping www.baidu.com 看我们的网络是否能链接外网
在linux中安装jdk以及配置JAVA_HOME--(Day02)
1.上传jdk1.8.0_261 jar包,我们使用rz命令进行上传,如果没有这个命令我们就使用命令安装一个:yum -y install lrzsz.x86_64
安装完成之后,在命令行输入:rz上传如图所示
2. 将我们的jar包解压到指定的文件夹下,我们一般将第三方软件安装到 /opt/apps/文件夹下,使用命令进行解压到指定的文件夹
:tar -zxvf jdk-8u261-linux-x64.tar.gz -C /opt/apps/
3.解压之后开始配置环境变量
3.1 输入命令:vi /etc/profile/ 这个命令是用来配置永久性的环境变量,是全局变量相当于 配置windows中的path
3.2 进入文件之后,命令行模式下输入G,跳转到文档的最后一行,在最后一行插入:
exprot JAVA_HOME=/opt/apps/jdk1.8.0_261 后面指的是jdk的路径
export PATH=$PATH:$JAVA_HOME/bin 将path路径指向到bin目录下,见下图
4.将我们配置好的文件设置为永久性的全局环境变量,输入命令:source /etc/profile
5.输入java -version 检查我们配置的环境变量是否生效
如何更改linux中的主机名,windows和linux中的域名映射
1.修改linux中的主机名,输入命令:vi /etc/hostname
2.修改linux中的域名映射,输入命令: vi /etc/hosts,如图所示
3.设置windows中的域名映射
在windows中找到hosts文件,路径为:C:\Windows\System32\drivers\etc
在linux中安装MYSQL,mysql安装包是以rpm结尾的文件,这种文件是二进制安装包,缺点就是需要手动解决依赖问题,比较麻烦,我们一般使用yum安装,这个命令可以自动解决依赖关系,安装方法以及步骤,请参考我的收藏中的博客
修改主机名和域名映射
vi /etc/hosts 修改域名映射
vi /etc/hostname 修改主机名 重启机器生效
查看网络端口
1) yum -y install net-tools
2) netstat -nltp | grep 8080 查看端口是否被展示
安装上传软件
1) yum list | grep rz 搜索软件名
2) yum -y install lrzsz.x86_64 安装
3) rz 在指定的目录中执行 将文件上传到指定的目录中
hadoop-day01
hadoop的安装
1.统一将hadoop文件统一安装到/opt/apps
1.1上传hadoop的安装包
在CRT中使用alt+p上传hadoop压缩包hadoop-3.1.1.tar.gz
1.2上传之后进行解压到当前目录
使用命令tar -zxvf hadoop-3.1.1.tar.gz
2 hadoop环境配置
2.1 进入到此目录下 /opt/apps/hadoop-3.1.1/etc/hadoop
vi hadoop-env.sh 编辑次文件,在此文件中配置java_home
export JAVA_HOME=/opt/apps/jdk1.8.0_141
2.2 vi hdfs-site.xml 编辑此文件,
<configuration>
<!-- 集群的namenode的位置 datanode能通过这个地址注册-->
<property>
<name>dfs.namenode.rpc-address</name>
<value>linux01:8020</value>
</property>
<!-- namenode存储元数据的位置 -->
<property>
<name>dfs.namenode.name.dir</name>
<value>/opt/hdpdata/name</value>
</property>
<!-- datanode存储数据的位置 -->
<property>
<name>dfs.datanode.data.dir</name>
<value>/opt/hdpdata/data</value>
</property>
<!-- secondary namenode机器的位置-->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>linux02:50090</value>
</property>
</configuration>
2.3 第一台机器配置好以后,然后将hadoop文件发送集群中的其他两台机器
scp -r hadoop-3.1.1 linux02:$PWD
scp -r hadoop-3.1.1 linux03:$PWD
2.4 给集群中的其他两台机器发送完hadoop文件之后,对我们的第一台机器,namenode进行初始化(注:初始化我们只对第一台机器进行初始化)
2.4.1:在/opt/apps/hadoop-3.1.1/bin目录下执行hadoop namenode -format 对我们的hadoop进行初始化,此时会生成一个文件夹,hdpdata文件中有data和name两个文件
3 配置HADOOP系统环境变量
vi /etc/profile 编辑环境变量文件
export JAVA_HOME=/opt/apps/jdk1.8.0_141
export TOMCAT_HOME=/opt/apps/apache-tomcat-7.0.47
export HADOOP_HOME=/opt/apps/hadoop-3.1.1
export PATH=$PATH:$JAVA_HOME/bin:$TOMCAT_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
4 配置完环境变量之后进行source /etc/profile 将环境变量文件提升为全局环境变量
5 配置一键启动所有的namenode和datanode
1 ) 在配置文件的目录中修改workers配置文件 (启动的时候会读取这个文件 ,在配置的主机上分别启动datanode)
vi workers 编辑次文件,将机器中的其他机器的域名写入文件(注意:此时我们的主机名和域名映射一定要修改正确)如图:
2)在一键启动的脚本中插入以下命令
vi sbin/start-dfs.sh | vi stop-dfs.sh
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
3 一键启动|停止
start-dfs.sh
读取workers 获取启动DN的主机
读取hdfs-site.xml文件 在哪个机器上启动namenode和secondarynamenode
HDFS分布式文件系统客户端操作
当我们在/opt/apps/hadoop-3.1.1/bin下执行hdfs dfs -ls / 这条命令时,默认查看的是我们本机linux中/目录下的所有内容,此时我们想查询hdfs中/目录的内容时,我们需要执行 hdfs dfs -ls hdfs://linux01:8020/ 这条命令需要加上linux01的端口号,比较繁琐,此时我们需要修改配置文件,将默认执行本机/目录,改为默认执行hdfs中的/目录如图:
修改 etc/hadoop/core-site.xml 让默认操作的文件系统是HDFS分布式文件系统
vi etc/hadoop/core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://linux01:8020</value>
</property>
改完配置以后再执行:hdfs dfs -ls / 这条命令时,就默认查看的是hdfs中的/目下的所有目录
hdfs分布式文件系统常用的命令
- hdfs dfs -ls / 列出目录下的所有内容
- hdfs dfs -mkdir -p /aa/bb/cc 递归创建文件夹
- hdfs dfs -rmdir 删除文件夹
- hdfs dfs -put 本地文件 /aa/ 上传文件
- hdfs dfs -get /aa/a.txt /doit18/ 从hdfs文件系统下载文件
- hdfs dfs -rm -r /aa/* 递归删除文件夹下的所有内容
- hdfs dfs -chmod -R 777 /aa/ 给文件赋权限
- hdfs dfs -df -h 查看系统容量(分布式系统的存储总空间)
- hdfs dfs -du -h +目录 查看文件和文件夹的大小