分布式集群的通用问题
当前的HDFS和YARN都是一主多从的分布式架构,主从节点---管理者和工作者
问题:如果主节点或是管理者宕机了。会出现什么问题?
群龙无首,整个集群不可用。所以在一主多从的架构中都会有一个通用的问题:
当集群中的主节点宕机之后,整个集群不可用。这个现象叫做:单点故障。SPOF
单点故障讲述的概念有两点
1、如果说宕机的那个节点是从节点,那么整个集群能够继续运行,并且对外提供正常的服务。
2、如果说宕机的那个节点是主节点,那么整个集群就处于宕机状态。
通用的解决方案:高可用
概念:当正在对外提供服务器的主从节点宕机,那么备用的主节点立马上位对外提供服务。无缝的瞬时切换。
皇帝驾崩,太子继位。
集群的搭建的集中通用模式
1、单机模式
表示所有的分布式系统都是单机的。
2、伪分布式模式(搭建在了只有一个节点的集群中)
表示集群中的所有角色都分配给了一个节点。
表示整个集群被安装在了只有一个节点的集群中的。
主要用于做快速使用,去模拟分布式的效果。
3、分布式模式
表示集群中的节点会被分配成很多种角色,分散在整个集群中。
主要用于学习测试等等一些场景中。
4、高可用模式
表示整个集群中的主节点会有多个
注意区分:能够对外提供服务的主节点还是只有一个。其他的主节点全部处于一个热备的状态。
正在对外提供服务的主节点:active 有且仅有一个
热备的主节点:standby 可以有多个
工作模式:1、在任意时刻,只有一个主节点是active的,active的主节点对外提供服务
2、在任意时刻,都应至少有一个standby的主节点,等待active的宕机来进行接替
架构模式:就是为了解决分布式集群中的通用问题SPOF
不管是分布式架构还是高可用架构,都存在一个问题:主从结构---从节点数量太多了。最直观的的问题:造成主节点的工作压力过载,主节点会宕机,当前的这种现象是一种死循环
5、联邦模式
表示当前集群中的主从节点都可以有很多个。
1)主节点:可以有很多个的意思是说:同时对外提供服务的主节点有很多个。
重点:每一个主节点都是用来管理整个集群中的一部分
2)从节点:一定会有很多个。
在联邦模式下还是会有问题:
虽然这个集群中的一个主节点的压力被分摊到了多个主节点。但是这个多个主节点依然会有一个问题:SOFP
安装Hadoop集群中的一些通用问题
1、假如安装不成功,并且不知道应该怎么去解决这个安装错误:重装
需要做的处理:处理安装步骤中不同的部分即可。第一次安装和重装时候的不同步骤:
1)到修改配置文件以前,全部都不用动
2)检查配置文件是否都正确
先检查一个节点上的配置文件是否都正确,如果都正确,重新分发一次即可
3)在安装分布式集群时,所有节点中的安装的安装目录和安装者,需要检查和确定
4)删掉数据目录
A. 删除主节点的工作目录:namenode的数据目录
删除即可,只需要在主节点删除即可
B. 删除从节点的工作目录:datanode的数据目录
删除即可,把每个从节点上的这个对应数据目录都删掉
如果以上两份数据都被删除了之后。整个集群当中就相当于没有存储任何的历史数据。所以就是一个全新的集群
5)在确保数据正常和安装包都正常之后,进行重新初始化
重点强调: hadoop集群的初始化,其实就是初始化HDFS集群, 只能在主节点进行初始化
如果你只需要搭建YARN集群,那么是可以不用做初始化的。
6)启动集群
7)验证集群是否成功
Linux环境变量加载的顺序
用户环境变量 :仅仅只是当前用户使用 ~/.bashrc ~/.bash_profile
系统环境变量 :给当前系统中的所有用户使用 /etc/profile
任何普通用户在进行登录的时候:会同时加载几个环境变量的配置文件:
按顺序:
1、/etc/profile
2、~/.bash_profile
3、~/.bashrc