HDFS采用主从（Master/Slave）结构模型，一个HDFS集群是由一个NameNode和若干个DataNode组成的（在最新的Hadoop2.2版本已经实现多个NameNode的配置-这也是一些大公司通过修改hadoop源代码实现的功能，在最新的版本中就已经实现了）。NameNode作为主服务器，管理文件系统命名空间和客户端对文件的访问操作。DataNode管理
转载
2024-04-30 19:04:02
51阅读
问题场景Oozie 启动 SHELL 节点，其中上传 HDFS 时出现权限异常，异常信息如下：Permission denied: user=yarn, access=WRITE oozie shell action问题原因Hadoop分布式文件系统文件和目录的权限模型与POSIX系统权限模型相似。每一个文件和目录有一个所有者（owner）和一个组（group）；文件或目录对其所有者、同组的其余用
转载
2024-07-27 10:19:12
34阅读
NameNode SecondaryNameNode DataNode一、NameNode（简写为NN，名称节点）主要功能，存储的内容包括：1.文件的名称2.文件的目录结构3.文件的属性（权限，副本数，创建时间等）也就是可以用hdfs -dfs ls看的信息*4.一个文件被对应切割哪些数据块（包括副本数的块） ==> 对应分布在哪些DataNode管理文件系统的命名空间，维护文件系统树的文件
转载
2024-09-27 14:51:21
39阅读
同步元数据，防止脑裂
主备切换：
1. hadoop内部为每个namenode进程另外配置一个进程，叫DFSZKFailoverController（基于zookeeper的失败切换的控制器），简称zkfc。
2.将zkfc独立出来而不是在namenode程序内部实现的目的：实现可配置，可插拔，若用户对此失败切换机制不满意可以自己修改（在配置文件指定自定的失败切换控制器即可）。
转载
2023-09-09 01:37:04
303阅读
文章目录HDFS的体系结构HDFS的设计前提与目标HDFS文件存储架构HDFS的运行机制 HDFS的体系结构HDFS采用主从（Master/Slave）结构模型，将节点分为两类，包括一个处于运行状态的NameNode和若干DataNode。NameNode服务器负责管理和维护HDFS的目录系统并且控制文件的读写操作。多个DataNode服务器负责存储数据。下图中只展示出了3个DataNode，实
转载
2024-02-19 07:01:49
29阅读
大家好，我是 Snow Hide，作为《MySQL 实战》这个专栏的学员之一，这是我打卡的第 37 天，也是我第 102 次进行这种操作。今天我温习了该专栏里一篇叫《主库出问题了，从库怎么办？》的文章。关键词总结：基于位点的主备切换（change master 命令的六个参数、取同步位点的方法、在 T 时刻原主库执行完 insert 语句并将 binlog 传给新主库和从库后瞬间掉电的状态、切换任
转载
2024-05-07 10:02:43
57阅读
在前两篇文章的基础上PostgreSQL(一)PostgreSQL一主二从集群部署PostgreSQL(二)PostgreSQL一主二从集群之上部署双节点pgpool-II本文介绍了，当故障发生时的处理办法。 对于status中数字的含义：1:节点启动,还没有被连接 2:节点启动,已经被连接 3:节点down掉了 1模拟主节点服务故障在主机上执行，停止pos
转载
2024-04-21 11:15:26
256阅读
redis版本5.0.5测试redis Cluster主备切换、故障转移下线一个从节点，此时它的主节点打印的日志集群状态下线一台主节点，此时它的从节点打印的日志集群状态测试主备切换时客户端状态第一步：查看当前集群状态可以看到六个节点都是可用状态，其中83.46的6379是81.64上的6380的从节点，计划Kill掉81.64上的6380主节点，然后观察83.46的6379节点日志第二步：kill
转载
2023-05-25 14:32:43
846阅读
通过这一阶段的调研总结，从内部机理的角度详细分析，HDFS、MapReduce、Hbase、Hive是如何运行，以及基于Hadoop数据仓库的构建和分布式数据库内部具体实现。如有不足，后续及时修改。HDFS的体系架构 整个Hadoop的体系结构主要是通过HDFS来实
转载
2024-04-19 17:47:22
11阅读
一、Linux树型目录结构1.Linux文档存放最顶层为根目录（/）−“计算机”--> “文件系统”2.树型目录结构就像一颗倒挂的树−路径之间分隔符：/−分层次深入 3.认识目录用途执行man hier命令−查看关于目录结构的手册页常见的一级目录/bin： 存放二进制可执行文件(ls,cat,mkdir等)，常用命令一般都在这里；/etc： 存放系统管理和配置文件；/home： 存
转载
2024-06-22 13:47:47
72阅读
该系列总览: Hadoop3.1.1架构体系——设计原理阐述与Client源码图文详解 : 总览在HDFS中，有三种Recovery 1.Lease Recovery 2.Block Recovery 3.PipeLine Recovery以下将 一 一 讲解。一.Lease Recovery首先很有比要介绍一下Lease(租约)租约保证HDFS的一读多写机
转载
2024-04-26 11:51:12
115阅读
Sentinel Redis Sentinel 是一个分布式系统，用于管理多个 Redis 服务器（instance）， 该系统执行以下三个任务：1、监控（Monitoring）： Sentinel 会不断地检查你的主服务器和从服务器是否运作正常。2、提醒（Notification）： 当被监控的某个 Redis 服务器出现问题时， Sentinel 可以通过 API 向管理员或者其他应用程序发
转载
2023-10-24 09:45:29
261阅读
目录一、什么是HDFS二、HDFS架构角色三、HDFS工作流程四、HDFS的优缺点一、什么是HDFS1、定义HDFS即Hadoop分布式文件系统（Hadoop Distributed Filesystem），以流式数据访问模式来存储超大文件，它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提
转载
2024-02-29 13:24:48
89阅读
还记得在去年小芯体验了魔浪家的mifo O5蓝牙耳机吗？就在最近他们家又推出了新款mifo O7耳机，双十一的时候在搞活动，小芯就以699元的价格下单了mifo O7耳机的双动铁单元版本，这个新款又和去年的O5耳机相比有哪些升级？通过这一段时间的体验，说说个人的感受。 惯例先从包装说起，mifo O7的包装相比O5要简约了很多，正面不再是产品图而是型号字样。内部结构也十分简单，上方盒内
转载
2023-12-07 14:32:15
29阅读
redis哨兵主从切换过程解析redis主挂掉，从节点能升级为主的前置条件redis 主节点
状态为 SRI_O_DOWN，主节点master被标记为客观下线redis从节点
从节点没有处于主观下线、客观下线或者断链状态；距离上一次收到该从节点对于"PING"命令的正常回复的时间，不超过5倍的SENTINEL_PING_PERIOD；该从节点的优先级不是0；距离上一次收到该从节点
转载
2023-06-29 14:08:23
332阅读
redis2.8以上版本开始提供名为sentinel的主从切换方案:
主要用于:
1. 监控（Monitoring）： Sentinel 会不断地检查你的主服务器和从服务器是否运作正常。
2. 提醒（Notification）： 当被监控的某个 Redis 服务器出现问题时， Sentinel 可以通过 API 向管理员或者其他应用程序发送通知
转载
2023-09-23 16:28:06
164阅读
这篇文章主要介绍了Mysql主从同步的实现原理，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧1、什么是mysql主从同步？当master(主)库的数据发生变化的时候，变化会实时的同步到slave(从)库。2、主从同步有什么好处？水平扩展数据库的负载能力。容错，高可用。Failover(失败切换)/High Availability数据备份。3、主从同步的原理是什么？首
转载
2023-08-02 17:47:00
204阅读
Redis Sentinel Sentinel(哨兵)是用于监控redis集群中Master状态的工具，其已经被集成在redis2.4+的版本中 一、Sentinel作用： 1)：Master状态检测 2)：如果Master异常，则会进行Master-Slave切换，将其中一个Slave作为Master，将之前的Master作为Slave 3)：Master-Slave切换后，mast
转载
2023-08-15 15:47:25
126阅读
主从同步的原理1.Redis提供了主从库模式，以保证数据副本的一致，主从库之间采用的是读写分离的方式。 读操作：主库、从库都可以接收。 写操作：首先到主库执行，然后，主库将写操作同步给从库。为什么要采用读写分离？可以设想一下，不管是主库还是从库，都能接受客户端的写操作，那么，一个很直接的问题
转载
2023-07-07 10:51:50
188阅读
背景最近一组业务redis数据不断增长需要扩容内存，而扩容内存则需要重启云主机，在按计划扩容升级执行主从切换时意外发生了数据丢失与master进入只读状态的故障，这里记录分享一下。业务redis高可用架构该组业务redis使用的是一主一从，通过sentinel集群实现故障时的自动主从切换，这套架构已经平稳运行数年，经历住了多次实战的考验。高可用架构大体如下图所示:简单说一下sentinel实现高可
转载
2023-08-22 11:10:55
96阅读
