Hadoop管理员负责为用户作业提供一个高效的运行环境。管理员需要从全局出发，通过调整一些关键参数值提高系统的吞吐率和性能。总体上看，管理员需从硬件选择、操作系统参数调优、JVM参数调优和Hadoop参数调优等四个方面人手，为
Hadoop
用户提供一个高效的作业运行环境。
1.硬件选择
Hadoop自身架构的基本特点决定了其硬件配置的选型。Hadoop采用了
转载
2024-08-02 11:26:25
73阅读
1.1 The Hadoop EnvironmentDistributed computation:(分布式计算)The computation tire uses a framework called MapReduce.Distributed storage:(分布式存储)A distributed filesystem called HDFS,provides storage.1.2 Wha
转载
2023-07-24 11:01:29
120阅读
一、Redis 复制 Redis 复制是什么？ 官网介绍： 主从复制，主机数据更新后根据配置和策略，自动同步到备机的 master/slaver 机制，Master以写为主，Slave以读为主。 二、主从复制（作用&好处） 1、读写分离 2、容灾恢复 三、准备工作 1、配从（库）不配主（库） 只需要配置从库的信息，把从库降一个等级； 2、从库配置
转载
2023-07-06 16:34:08
979阅读
Project
segment [ˈsegmənt] 段
packet [ˈpækɪt] 包
frame [freɪm] 数据帧
bit [bɪt] 比特
Request [rɪˈkwest] 请求，申请
confirm [kənˈfɜ:m] 确认
Response [rɪˈspɒns] 应答
Enable [ɪˈneɪbl] 开启（特权模式）
configure terminal
转载
2023-12-11 13:29:42
57阅读
已测试实验环境：主机名 ipapache 192.168.24.50master1 192.168.24.10master2 192.168.24.20slave1 192.168.24.30slave2 192.168.24.40mysql主从架构（master-slave）master必须开启binlogmas
原创
2012-12-01 15:32:16
1064阅读
一 Jenkins Master/Slave架构Master/Slave相当于Server和agent的概念。Master提供web接口让用户来管理job和slave，job可以运行在master本机或者被分配到slave上运行。一个master可以关联多个slave用来为不同的job或相同的job的不同配置来服务。当job被分配到slave上运行的时候，此时master和slave其实是建立的双
转载
2024-01-11 20:12:27
41阅读
一、主从复制的概念master可以拥有多个slave多个slave可以连接一个master外，还可以连接到其它的slave主从复制不会阻塞master，在同步数据时，master可以继续处理cliect请求提供系统的伸绪性其主要目的是为了实现一个读写分离的机制二、主从复制的过程1、slave与master建立连接，发送sync同步命令 2、master会开启一个后台进程，将数据库快照保存到文件中，
转载
2023-11-25 17:31:51
67阅读
Redis 主从同步（Master&Slave）Redis主从同步。数据可以从主服务器向任意数量的从服务器上同步，从服务器可以是关联其他从服务器的主服务器。这使得Redis可执行单层树复制。存盘可以有意无意的对数据进行写操作。工作原理：Redis的主从结构可以采用一主多从或者级联结构，Redis主从复制可以根据是否是全量分为全量同步和增量同步。 Master&Slave是
转载
2023-12-16 17:18:01
131阅读
由于前段时间公司项目比较赶，一直抽不出时间写博客，今天偷空写一篇吧。前面给大家讲解了单机版redis的基本操作，现在继续给大家讲解一下Redis的进阶部分，主从复制和读写分离。一、Master&Slave是什么？ 也就是我们所说的主从复制，主机数
转载
2023-10-17 22:53:12
158阅读
配置：10.10.10.1为master/10.10.10.2为slave说明：关键是开启log-bin=mysql-bin 启动二进制文件mysql中的log-bin是存储的mysql的dml语句（事务相关的），根据这个mysql可以进行redo和undo----同时同步的时候，实际上是吧master中的log-bin传给slave，然后由slave服务器根据log-bin进行redo！！！所以
原创
2013-12-30 15:16:35
618阅读
Master主备切换Master的主备切换分为两种：基于文件系统和基于zookeeper基于文件系统的，spark提供目录保存spark Application和worker的注册信息，并将他们的恢复状态写入该目录，当spark的master节点宕掉的时候，重启master，就能获取application和worker的注册信息。需要手动进行切换基于zookeeper的，用于生产模式。其基本原理是
转载
2023-11-27 02:02:49
78阅读
hadoop(master/slave)主从结构 相比于基于P2P模型的分布式文件系统架构，HDFS采用的是基于Master/Slave主从架构的分布式文件系统，一个HDFS集群包含一个单独的Master节点和多个Slave节点服务器，这里的一个单独的Master节点的含义是HDFS系统中只存在一个逻辑上的Master组件。一个逻辑的Master节点可以包括两台物理主机，即两台Master服务器
转载
2024-08-06 09:38:07
173阅读
show engine innodb status; select * from information_schema.INNODB_TRX;select * from information_schema.INNODB_LOCKS;select * from information_schema.
转载
2016-11-30 17:46:00
120阅读
2评论
mysql主从复制配置配置原理（slave数据库通过二进制日志文件对数据库进行AUDQ）一、需求： 版本一致系统启动mysql二、 master的配置： 修改二进制日志，和server-idlog-bin=logbin（可跟绝对路径，注意权限）server-id=11（可以为和slave不重复的任意数字，一般是IP的末位）三、 slave的配置： 唯一必须更
原创
2018-01-26 18:02:37
2945阅读
OSPF是一种最常用的路由协议，它被广泛应用于现代网络中。在OSPF的工作中，有一种特殊的机制叫做Master-Slave模式，它在华为设备中也有较为广泛的应用。
在一个OSPF网络中，通常有多个路由器之间通过链路互相通信，彼此之间需要进行路由信息的交换。为了更好地管理这些路由器之间的关系，OSPF引入了Master-Slave模式。在Master-Slave模式下，OSPF会选举出一个Mast
原创
2024-03-04 12:52:03
176阅读
Redis的复制（Master/Slave）目录导航：是什么 能干嘛 怎么玩 复制原理 哨兵模式（sentinel） 复制的缺点是什么 行话：也就是我们所说的主从复制，主机数据更新后根据配置和策略，自动同步到备机的master/slaver机制，
转载
2022-11-04 10:01:32
162阅读
Linux系统中，Master-Slave体系是一种常见的架构模式，它通常被用于实现数据同步、数据备份、负载均衡等功能。在这种体系中，Master是主节点，负责整个系统的控制和调度，而Slave是从节点，负责执行Master的指令，并向Master汇报执行结果。
在Linux系统中，Red Hat Enterprise Linux（RHEL）作为一个知名的Linux发行版，也采用了Master-
原创
2024-05-07 10:26:07
118阅读
## Hadoop Master和Zookeeper Master的实现流程
为了让这位刚入行的小白能够理解如何实现Hadoop Master和Zookeeper Master，我将按照以下步骤进行讲解：
1. 安装Hadoop和Zookeeper
2. 配置Hadoop Master
3. 配置Zookeeper Master
下面是整个流程的表格，展示了每个步骤所需做的事情：
| 步骤
原创
2024-01-01 06:38:00
46阅读
reset slave，reset slave all，reset master操作产生的影响及应用场景
转载
2023-05-27 00:44:35
178阅读
概述本文介绍spring boot项目中环境配置切换的过程。在实际的项目开发中，经常需要不同的环境配置，如开发时不能直接连生产环境的数据库，而上线时就需要连生产环境的数据库。这就要求项目能够切换环境配置。spring boot项目中，application.properties是配置文件，实际上我们还可以引入不同环境的配置文件，如：application-dev.properties，applic
转载
2024-10-23 09:13:19
36阅读
