HDFS架构图HDFS特点：高容错；高吞吐量；在项目中处理大数据集；流式访问文件系统数据；可以构建在普通的硬件之上。采用master/slave架构，主要组成组件有：Client、NameNode、SecondaryNameNode、DataNode。（1）Client用户，通过与NameNode和DataNode交互访问HDFS中的文件，Client提供一个类似POSIX的文件系统接口供用户调用
转载
2024-01-25 17:10:01
104阅读
HADOOP中可以分为两个大的模块，存储模块和计算模块。HDFS作为存储模块，JobTracker,TaskTracker构成计算模块。 1.HADOOP的文件是以HDFS格式存储的 HDFS是一种文件系统，专为大规模分布式数据处理而设计的，我们可以把一个很大的数据集，在HDFS中存储为单个文件。HDFS中采取的是master/slave的结构，其中master我们
转载
2024-04-22 14:02:44
128阅读
一、HDFS原理1->HDFS 架构HDFS是一个分布式文件系统。一个HDFS集群主要由一个 NameNode ,一个Secondary NameNode 和多个 Datanode2->HDFS各个节点的功能NameNode：Master节点，是领导。管理数据块映射；处理客户端的读写请求；监控nanmenode的健康状态；管理HDFS的名称空间。
转载
2023-07-20 17:13:42
64阅读
3.flink-部署模式（三）1.local模式2.standalone修改conf/flink-conf.yaml# 必选
# 指定jobmanager的hostname
jobmanager.rpc.address: node01
# 可选
# 指定jobmanager的port
jobmanager.rpc.port: 6123
# 指定jobmanager的可用堆内存量（单位为MB）
j
转载
2024-07-29 13:45:32
109阅读
## Redis Sentinel Masters配置
Redis Sentinel是Redis官方提供的一种高可用解决方案，它可以监控Redis主从节点的健康状态并在主节点故障时自动进行故障转移，确保Redis集群的高可用性。在Redis Sentinel中，我们可以配置多个主节点，并通过Sentinel Masters配置来管理这些主节点。
### Sentinel Masters配置简介
原创
2024-03-03 05:56:19
62阅读
## HBase 单节点 Backup Masters 实现流程
### 概述
在 HBase 中，Backup Masters 是用来备份主 Master 的节点，以提供高可用性和容错能力。本文将介绍如何实现 HBase 单节点 Backup Masters，并提供详细的步骤和代码示例。
### 实现步骤
下面是实现 HBase 单节点 Backup Masters 的步骤，用表格展示：
原创
2023-08-26 11:38:39
181阅读
In ByteDance, many ByteDancer are hidden learning masters. Keeping the original intention of learning, paying attention to growth, and dare to challen
原创
2021-12-10 17:46:43
27阅读
Redis学习笔记（五）-- Redis SentinelRedis SentinelRedis Sentinel故障转移三个定时任务Sentinel模式下客户端实现原理 Redis SentinelRedis Sentinel可以监控多套主从节点，实现故障自动转移和高可用。Sentinel本质上也是Redis节点，区别在于开启了Sentinel模式。Redis Sentinel故障转移过程多个
转载
2024-05-29 11:20:19
48阅读
打开注册表Regedit 点击目录至： HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Run\ 删除右边的项目：SYSEDIT = c:\windows\ sysedit.exe HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\RunServices
原创
2009-11-06 17:28:48
584阅读
配置secondarynamenode主机名masters
原创
2017-08-25 10:26:43
1304阅读
1.配置hadoop的secondarynamenode,配置内容如下node2本文转自 素颜猪 51CTO博客，原文链接:://blog.51cto.com/su...
转载
2017-11-12 14:45:00
53阅读
(英文原文: Why Scrum Masters love Scrum?)在scrum拥有深厚专业知识
翻译
2023-01-11 07:25:13
165阅读
# HBase Backup Masters没有备机的实现指南
在HBase集群的管理中，确保数据的高可用性和系统的稳定性至关重要。备机的配置是确保主节点发生故障时系统能够快速恢复的关键环节。本文将教你如何实现“HBase Backup Masters没有备机”的设置。
## 整体流程
首先，下面是实现这一功能的总体步骤：
| 步骤 | 描述
原创
2024-08-18 06:28:30
71阅读
如果是一个专业的DBA，那么实例启动时会加很多的参数以便使系统运行的非常稳定，这样就可能会在启动时在Redis后面加一个参数，以指定配置文件的路径，就象mysql一样的读取启动配置文件的方式来启动数据库。源码编译完成后，在redis-2.2.12目录下有一个redis.conf文件，这个文件即是Redis的配置文件，用配置文件来启动Redis的方法如下:
转载
2023-11-04 21:54:10
3阅读
各位 StarRocks 的新老用户：StarRocks 近期发布了 2.3 版本，核心更新有：主键模型支持完整的 DELETE WHERE 语句，异步执行 CTAS，资源组的大查询防御，资源组的监控，JDBC 外表，数据目录 Catalog，集群部署与管理工具 StarGo 等。欢迎体验新版本功能，若喜欢我们的项目，大家可以在 GitHub 上 Star 一下✨ 体验地址：https://git
转载
2024-05-23 19:08:39
263阅读
1. hadoop目录概述hadoop的解压目录下的主要文件如下图所示： 其中： /bin 目录存放对Hadoop相关服务（HDFS, YARN）进行操作的脚本； /etc 目录存放Hadoop的配置文件 /lib 目录存放Hadoop的本地库（对数据进行压缩解压缩功能） /sbin 目录存放启动或停止Hadoop相关服务的脚本 /share 目录存放Hadoop的依赖jar包、文档、和官方案例
转载
2023-06-19 17:57:55
115阅读
在虚拟机上删除hdfs文件： 删除hdfs下的文件： hadoop fs -rm /文件夹名 删除hdfs下的文件夹：hadoop fs -rm -r 文件名 查看根目录下的内容： hadoop fs -cat /文件名 增加权限：chmod +x 文件名 ps -ef|grep 文件名 ：查看某个进程号 复制文件： cp 文件名 文件名 mv 既可以改文件名也可以移动文件（在同一台机器上可以）
转载
2023-08-30 23:59:46
93阅读
在我们实际工作当中，极有可能会遇到将测试集群的数据拷贝到生产环境集群，或者将生产环境集群的数据拷贝到测试集群，那么就需要我们在多个集群之间进行数据的远程拷贝，hadoop自带也有命令可以帮我们实现这个功能1、本地文件拷贝scpcd /kkb/softscp -r jdk-8u141-linux-x64.tar.gz hadoop@node02:/kkb/soft 2、集群之间的数据拷贝distcp
转载
2023-07-12 15:03:32
117阅读
文章目录Hadoop 之文件写入 && 一致模型Hadoop 文件写入异常情况副本安置策略（replica placement）一致模型（Coherency model）并行复制（distcp） Hadoop 之文件写入 && 一致模型Hadoop 文件写入具体步骤如下：1.客户端通过对 DistributedFileSystem 对象调用 create() 来新
转载
2023-09-20 10:45:21
67阅读
文件压缩有两个好处：减少存储文件所需的磁盘空间，并加速数据在网络和磁盘上的传输 在存储中，所有算法都要权衡空间/时间；在处理时，所有算法都要权衡CPU/传输速度 以下列出了与Hadoop结合使用的常见压缩方法： 压缩格式工具算法文件扩展名是否可切分DEFLATE无DEFLATE.deflate否GzipgzipDEFLATE.gz否bzip2bzip2bzip2.bz2是LZOlzopLZO.l
转载
2023-09-20 10:53:58
104阅读
