wx639033c32a1c9的博客_大数据(3)

HDFS 架构

负责提供来自文件系统客户端的读写请求，执行块的创建，删除等操作。2.集群元数据的

hdfs

java

大数据

文件系统

重命名

原创 2022-12-07 14:45:35 17 阅读

HDFS中的block、packet、chunk

chunk是最小的单位，它是client向DataNode，或DataNode的PipLine之间进行数据校验的基

大数据

Line

数据校验

分块

原创 2022-12-07 14:45:31 63 阅读

HDFS复制原理

集群外部写操作请求，命名空间从集群中挑选一台磁盘不太满、CPU不太忙的数据节点，作

hdfs

java

数据库

文件存储

HDFS

原创 2022-12-07 14:45:27 116 阅读

HDFS读写

6）client开始传输block(先从磁盘读取数据存储到一个本地内存缓存)，以packet为单位（一

大数据

服务器

目标文件

客户端

原创 2022-12-07 14:45:25 108 阅读

MAPREDUCE

值的数据分发到同一个节点上去合并，这样才能统计出最终的结果，此时得到。操作可能是

servlet

java

服务器

List

ci

原创 2022-12-07 14:45:20 67 阅读

YARN介绍

资源（如果作业很小,应用管理器会选择在其自己的JVM中运行任务）；提交作业

java

servlet

服务器

应用程序

重启

原创 2022-12-07 14:45:10 68 阅读

zk ZNode 的数据节点组成

Zookeeper通过树形结构来存储数据，它由一系列被称为ZNode的数据节点组成，类似于常

大数据

zookeeper

分布式

文件系统

数据

原创 2022-12-07 14:45:05 63 阅读

HDFS 常用 shell 命令

示例将HDFS上的hbase-policy.xml和hbase-site.xml文件合并后下载到本地的/usr/test.xml

大数据

hadoop

xml

当前目录

原创 2022-12-07 14:45:01 67 阅读

Hadoop HA

YARNResourceManager的高可用与HDFSNameNode的高可用类似，但是ResourceMa

大数据

HDFS

共享存储

元数据

原创 2022-12-07 14:44:57 44 阅读

MAPREDUCE详细过程

在进行map计算之前，mapreduce会根据输入文件计算输入分片（inputsplit），每个输入分片

大数据

数据

数据排序

数据存储

原创 2022-12-07 14:44:51 90 阅读

德哥 posgresql视频教程笔记

第二章：1.逻辑分层：（1）Cluster（2）Database（3）

数据库

连接池

短连接

原创 2022-12-07 14:44:49 85 阅读

Zookeeper 介绍

Zookeeper是一个开源的分布式协调服务，目前由Apache进行维护。Zookeeper可以用于实现分

数据库

分布式

java

客户端

服务端

原创 2022-12-07 14:44:48 13 阅读

Zookeeper集群角色

Zookeeper集群中的机器分为以下三种角色。

java-zookeeper

zookeeper

java

客户端

原创 2022-12-07 14:44:44 95 阅读

Zookeeper的应用场景

可以让所有服务节点去竞争性地创建同一个ZNode，由于Zookeeper不能有路径相同的ZNo

java-zookeeper

zookeeper

java

子节点

客户端

原创 2022-12-07 14:44:41 85 阅读

zk是怎样保证主从节点的状态同步

zookeeper的核心是原子广播，这个机制保证了各个server之间的同步。实现这个机制的协议叫

分布式

zookeeper

原子广播

原创 2022-12-07 14:44:37 68 阅读

zk的通知机制

客户端端会对某个znode建立一个watcher事件，当该znode发生变化时，这些客户端会收

大数据

分布式

客户端

zookeeper

原创 2022-12-07 14:44:33 80 阅读

分布式一致性协议

在该阶段，协调者将基于第一个阶段的投票结果进行决策提交或取消。当且仅当所有的

分布式

数据库

协调者

段提交协议

提交事务

原创 2022-12-07 14:44:30 64 阅读

Hive体系架构

数据库

原创 2022-12-07 14:44:28 126 阅读

怎么处理Mysql慢查询

怎么处理Mysql慢查询怎么处理Mysql慢查询怎么处理Mysql慢查询怎么处理Mysql慢查询

数据库

原创 2022-12-07 14:37:21 56 阅读

数据库索引设计原则

数据库索引设计原则数据库索引设计原则数据库索引设计原则数据库索引设计原则

数据库

原创 2022-12-07 14:37:15 55 阅读

Mysql锁类型

Mysql锁类型Mysql锁类型Mysql锁类型Mysql锁类型Mysql锁类型Mysql锁类型

数据库

原创 2022-12-07 14:37:09 48 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

wx639033c32a1c9的博客