注：以下配置描述的是HDFS的QJM方式的HA配置。1.1 zookeeper集群配置这里我使用了三台机器(在笔记本上使用vmware创建了三个虚拟机来实现)部署zookeeper集群，机器IP分别是：l192.168.111.130(hostname：hd0)
l192.168.111.131(hostname：hd1)
l192.168.111.132(hostname：hd2)
首先建立zo
转载
2024-08-02 10:45:31
24阅读
HDFS1.0 与HDFS2.x 架构理解先说说Haoop HDFS 1.0的体系架构：HDFS1.0体系架
原创
2022-06-23 06:59:08
248阅读
先说说Haoop HDFS 1.0的体系架构：
HDFS1.0体系架构总体图：
上面可以看到几个组件：
NameNode :
NameNode 是分布式文件系统的
转载
2021-06-11 14:25:21
315阅读
HDFS概念及作用：HDFS是一个分布式文件式系统。用于存储海量数据，可以存储多种格式文件。HDFS1.0由3个组件组成，分别是：nameNode，secondaryNameNode，dataNode。整个hdfs集群里面有三种角色：主节点、从节点、客户端。hdfs储存的单元是block，一个block的大小是64M。默认一个文件会保存3份。dataNode主动通过“心跳”，向nameNode汇
转载
2024-02-16 19:59:34
57阅读
一、前言Hadoop 1.0时代，Hadoop核心组件HDFS NameNode和MapReduce JobTracker都存在单点问题（SPOF），其中以NameNode SPOF尤为严重。HDFS作为整个Hadoop生态的基础组件，一旦NameNode发生故障，包括HDFS在内及其上层依赖组件（YARN/MapReduce/Spark/Hive/Pig/HBase等）都将无法正常工作，另外Na
转载
2024-07-30 20:46:25
92阅读
一、本质HDFS(Hadoop Distributed File System)是一种适合运行在通用硬件上的分布式文件系统 二、HDFS解决了什么问题1.海量数据存储和吞吐2.write-once-read-many存取模式（无数据一致性问题）3.高度容错4.处理非结构化数据 三、系统架构 1. NameNode 1) 作用• 管理着
转载
2024-04-28 15:56:02
115阅读
1.启动hadoop、zookeeper、hbase后jps查看，服务已经都起来了。但是60010界面无法打开。50070正常，50030，nodes显示为0.查看日志：error: org.apache.hadoop.hdfs.server.namenode.SafeModeException:Cannot delete /home/hadoop/tmp/mapre
转载
2024-03-19 20:38:23
89阅读
HDFS 系统架构Block：数据块，磁盘读写的基本单位– HDFS默认数据块大小64MB– 磁盘块一般为512B– 原因：块增大可以减少寻址时间，降低寻址时间/文件传输时间，若寻址时间为10ms，磁盘传输速率为100MB/s，那么该比例仅为1%– 数据块过大也不好，因为一个MapReduce通常以一个块作为输入，块过大会导致整体任务数量过小，降低作业处理速度Block副本放置策略（机架感知策略）
转载
2024-04-03 21:22:02
43阅读
1. Hadoop 2.0 产生背景Hadoop 1.0中HDFS和MapReduce在高可用、扩展性等方面存在问题HDFS存在的问题
NameNode单点故障，难以应用于在线场景 HANameNode压力过大，且内存受限，影扩展性 FederationMapReduce存在的问题响
JobTracker访问压力大，影响系统扩展性难以支持除MapReduce之外的计算框架，比如Spar
转载
2024-03-22 15:57:20
50阅读
HDFS HA（高可用）解决单点故障问题主备NN解决：涉及到数据同步的问题HDFS HA包含namenode Active和namenode Standby。namenode Active 包含两部分信息：datanode的edis和客户端信息。然而客户端只连接namenode Active汇报自己的结构树信息， 还有一个namenode Standby如果同步信息数据？尝试：其实只要scoket
转载
2023-08-21 17:48:50
103阅读
Hadoop 2.0 产生背景Hadoop 1.0 中HDFS和MapReduce在高可用、扩展性等方面存在问题
HDFS 存在的问题
NameNode单点故障，难以应用于在线场景；NameNode压力过大，且内存受限，影响系统扩展性。MapReduce存在的问题
JobTracker访问压力大，影响系统扩展性；难以支持除MapReduce之外的计算框架，比如S
转载
2024-04-19 16:44:34
99阅读
在HDFS相关的守护进程中，有NameNode进程、DataNode进程、SecondaryNameNode进程等。NameNode和DataNode职责比较明确，我们都知道是做什么的，那么SecondaryNameNode的作用是什么呢？为什么SecondayNameNode要和NameNode部署在不同的节点上呢？有人说SecondaryNameNode是NameNode的备份，这种说法正确吗
转载
2024-03-21 20:09:00
27阅读
1、hdfs中Namenode如何保证元数据的完整性？1、由于namenode内存中元数据太大，可能几十G，所以不可能经常dump所有的内存信息到磁盘上，这样不仅非常耗费io资源，会使得Namenode对外的相应变慢。2、解决方案：将每一个操作以append的形式追加到日志文件(edis)中，然后对日志文件进行checkpoint就可以了。 redis、hbase也是这种方式。3、思考
转载
2024-06-07 23:46:57
69阅读
1.实验任务1 2.实验任务2 r4 值不同的原因：第一次是整型数据忽略小数点后的数据，第二次是浮点型数据，显示小数点后的数据。 3.实验任务3 7:101*102/2;8:102*101/2;9:101/2*102=50*102;10:102/2*101 奇数在/2时失去小数部分而变小。 4.实验 ...
转载
2021-10-30 09:41:00
123阅读
2评论
从微软MVP：Bernard Cheah先生那里得知微软发布了一款新工具，用来调试维修IIS，这为IIS管理员带来了惊喜和福音。
**Microsoft releases Debug Diagnostics 1.0 - Release Candidate 1** Microsoft is working diligently on a new tool designed to make
转载
精选
2005-06-01 15:31:25
855阅读
前言
看这篇博文的朋友,我建议先去了解一下什么是 oAuth 1.0 & 2.0的认证,对于,一些很基本的概念,各大提供该认证的网站应该说的很清楚了,这篇博文是比较细的说下,在oAuth 认证时遇到的问题,以及整个认证客户端api调用的过程
我说下,目前我知道的提供oAuth 认证的网站(墙外的这里
原创
2011-12-29 23:19:00
1072阅读
容器：是一种基础工具，LXC虚拟化的主流技术主机虚拟化实现Type-Itype-IIdocker的优缺点优势：模块化层与镜像版本控制支持回滚快速部署缺点：隔离性差安全性较差容器镜像网站https://hub.docker.com/docker 是一个C/S架构应用程序，无论是客户端还是服务器端，都有docker一个程序提供，这个程序有很多子程序，或者叫子命令，叫docker daemon，我们就表
原创
2018-08-14 18:33:54
407阅读
HDFS1.0 与HDFS2.x 架构理解 先说说Haoop HDFS 1.0的体系架构：HDFS1.0体系架构总体图： &nb
转载
2023-07-12 21:01:31
34阅读
这个月进了一家公司，接手了一个小项目。今天遇到一个问题，我觉得有点感触，就此记录下来。 问题出现： listView （有复用布局）设置行布局数据中有设置图片，资源是包携带的drawable .在listView 快速滑动过程中出现了图片错乱。我之前知道从网络获取图片和设置是会出现这个问题的，但是我这个是从包资源获取。怎么还会出现。也是疑惑。后面请教朋友后解决了。
原创
2015-08-10 23:57:51
350阅读
salt-key -a slaver.test.com[root@nginx ~]# cat /etc/salt/masterfile_roots: base: - /srv/salt/base prod: - /srv/salt/prodinterface: 172.1.1.1nodegroups: 
原创
2017-03-31 17:35:01
386阅读
