四、HADOOP(HDFS)-05NameNode 和 SecondaryNameNode(重点)1、NameNode和SecondaryNameNode工作机制1、NameNode的工作机制(1)第一阶段：NameNode启动a、第一次启动NameNode格式化后，创建Fsimage和Edits文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。b、客户端对元数据进行增删改的请求。c、N
转载
2023-07-12 13:52:57
54阅读
*【正确】 题目1：*下列关于hadoop中partition描述正确的是？- A、reduce的个数小于分区个数且不等于1的时候会报错 - B、默认只有一个reduce，虽然自定义了分区，但不会使用自定义分区类 - C、分区个数小于reduce的个数时，会有空文件出现 - D、自定义分区的分区号默认从0开始【参考答案】: ABCD（1）如果reduceTask的数量 > getPartit
转载
2023-07-12 13:52:47
461阅读
下面我们来分析FSDirectory。其实分析FSDirectory 最好的地方，应该是介绍完INode*以后，FSDirectory 在INode*的基础上，保存了HDFS 的文件目录状态。系统加载FSImage 时，FSImage 会在FSDirectory 对象上重建文件目录状态，HDFS 文件目录状态的变化，也由FSDirectory 写日志，同时，它保存了文件名数据块的映射关系。FSDi
原创
2015-05-29 16:29:50
666阅读
# Hadoop 一二三代对比及应用示例
## 1. 引言
Hadoop作为一个广泛应用于大数据处理的开源框架，经历了三代演化。每一代都解决了前一代存在的问题，提高了性能和可扩展性。本文将介绍Hadoop三代的对比，以及对应的代码示例。
## 2. Hadoop 一二三代对比
### 2.1 Hadoop 一代
Hadoop 一代是最早的Hadoop版本，包括HDFS分布式文件系统和Ma
原创
2024-05-01 06:38:25
29阅读
鸡肋的二三账户 两三年前银监会给电子账户正了名，也正式要求各家银行支持和拓展电子账户的开立和应用。但随之而来的是更加规范(yan ge)的规定，下边先来带大家感受一下302好文、16号文的要求。 关于Ⅱ、Ⅲ类个人银行账户的开立、变更和撤销（302号文） （一）个人开立Ⅱ类、Ⅲ类银行账户（以下简称Ⅱ、 ...
转载
2021-10-25 13:01:00
4294阅读
2评论
我坐在楼下的小亭子，前面草坪上二只冠红脚黄的大公鸡雄纠纠地散步，一个拖着鼻涕的小男孩带着他的京巴西施跑过来，看见鸡就去追，公鸡惊慌而不失风度地跑远了，小男孩扛起狗坐在我前面，嘴唇怎么都遮不住二颗大板牙，笑得那么纯净。他说狗叫花花，不咬人，乖呢；他说花花10岁了，他11岁，还说花花喜欢吃雪糕，吃完后自己咬来抹布擦桌子，还说花花晚上自己洗脚，洗完后和他睡一个窝里，摸着狗儿小巧的脑袋听小
原创
2004-09-27 14:33:00
491阅读
描述你弟弟刚刚学会写英语的一(one)、二(two)和三(three)。他在纸上写了好些一二三，可惜有些字母写错了。已知每个单词最多有一个字母写错了（单词长度肯定不会错），你能认出他写的啥吗？输入第一行为单词的个数（不超过10）。以下每行为一个单词，单词长度正确，且最多有一个字母写错。所有字母都是小写的。输出对于每组测
原创
2022-11-30 09:54:35
191阅读
1.讲一讲MR执行步骤1. map任务处理1.1 读取输入文件(HDFS)内容，解析成key1、value1对。对输入文件的每一行，解析成key、value对。每一个键值对调用一次map函数。注：key是当前行的起始位置，单位是字节。第一行的起始位置是0，value是当前行的内容。有多少行就产生多少键值对。每个键值对调用一个map函数。注意区别map任务与map函数，map函数仅仅是map任务中的
转载
2023-07-24 14:03:25
107阅读
Java开发，总会遇到问三级缓存的。看了很多文章，感觉不是很透彻。打算自己写一个自以为很详细的对三级缓存的理解。 有图文。也有文字概括。受不了动图的可以看文字概括哦进入正题：在开发过程中会遇到循环依赖的问题。 就跟下图一样Spring在为此设计了三级缓存来解决以上依赖的问题首先我们得知道 三级缓存里面分别存的什么一级缓存里存的是成品对象，实例化和初始化都完成了，我们的应用中使用的对象就是一级缓存中
转载
2023-09-07 22:59:54
107阅读
IT之禅（二三）
往往是这样，一个领导第一眼见到一个员工、认为他是什么样的人，最后这个员工一定会成为这样一个人。
原创
2008-09-03 20:47:00
1440阅读
点赞
1评论
最近都干什么了啊？如果你问我每天都做什么，我真的可以说出来哦，因为我每天都很无聊，当然做的事情也是一样啊···早上8:00起床，8:30出门上班，9:00前到公司上班，12:00准时吃饭，13:00吃过饭小睡半个小时，13:30继续工作，6:00准时下班，7:00到家吃饭，然后看电视，12:00前睡觉···每天都是这样，周而复始，电话QQ都成了摆设，不打电话不发信息不上QQ，我的人生咋变成这样了来
原创
2012-08-12 15:11:48
221阅读
一、指针：用来保存地址的“变量”叫做指针，可以理解成指针是地址的一个别名。例：定义一个整形指针“指针的内容”，“指针所指向的内容”，“指针变量的地址”：指针的内容：指针变量p里面存放的是a的地址，也就是0x0018ff44.指针所指向的内容：指针变量p里面存放的地址（0x18ff44）这块空间所对应的值，也就是10，我们通过*p(解引用）可以访问到这个值。即：*p作为右值时，*p==10，当*p作
原创
2016-04-26 22:18:02
904阅读
点赞
3评论
1.源主机在发起通信之前，会将自己的IP与目的主机的IP进行比较， 如果两者位于同一网段,那么源主机发生arp请求广播报，请求目的主机的mac地址，在收到目的主机的ARP应答后获得对方的物理层（MAC）地址，然后用对方的MAC作为报文的目的MAC进行报文发送。位于同一VLAN(网段)中的主机互访时属 ...
转载
2021-09-21 15:05:00
298阅读
点赞
2评论
一、XXE简介 XXE （XML External Entity injection）：XML外部实体注入漏洞。XXE漏洞发生在应用程序解析XML输入时，没有禁止外部实体的加载，导致可加载恶意外部文件，造成文件读取、命令执行、内网端口扫描、攻击内网网站、发起dos攻击等危害。 1、外部实体指攻击者通 ...
转载
2021-09-28 06:58:00
275阅读
2评论
先看看hashmap在整个Collection中的位置Hash
原创
2022-08-18 19:14:41
84阅读
在这里，我将记录下工作中的零零碎碎，权当作是对自己的提醒。
2010.7.23
第一份工作做了1个多月，这是第二份工作。
到新公司3天了，了解基本情况。
windows域管理器+DHCP+AD，suse squid透明代理,postfix,FTP.TREND firewall，web，cisco3层交换。门禁卡系统、监视系统。马上有300+PC的规模。
2010.7.27
&n
原创
2010-07-23 23:42:02
302阅读
最近两个周末都过的很开心。哈哈，更高兴的是跟曾兄一起以后貌似记录开心的事件越来越多了，好现象。下面听我细细讲来。
上上个周末和曾兄一起出去逛了会，然后看了场电影，终于排解了周末因天气炎热老困在家睡觉的无聊。让人精神振奋了许多。
原创
2010-08-31 21:06:46
586阅读
2评论
一二三四
原创
2013-05-23 00:05:48
368阅读
也许其他科老师并不知道我们计算机老师的烦恼，他们只认为计算机不用备多少课，又不用改作业，很轻松。可是麻烦事是在课堂中。总禁止不了学生玩游戏，当上课的时候看到多媒体广播系统中显示不到一半的机器在线，心里真是气，想不出什么办法来解决他们。有个电脑室很奇怪，我把网络禁止了，学生机柜都锁上了，可他们还是找到CS出来玩，当我在一个学生玩的时候打开他电脑，想看看历史纪录那些地方有痕迹，没有，我怀疑有学生拿U盘
转载
2021-08-12 11:23:14
181阅读
周五利用晚上的时间将博客换了个主机，今天就来谈谈与站点相关的一些事。先提前声明。今天的文章不涉及不论什么代码，假设是想知道站点怎么搭建，能够查看http://macshuo.com/?p=547，我的博客就是依照这篇教程搭建的，讲的非常具体。今天主要科普一下站点相关的知识 我们每一个人每天都会訪问各
转载
2017-05-14 11:29:00
147阅读
2评论
