1. Hadoop 1.x 版本 fsimage和edits合并实现原理 在NameNode运行期间，HDFS的所有更新操作都是直接写到edits中，久而久之edits文件将会变得很大；虽然这对NameNode运行时候是没有什么影响的，但是我们知道当NameNode重启的时候，NameNode先将fsimage里面的所有内容映像到内存中，然后再一条一条地执行edits中的记录，
hadoop为什么要合并小文件？ 小文件是指文件size小于HDFS上block大小的文件。这样的文件会给hadoop的扩展性和性能带来严重问题。首先，在HDFS中，任何block，文件或者目录在内存中均以对象的形式存储，每个对象约占150byte，如果有1000 0000个小文件，每个文件占用一个block，则namenode大约需要2G空间
转载
2023-07-12 14:47:48
145阅读
如果我想把这个公众号做到极致，那么根据数据，我应该每天都发文以保证每天的点击率或阅读量。基于我所学习的经济学
原创
2021-12-10 14:39:15
140阅读
今天，不出意外又因为那些事感觉很失落 明明知道没什么希望，还一直的苦苦坚持，我也不知道结果会是什么，只是不想这么草草收场 心累。。。。 但是不能服输！绝不能！ ...
转载
2021-08-25 15:47:00
82阅读
2评论
不忍心断更, 但是又写不了什么技术. 就碎碎念了这个月是真心的忙. 一个月, 每周六日都在外奔波, 学习,考试,项目上线,述职等等.还因为血压不稳定导致头晕了两天. 到目前为止,才完成了一半的事情下面半个月就继续好好工作, 项目上线, 再跑上海一趟. 五一也不出去浪了(哪里票也抢不到),回家让我妈好好养养我…技术是真用到不少. 但是要哪个去深入…我现在就是各种探索, 解锁是什么, 怎么用...
原创
2022-01-10 14:59:16
113阅读
很久没有写东西了。一是实习确实没啥时间，下了班也只想打开游戏或者打开直播看看
原创
2022-07-27 09:09:14
61阅读
前几个礼拜，日本NHK电视台播出了一部纪录片《支援中国改革开放的日本人》，我以为，这部片子值得一看（别急，新浪视频有，文末有链接）我印象里，全片主要讲了四个故事：第一，中国改革开放的决策问题，有那么多发达国家可以学习，到底应当向谁学习？如何学习？第二，北京内燃机厂通过引进日本小松的质量管理体系（TQC，total quality control），在两三年内面貌焕然一新，产能和质量都有飞跃发展，当
原创
2021-05-09 21:11:49
338阅读
人之所以会放弃，是因为只看见前方的路途遥远，却忘记自己坚持了多久才走到这里。
原创
2013-12-26 23:08:22
602阅读
10.01 国庆国庆，与祖国同命运，共进退。 今年以及今后的关键字：Beautiful & Bravery 。 美与勇气。 创造有勇气的自己。这句话要刻在我墓碑上（如果有的话）。 被声音包裹的世界，难以感受到寂静的美；被寂静包裹的世界，却能深刻感受声音之美。 10.02 秋夜，星空。一小片，可望见的 ...
转载
2021-10-30 21:17:00
435阅读
2评论
日常计划2019.9.8六级没有过，薄弱项在听力，其他项也不强，计划如下
原创
2023-03-02 09:27:49
120阅读
先分享三个有点滑稽的事情。 有一天我去饭馆吃饭。点单后我就在座位上等着上菜了。等着等着，突然服务员跑过来说：“对不起，我们的西红柿刚刚卖光了。麻烦你去一趟西门菜市场，买俩西红柿回来，我们才能给你做菜。” 有一天我去饭馆吃饭。点单后我就在座位上等着上菜了。等着等着，突然服务员跑过来说：“对不起，我们厨师想请你试吃一下他创新的新菜。不过他自己还没尝试过，万一吃出事儿来你得自己兜着哦。”
原创
2019-08-29 22:47:42
1062阅读
1。取消选取的内容高亮显示：:nohlsearch
原创
2023-07-11 16:15:05
63阅读
玩简书的，看文章的，比写文章的多 。高质量文章甚少，鸡汤甚多 。原创文章少，转载略多 。简书官方，是否有鉴别原创的功能 ？晚安，睡前碎碎念 。
...
原创
2021-07-21 16:08:35
167阅读
１今天，跟几条跟我玩的比较好的篮球狗在讨论人生，其中有一条特别感慨，
原创
2022-03-30 18:09:21
99阅读
最近一直都在搞毕业论文，可能更新Python技术文章并不是太多，各位看官多多见谅。我的公众号（罗罗攀）也已经有两年的历史了，
原创
2022-09-01 16:31:36
93阅读
