51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频 免费课程 课程排行 直播课 软考学堂
全部课程 厂商认证 IT技术 24年11月软考 PMP项目管理 免费题库
在线学习
文章 资源 问答 课堂 专栏 直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
# hadoop

下载两个 hadoop 安装包的区别

     刚接触hadoop，在下载hadoop安装包的时候，发现有两个zip，分别为：hadoop-2.4.1.tar.gz和hadoop-2.4.1-src.tar.gz，这两个文件夹有什么不同，分别是用来做什么的？      答：tar.gz是已经编译好的了，解压改改配置文件就能用；而src.tar.gz是源码，要编译才能

hadoop_src
原创 2015-06-08 15:27:11 2023 阅读

Hadoop2.0 QJM方式的HA的配置

日期：2014-05-03                            来源：Linux社区本文在《Hadoop2.0的安装和基本配置》（见 http://www.linuxidc.com/Linux/2014-05/101173.htm&

hadoop HA 配置
转载 精选 2015-06-04 18:50:36 833 阅读

hadoop中的balancer

对于HDFS集群，经常长时间的运行，尤其是大量的delete操作后，集群中各个Datanode上的空间使用率可能会存在比较大的差异。所以需要一种机制使各个Datanode保持平衡，防止少数Datanode存储过多的文件。少数使用率过高的Datanode会导致对其的数据访问效率变低，并且如果该Datanode挂掉，需要更多的时间进行恢复，对集群也会造成更大的影响。Hadoop中已经提供了balanc

hadoop balancer
转载 精选 2015-06-03 17:22:06 704 阅读

搭建 hadoop2 自动切换HA 集群

hadoop2 比 hadoop1的一些新的功能：其中HA解决了hadoop1的单点故障问题1) 各节点：namenode：master   slave3datanode：slave1  slave2  slave3journalnode：master  slave1  slave3zookeeper: master  

hadoop2 HA
原创 2015-05-31 18:48:32 1229 阅读

ZooKeeper的分布模式安装

2013年08月10日  hadoop及周边, zookeeper  3条评论ZooKeeper(以下简称ZK)是一个分布式协调服务框架，可以做到各节点之间的数据强一致性。简单的理解就是在一个节点修改某个变量的值后，在其他节点可以最新的变化，这种变化是事务性的。通过在ZK节点上注册监听器，就可以获得数据的变化。1.确定集群结构我们打算在三个节点安装

zookeeper
转载 精选 2015-05-26 18:21:27 391 阅读

Hadoop集群的NameNode的备份

Hadoop集群中，NameNode节点存储着HDFS上所有文件和目录的元数据信息如果NameNode挂了，也就意味着整个Hadoop集群也就完了所以，NameNode节点的备份很重要，可以从以下2个方面来备份NameNode节点1. 在hdfs-site.xml中，配置多个name的dir到不同的磁盘分区上：<property>    <name&

namenode备份
转载 精选 2015-05-26 16:58:11 2069 阅读

hadoop入门之namenode工作特点介绍

本文主要介绍了hadoop中namenode的工作特点，，namenode在将metadata写到editlog的时候会同步到磁盘，大家参考使用吧namenode始终在内存中保存metedata（整个文件系统的目录结构，每个目录有哪些文件，每个文件有哪些分块及每个分块保存在哪个DataNode上），用于处理“读请求”（不需要修改内容）到有“写请求”到来时，namenode会首先对metedata修

hadoop
namenode
转载 精选 2015-05-21 14:17:39 399 阅读

Hadoop删除节点

1.集群配置 修改conf/hdfs-site.xml文件<property> <name>dfs.hosts.exclude</name> <value>/data/soft/hadoop/conf/excludes</value> <description>Names a&

del
hadoop
node
转载 精选 2015-05-21 10:18:32 679 阅读

HDFS副本存放、读取原理

HDFS作为Hadoop中 的一个分布式文件系统，而且是专门为它的MapReduce设计，所以HDFS除了必须满足自己作为分布式文件系统的高可靠性外，还必须为 MapReduce提供高效的读写性能，那么HDFS是如何做到这些的呢？首先，HDFS将每一个文件的数据进行分块存储，同时每一个数据块又保存有多个 副本，这些数据块副本分布在不同的机器节点上，这种数据分块存储+副本的策略是HDFS保证可

hadoop
HDFS
转载 精选 2015-05-20 15:56:27 6390 阅读

Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 全部文章 热门标签 班级博客
了解我们 网站地图 意见反馈
友情链接
鸿蒙开发者社区 51CTO学堂
51CTO 软考资讯