在
2.x 终于实现了快照设置一个目录为可快照:hdfs dfsadmin -allowSnapshot <path>取消目录可快照hdfs dfsadmin -disallowSnapshot <path>生成快照hdfs dfs -createSnapshot <path>
原创
2014-11-25 22:26:11
1339阅读
Hadoop 2.0产生背景 Hadoop1.0中HDFS和MapReduce在高可用、扩展性等方面存在问题 HDFS存在的问题 NameNode单点故障，难以应用于在线场景 NameNode压力过大，且内存受限，影响系统扩展性 MapReduce存在的问题 JobTracker访问压力大，影响系统
原创
2022-06-10 19:57:46
207阅读
1、关闭防火墙 systemctl stop firewalld.service #停止firewallsystemctl disable firewalld.service #禁止firewall开机启动 查看防火墙状态firewall-cmd --state systemctl status f ...
转载
2021-09-17 20:23:00
430阅读
2评论
1. Hadoop 3.0简介Hadoop 2.0是基于JDK 1.7开发的，而JDK 1.7在2015年4月已停止更新，这直接迫使Hadoop社区基于JDK 1.8重新发布一个新的Hadoop版本，而这正是hadoop 3.0。Hadoop 3.0的alpha版预计今年夏天发布，GA版本11月或12月发布。Hadoop 3.0中引入了一些重要的功能和优化，包括HDFS 可擦除编码、多Namen
转载
2023-09-06 22:09:39
64阅读
上传hadoop安装包 上传到msater的/usr/local/soft/ hadoop-2.7.6.tar.gz 解压 tar -xvf hadoop-2.7.6.tar.gz 配置环境变量 vim /etc/profile 增加hadoop环境变量，将bin和sbin都配置到PATh中 exp ...
转载
2021-09-17 16:30:00
169阅读
2评论
配置HDFS联邦配置etc/
hadoop/hdfs-site.xml<configuration>
<property>
<name>dfs.nameservices</name>
<value>ns1,ns
2</value>
</property>
&
原创
2014-11-25 22:24:15
1524阅读
HDFS2.0之HA 主备NameNode： 1、主NameNode对外提供服务，备NameNode同步主NameNode元数据，以待切换； 2、主NameNode的信息发生变化后，会将信息写到共享数据存储系统中让备NameNode合并到自己的内存中； 3、所有DataNode同时向两个NameNo
转载
2017-10-16 22:28:00
103阅读
2评论
HA结构图 HA是用来解决单点故障问题 DN: DataNode，启动时会往所有的NameNode汇报 NN: NameNode(主 Active(一个) 备 Standby(可以有多个)) JournalNodes:JournalNodes就是用来存储元数据的,是一个集群，节点数量必须为奇数个。
原创
2022-06-10 19:57:53
104阅读
代码下载地址；https://github.com/winghc/hadoop2x-eclipse-plugin.git$cd src/contrib/eclipse-plugin$ant jar -Dversion=2.3.
原创
2022-07-28 17:13:49
86阅读
hadoop-daemon.sh与hadoop-daemons.sh区别hadoop-daemon.sh只能本地执行hadoop-daemons.sh能远程执行1. 启动JNhadoop-daemons.sh start journalnodehdfs namenode -initializeSharedEdits //复制edits log文件到journalnode节点上，
原创
2015-11-11 14:40:23
2304阅读
HDFS联邦HDFS HAHDFS快照回顾: HDFS两层模型Namespace: 包括目录, 文件和块. 它支持所有命名空间相关的文件操作, 如创建, 删除, 修改, 查看所有文件和目录Block Storage Service (块存储服务) 包括两部分1. 在namenode中的块的管理提供datanode集群的注册, 心跳检测等功能.处理块的
原创
2014-11-25 22:23:18
1112阅读
在 Hadoop 的 JAR 压缩包解压后的目录 hadoop-{VERSION} 中包含了 Hadoop 全部的管理脚本和 JAR 包，下面简单对这些文件或目录进行介绍。
（1）bin：Hadoop 最基本的管理脚本和使用脚本所在目录，这些脚本是 sbin 目录下管理脚本的基础实现，用户可以直接使用这些脚本管理和使用 Hadoop。 （2）etc：Hadoop 配置文件所在的目录，包括 cor
转载
2023-11-08 23:46:35
97阅读
一、首先安装docker环境二、安装Rancher服务器在docker的基础上启动rancher服务器，Rancher 服务器是一个 Docker image，所以其软件本身不需要安装，只需要执行 Docker 命令下载并且成功运行 Docker 服务器镜像即可。sudo docker run -d --restart=always -p 8080:8080 rancher
原创
2019-06-10 14:23:00
84阅读
前期规划 192.168.100.231 db01 192.168.100.232 db02 192.168.100.233 db03 一、安装java [root@master ~]# vim /etc/profile 在末尾添加环境变量： export JAVA_HOME=/usr/java/j
原创
2021-08-07 11:13:34
177阅读
一、主机服务规划： db01 db02 db03 db04 db05 namenode namenode journalnode journalnode journalnode datanode datanode datanode datanode datanode zookeeper zookee
原创
2021-08-07 11:27:01
352阅读
Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。 这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooK
转载
2019-01-05 16:23:00
176阅读
2评论
1. HDFS概述1.1 体系结构HDFS是一个主从（Master/Slave）体系结构的分布式系统。Namenode是HDFS的Master节点，负责管理文件系统的命名空间（namespace），以及数据块到具体Datanode节点的映射等信息。集群中的Datanode一般是一个节点一个，负责管理它所在节点的存储。1.2 RPC接口Hadoop RPC接口主要定义在org.apache.hado
转载
2024-06-29 09:42:29
58阅读
最低Java版本从7升级到8引入纠删码(Erasure Coding)主要解决数据量大到一定程度磁盘空间存储能力不足的问题.HDFS中的默认3副本方案在存储空间中具有200%的额外开销。但是，对于I/O活动相对较少冷数据集，在正常操作期间很少访问其他块副本，但仍然会消耗与第一个副本相同的资源量。纠删码能勾在不到50%数据冗余的情况下提供和3副本相同的容错能力，因此，使用纠删码作为副本机制的改进是自
原创
2022-06-24 11:43:40
529阅读
今天尝试在Hadoop 2.x(YARN)上安装和配置LZO，遇到了很多坑，网上的资料都是基于Hadoop 1.x的，基本没有对于Hadoop 2.x上应用LZO，我在这边记录整个安装配置过程1. 安装LZO下载lzo2.06版本，编译位版本，
转载
2013-09-02 18:18:00
134阅读
