27 Jan 2013
平台环境CentOS 6.XJDKHadoop 1.0.4参照 hdfs-default.xml
NameNodedfs.name.dir预设值 : ${hadoop.tmp.dir}/dfs/name说明 : 指定本机上存取 fsimage 及 editlog 的目录，这个目录非常的重要，如果损毁就无法存取 HDFS 的资料了，所以不建议放在 ${hadoop.tm
转载
2024-04-30 23:31:09
35阅读
Hadoop分布式文件系统前提和设计目标：1、硬件错误是常态，而非异常情况，HDFS可能是有成百上千的server组成，任何一个组件都有可能一直失效，因此错误检测和快速、自动的恢复是HDFS的核心架构目标。2、跑在HDFS的应用与与一般的应用不同，它们主要是以流式读为主，做批量处理；比之关注数据访问的低延迟问题，更关键的在于数据访问的高吞吐量(单位时间内成功传送数据的数量)。3、HDF
一.定义HDFS(Hadoop Distributed File System):它是一个文件系统，用于储存文件，通过目录树来定位文件。同时，它是分布式的，由很多服务器联系起来实现其功能，集群的服务器有各自的角色。HDFS的使用场景：适合一次写入，多次读入的场景，且不支持文件的修改。适合用来做数据分析，不适合做网盘应用。二.优点1.高容错性：a）：数据自动保存为多个副本。它通过增加副本的方式，提高
转载
2023-07-12 10:11:00
76阅读
1.Hdfs概述1.hdfs是hadoop生态圈中甚至大数据生态圈必不可少的一个组件。 hdfs 是Hadoop Distribute File System 简称。最为最为底层的分布式存储服务而存在。2.其设计思想是采取“分而治之”的思想：将大文件，大批量文件，分布式存放在大量服务器上，以便于分而治之对这些文件进行运算分析。设计目标：1**.故障检测及快速恢复**。 Hdfs是有成千上万个服务器
转载
2024-03-31 15:55:32
38阅读
搭建HDFS高可用在搭建hdfs高可用过程中，以node1、node2和node3来搭建高可用环境，每个节点所分配的作用如表4.3所示。 由表4.3中可以看出，NameNode（NN）分别配置在node1和node2上，ZKFC配置在node1和node3上，JournalNode（JN）配置在node1、node2和node3上，ZooKeeper（ZK）配置在
转载
2023-07-12 11:41:14
413阅读
工作中需要使用Hadoop环境，在三节点上搭建了一套Hadoop环境，顺便做下笔记。因为机器内存较低，没有使用CDH，为保证和线上环境一致，使用Hadoop等版本和CDH5.10的一致。
一、环境及软件准备设置ip地址，hosts，ssh免密登录，scp，sudo，关闭防火墙，yum，ntp时间同步 略。Java安装 略
转载
2023-12-27 12:57:13
60阅读
目的 本指南概述HDFS的高可用性(HA)的特性,以及如何配置和管理HA HDFS集群,使用NFS实现NameNode共享存储 本文假设读者有一个大致了解通用组件和一个HDFS集群中的节点类型。详情请参阅HDFS架构指南。
注意：QJM或者共享存储
本指南讨论如何配置使用HDFS HA使用NFS目录在活跃的和备份的NameNode之间分享edit日志，对于如何通过QJM实现HA请参
转载
2024-08-07 18:09:50
102阅读
这里写自定义目录标题一. 原理分析二. 搭建HDFS高可用集群1. 环境准备2. 安装zookeeper3. zookeeper 安装包下载4.准备3个zk下创建数据存放目录5.在每个数据文件夹中准备一个myid文件6. 编辑每个data目录中myid7. 将zk配置文件zoo.cfg创建在zkdata目录中8.启动zk节点8. 查看zk角色信息9. 其他三台Hadoop机器10.配置hadoo
转载
2023-11-02 08:25:32
85阅读
一、HttpFS的简介在项目中使用到 HDFS 作为存储，为了在不同的环境下都可以使用 HDFS 上的数据，我们使用采用了 HttpFS 服务，这样不需要部署 Hadoop 的环境，就可以访问到了，无论是 Windows 还是 Linux 。为什么不用 WebHDFS 呢？因为这个我们的集群 NameNode 是 HA 的，所以在访问文件前，需要确认 Active 的 NameNode，而且比较不
转载
2024-04-20 21:17:00
100阅读
HDFS是一个分布式文件系统，安装完成之后使用起来类似于本地文件系统，但是它是一个网络文件系统，所以访问这种文件系统的方式和访问本地文件系统的方式还是有所差别的(本地文件系统的方式是基于系统调用的，当然也有类似NFS这样的网络文件系统可以使用和本地文件系统相同的访问方式，那是因为已经在内核中安装了NFS，而HDFS只是一个应用层的服务程序罢了)。但是这些命令看上去还是和常用的shell命令很类似的
转载
2024-04-17 09:46:47
32阅读
文章目录注意事项Hadoop 和 Hive 整合搭建Hive1. 安装MySQL2. 安装Hive3. 启动Hive4. DataGrip连接hive 注意事项Hive是一款基于Hadoop的数据仓库软件，不管使用何种方式配置Hive Metastore，必须先保证服务器的基础环境正常，Hadoop集群健康可用服务器基础环境集群时间同步、防火墙关闭、主机Host映射、免密登录、JDK安装Hado
转载
2024-04-08 07:08:22
42阅读
不定期更新HDFShdfs异构存储：2.6版本新增在一个集群内实现冷热数据的存储。storagetype：ram_disk，ssd，disk，archive 由快到慢，内存/固态硬盘/硬盘/压缩，默认为disk硬盘。archive为高密度的存储介质。异构存储的步骤：1 datanode通过心跳汇报自身数据存储目录的storagetype给namenode。2 namenode进行汇总并更新集群内各
高可用HDFS集群部署集群规划说明：在hadoop2.0中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，而Standby NameNode则不对外提供服务，仅同步active namenode的状态，以便能够在它失败时快速进行切换。 hadoop2.0官方提供了两种HDFS HA的解决方案，一种是NFS，另一种是
转载
2024-04-19 14:34:32
36阅读
Hadoop学习Hadoop概述及CentOS安装和使用一. Hadoop概述1.HDFS2.MapReduce二.准备工作1.安装虚拟机软件 Vmware Workstation Pro2.安装Linux操作系统（CentOS7.4）下载CentOS镜像文件安装CentOSCentOS配置 Hadoop概述及CentOS安装和使用一. Hadoop概述Hadoop是一个分布式系统基础架构，用户
转载
2024-03-29 21:15:32
33阅读
序言 使用HDFS的主要目的，是为了解决大批量的数据运算。因为很多计算框架都是基于HDFS的cuiyaonan2000@163.com。本次的hadoop为最新的稳定版本hadoop-3.3.0.tar.gz。简介Hadoop分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统（Distribut
转载
2024-05-27 19:09:59
32阅读
环境准备zookeeper：zookeeper-3.4.14hadoop：hadoop-2.8.5hbase：hbase-1.4.13master：namenode、resourcemanager，slave1：secondarynamenode、datanode，slave2：datanode一、Hadoop集群搭建1、hadoop安装包解压tar zxvf hadoop-2.8.5.tar.g
RAID（Redundant Array of Independent Disks）是一种通过将多个硬盘组合起来以提高性能和容错能力的技术。RAID 5是其中的一种常见的RAID级别，它通过将数据和奇偶校验分布到多个硬盘上来实现数据冗余和容错能力。
当需要向一个RAID 5阵列中添加新的硬盘时，有时候需要重新做RAID以保证数据的完整性。下面我将用步骤表格的形式展示在向RAID 5中添加硬盘时需
原创
2024-04-28 11:46:11
2082阅读
操作系统——文件链接组织方式存在的问题及解决方法一、文件的三种外存组织方式1.2 连续组织方式1.3 链接组织方式1.3.1 隐式链接1.3.2 显式链接1.3.3 链接组织的优点与缺点1.4 索引组织方式1.4.1 单级索引组织方式1.4.2 多级索引分配二、文件存储空间的管理方法2.1 并发控制2.2 重复数据的数据一致性问题 一、文件的三种外存组织方式文件的物理结构直接与外存的组织方式有关
转载
2024-07-07 07:57:03
20阅读
前期工作： 1.hadoop2.x集群首先要搭建好，我这里是分布式，三台虚拟机 2.要进行时间同步（很重要），我这里用的是ntp服务一、搭建zookeeper 1.上传zookeeper安装包，并且将安装包解压到/opt/modules/目录下 2.进入zookeerper目录，创建一个data文件夹，并在data文件夹里面创建一个myid文件，在myid文件中写入数字0 命
转载
2024-02-04 09:53:55
50阅读
HDFS HA配置的完整步骤部分内容参考了这篇文章： 。其中配置文件时基于我的集群信息做的，还增加了配置中遇到的问题和解决办法。 最近了解了Hadoop后，又开始涉及Hadoop 2.0相关的知识，所以后续我会陆陆续续把2.0相关的一些知识和学习总结整理上来。 这里是QJM方式的HA配置，众所周知，HDFS HA一般是基于NFS公共存储的，这里不采用NFS。主要步骤： 1. zookeeper集
转载
2023-11-03 06:10:11
93阅读
