引言Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读
转载
2024-06-25 17:12:34
62阅读
首先secondary namenode不是namenode的备份，而是辅助namenode管理的，分担namenode的压力。此外，fsimage镜像文件读取数据到内存速度远快于读取edit日志文件，因此不能让edit的日志过大，所以定期把edit的内容合并到镜像磁盘中，这个合并过程就要用到secondary namenode。 fsimage：filesystem ima
转载
2023-12-24 18:41:48
40阅读
## Hadoop3存储机制
Hadoop是一个开源的分布式存储和计算框架，其中的Hadoop3版本引入了新的存储机制，可以更好地处理大规模数据。在Hadoop3中，存储机制主要包括HDFS、YARN、以及MapReduce等组件。
### HDFS存储机制
HDFS（Hadoop Distributed File System）是Hadoop中的分布式文件系统，它将大文件分割成块并存储在不
原创
2024-05-20 04:28:08
38阅读
1.大数据(1) 概念a.无法在一定时间内通过常规软件进行抓取、管理和处理的数据b.解决海量数据的存储和计算问题(2)特性：数量大Volume，增长快Velocity，种类多Variety，价密低Value(3)固有特性：时效性，不可改变性(4)分布式计算 a.传统分布式：1) 多数据节点-copy data->但计算节点 master2) 特点：数据量小，受限于单体计
Hadoop2.x与Hadoop3.x主要存在以下差异：1）LicenseHadoop 2.x - Apache 2.0，开源Hadoop 3.x - Apache 2.0，开源2）支持的最低Java版本Hadoop 2.x - java的最低支持版本是java 7Hadoop 3.x - java的最低支持版本是java 83）容错Hadoop 2.x - 可以通过复制（浪费空间）来处理容错。H
转载
2023-07-13 14:26:30
230阅读
# Hadoop 3 SSD 冷热存储实现指南
在大数据处理的领域，如何高效利用存储资源是一项重大挑战。Hadoop 3 对于冷热数据的管理提供了支持。冷热存储的概念是将经常访问的数据（热数据）存储在较快的存储设备（如 SSD）上，而将不经常访问的数据（冷数据）存储在较慢或容量较大的设备（如 HDD）上。下面，我们将通过几个步骤来实现 Hadoop 3 SSD 的冷热存储。
## 整体流程
虽然企业开发、生产一般多用比较稳定较前版本，但 自己在学习新技术时比较喜欢用较新版本软件，而网上更多的资料是Centos6中搭建Hadoop2,故在Centos7中搭建Hadoop3.2时，参考的是网上的前者资料，遇到很多问题，故在搭建通hadoop后，将搭建过程整理了一遍，并在文中将影响搭建的Centos6和Centos7差别、Haoop2和Hadoop3的
转载
2024-10-12 13:59:33
54阅读
数据库容器化作为下一代数据库基础架构基于编排架构管理容器化数据库采用计算存储分离架构
这和我们在私有 RDS 上的技术选型不谋而合，尤其是计算存储分离架构。
在我们看来，其最大优势在于：
计算资源 / 存储资源独立扩展，架构更清晰，部署更容易。将有状态的数据下沉到存储层，Scheduler 调度时，无需感知计算节点的存储介质，只需调度到满足计算资源要
转载
2024-05-20 10:51:37
43阅读
处节点设置为：IP主机名节点192.168.10.11 mater NameNode（NN）、DataNode（DN）192.168.10.12 slave01Secondary NameNode（SN）、DataNode（DN）192.168.10.13slave02 DataNode（DN）
转载
2023-07-13 14:26:14
204阅读
文章目录准备工作部署规划安装配置zookeeper下载安装目录规划将下载的二进制包移动到/usr/local/hadoop目录，解压缩文件包配置设置环境变量启动安装配置hadoop新建hadoop用户以及用户组，并赋予sudo免密码权限目录规划下载、解压配置环境变量配置复制Hadoop配置好的包到其他5台服务器启动zookeeper集群启动journalnode格式化HDFS（仅第一次启动执行）
转载
2024-01-26 07:36:48
103阅读
Hadoop 3.x的发展Hadoop版本包括Hadoop 1.x、Hadoop 2.x和Hadoop 3.x。本节将以Hadoop 3.1.0为例，完成HDFS高可用的搭建。Hadoop 3新特性Hadoop 3.1.0 GA版本于2017年12月份正式发布。Hadoop 3相较于Hadoop 2有一些新特性，包括基于JDK 1.8、HDFS可擦除编码、MR Native Task优化、基于Cg
转载
2023-07-13 14:26:18
150阅读
HDFS 中心缓存管理 中心缓存管理器（CacheManager）和缓存块监控服务（CacheReplicationMonitor）适用场景、中心缓存管理的原理、命令使用。1.HDFS 缓存适用场景公共资源文件短期临时的热 数据文件2.HDFS 缓存的结构设计  
转载
2023-08-25 10:52:45
78阅读
# Hadoop HDFS 的数据副本机制与空间管理
在大数据的时代，数据的存储与处理是核心任务之一。Hadoop 作为最流行的大数据处理框架，其分布式文件系统 HDFS（Hadoop Distributed File System）提供了一种高效的方式来存储和访问海量数据。在 HDFS 中，数据的副本机制是保证数据可靠性和高可用性的重要手段。然而，副本的数量可能会导致存储空间的浪费。本文将深入
Hadoop Security Authentication Terminology --KerberosWhat is kinit?Kinit - obtain and cache Kerberos ticket-grantingticketIf you use the kinit commandto get your tickets, make sure you use the kdestro
转载
2023-08-22 13:33:35
150阅读
文章目录1. linux ssh免密登陆配置2. java环境配置3. Hadoop完全分布式(full)4. Hadoop HDFS高可用集群搭建（HA）4.1 安装配置zookeeper4.2 安装配置hadoop HA4.3 Hadoop HDFS HA集群的启动步骤5. Hadoop MapReduce、YARN 高可用集群搭建5.1 修改 mapred-site.xml5.2 修改ya
转载
2024-02-23 11:04:34
76阅读
简介： 本篇博客主要是供自己学习使用，且本篇博客还要很多内容没有补充完整，最近都很忙，后续有时间了都会相继补上，如有不足的地方还望各位大佬谅解，同时欢迎批评指出，谢谢！hadoop2.x新特性集群间的数据拷贝scp实现两个远程主机之间的文件复制scp -r hello.txt root@bdc113:/user/lqs/hello.txt //推 push
scp -r root@bdc113:/
转载
2023-11-12 09:35:10
79阅读
Erasure Code - EC纠删码原理
一、什么是Erasure Code
Erasure Code（EC），即纠删码，是一种前向错误纠正技术（Forward Error Correction，FEC，说明见后附录），主要应用在网络传输中避免包的丢失， 存储系统利用它来提高 存储
转载
2023-07-18 17:45:44
425阅读
在这篇文章中，我们将讨论Hadoop 2.x与Hadoop 3.x之间的比较。 Hadoop3版本中添加了哪些新功能，Hadoop3中兼容的Hadoop 2程序，Hadoop 2和Hadoop 3有什么区别？ 我们希望Hadoop 2和Hadoop 3之间的这个功能的区别将帮助回答上述问题。大数据Hadoop2.x与Hadoop3.x相比较有哪些变化Hadoop 2.x与Hadoop 3.x之间的
转载
2023-08-24 23:33:13
181阅读
HADOOP集群各组件性能调优配置原则如何发挥集群最佳性能原则1：CPU核数分配原则原则2：内存分配原则3：虚拟CPU个数分配原则4：提高磁盘IO吞吐率影响性能的因素因素1：文件服务器磁盘I/O因素2：文件服务器网络带宽因素3：集群节点硬件配置因素4：SFTP参数配置因素5：集群参数配置因素6：Linux文件预读值因素7：Jsch版本选择HBase提升 BulkLoad 效率操作场景前提条件操作步
转载
2023-07-13 14:24:59
189阅读
Spark已经取代Hadoop成为最活跃的开源大数据项目，但是，在选择大数据框架时，企业不能因此就厚此薄彼近日，著名大数据专家Bernard Marr在一篇文章中分析了Spark和 Hadoop 的异同 Hadoop和Spark均是大数据框架，都提供了一些执行常见大数据任务的工具，但确切地说，它们所执行的任务并不相同，彼此也并不排斥虽然在特定的情况下，Spark据称要比Hadoop快10
转载
2023-07-24 12:48:41
86阅读
