11.3hadoop 维护：备份、委任解除节点、升级1.1 维护1.1.1 日常管理过程（1） namenode元数据备份使用dfsadmin下载最新的fsimage镜像文件hdfs dfsadmin –fetchImage fsimage.backup（2）&nbs
大数据再出发-06Hadoop(优化&特性&HA) 文章目录大数据再出发-06Hadoop(优化&特性&HA)一、Hadoop数据压缩1.1 概述1.2 MR支持的压缩编码1.3 压缩方式选择1.3.1 Gzip压缩1.3.2 Bzip2压缩1.3.3 Lzo压缩1.3.4 Snappy压缩1.4 压缩位置选择1.5 压缩参数配置二、Hadoop企业优化2.1 Ma
根据HA架构图，规划HA的分布式集群服务器HA集群规划配置参考图根据官方文档配置HA部分说明Architecture在典型的ha集群中，两台独立的机器被配置为namenode。在任何时间点，一个namenodes处于活动状态，另一个处于备用状态。活动NameNode负责集群中的所有客户端操作，而备用服务器只是充当从服务器，保持足够的状态，以便在必要时提供快速故障转移。备用节点与活动节点保持状态同步
转载
2024-04-29 20:30:10
53阅读
开源的数据分析平台，解决了大数据(大到一台计算机无法进行存储，一台计算机无法在要求的时间内进行处理)的可靠存储和处理。适合处理非结构化数据，包括HDFS，MapReduce基本组件与扩展组件Pig、Hive、Hbase、Sqoop、Flume、ZooKeeper和Spark等。 互联网科技发展蓬勃兴起，人工智能时代来临，抓住下一个风口。为帮助那些往想互联网方向转行想学习，却因为时间不够，
1、HDFS 是做什么的 HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储，为超大数据集（Large Data Set）的应用处理带来
转载
2024-05-23 11:04:57
0阅读
大数据技术之 Hadoop-HDFS概述1. HDFS 产出背景及定义2. HDFS 优缺点3. HDFS 组成架构4. HDFS 文件块大小 1. HDFS 产出背景及定义1）HDFS 产生背景随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS 只是分布式文
转载
2024-03-22 20:58:58
26阅读
目录1、概述1.1 文件系统协议1.2 区别2、HDFS常用命令2.1 hdfs文件系统命令2.1.1 文件夹路径增删改查2.1.2 空间大小查看2.1.3权限管理类2.1.4文件操作（上传下载复制）2.1.5 判断2.1.6 系统功能管理3、运维命令4、 mapreduce命令5、 hdfs系统检查工具fsck6、运行pipies作业1、概述1.1 文件系统协议HDFS Sh
转载
2023-07-13 16:55:54
64阅读
NameNode：NameNode 是 HDFS 的主节点，负责管理文件系统的元数据，包括文件和目录的结构、文件到数据
原创
2024-04-13 22:31:45
113阅读
随着大数据技术的发展，HDFS作为Hadoop的核心模块之一得到了广泛的应用。为了系统的可靠性，HDFS通过复制来实现这种机制。但在HDFS中每一份数据都有两个副本，这也使得存储利用率仅为1/3，每TB数据都需要占用3TB的存储空间。随着数据量的增长，复制的代价也变得越来越明显：传统的3份复制相当于增加了200%的存储开销，给存储空间和网络带宽带来了很大的压力。因此，在保证可靠性的前提下如何提高
转载
2024-04-19 17:54:09
80阅读
Hadoop之HDFS1.Hdfs1.1 Hdfs的数据上传和读取过程1.1.1 hdfs写文件的步骤1.1.2 hdfs读文件的步骤1.2 JAVA如何读取HDFS1.3 HDFS上NameNode的fsimage和edits文件 说明，感谢亮哥长期对我的帮助，此处多篇文章均为亮哥带我整理。以及参考诸多博主的文章。如果侵权，请及时指出，我会立马停止该行为；如有不足之处，还请大佬不吝指教，以期
转载
2024-05-02 10:20:40
22阅读
离线计算组件1.1 hive hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。但是在转换为MapReduce的计算过程中，计算速度
转载
2023-08-28 20:47:02
100阅读
HDFS: 用于存放一切信息的分布式的文件系统。大数据系统由于其涉及到的数据量较大所以往往需要仰赖于一个数据仓库系统，将所有的数据能够分门别类地存储起来，而HDFS就是这样一个仓库。需要注意一点，HDFS并不是我们通常实际用来查询或者处理数据的数据仓库组件，其更像是仓库本身，是一个偏硬件，偏系统化的概念，用于将所有的信息都囊括进去。MapReduce: 软件框架，编写程序。用于实际进行计算数据
转载
2024-01-15 17:48:21
47阅读
文章目录一、Hadoop&HIVE1.1 HDFS读写流程1.1.1 HDFS读流程1.1.2 HDFS写流程1.2 HDFS文件和目录数过多问题1.3 文件压缩格式及存储格式1.3.1 存储格式1.3.2 压缩格式1.4 MR Shuffle过程1.5 MR任务优化1.5.1 输入小文件过多1.5.2 数据倾斜1.6 HIVE SQL1.7 HIVE架构及解析成MR的过程1.8 HIV
转载
2024-02-22 23:49:20
40阅读
大数据性能测试的目的1.大数据组件的性能回归，在版本升级的时候，进行新旧版本的性能比对。2.在新版本/新的生产环境发布之后获取性能基线，建立可度量的参考标准，为其他测试场景或者调优过程提供对比参考。3.在众多的发行版本中进行测试比对，为PoC测试提供参考数据。4.支持POC测试，得出结论，到时候可以根据业务模型和需求，或者根据客户需求选择不同的方案。5.在客户方进行性能测试，达到客户要求的性能标准
转载
2023-12-15 08:49:39
36阅读
Spark SQLSpark SQL 是 Spark 处理结构化数据的程序模块。它将 SQL 查询与 Spark 程序无缝集成,可以将结构化数据作为 Spark 的 RDD 进行查询。RDD 的全称为 Resilient Distributed Datasets，即弹性分布式数据集，是 Spark 基本的数据结构。Spark 使用 RDD 作为分布式程序的工作集合，提供一种分布式共享内存的受限形式
转载
2024-07-04 04:15:32
62阅读
大数据平台架构：大数据平台组件：简单介绍一下大数据平台的一般架构？列举一些常见的组件1、数据源大数据处理的起点，数据来源一般包括：业务数据、日志数据、埋点数据、第三方数据。2、数据采集数据采集(或数据同步)是将各种数据来源统一采集/同步到数据仓库中，包括全量和增量两种采集方式。常用的采集工具包括：Sqoop：用于HDFS与关系型数据库(如：mysql、Postgres、Oracle)之间的同步。C
转载
2023-11-27 09:01:22
71阅读
大数据概要流程图解析1)数据采集：定制开发采集程序，或使用开源框架FLUME 2)数据预处理：定制开发mapreduce程序运行于hadoop集群 3)数据仓库技术：基于hadoop之上的Hive 4)数据导出：基于hadoop的sqoop数据导入导出工具 5)数据可视化：定制开发web程序或使用kettle等产品 6)整个过程的流程调度：hadoop生态圈中的oozie工具或其他类似开源产品什么
转载
2023-10-20 13:26:05
78阅读
作为Hadoop的分布式文件系统的HDFS，是Hadoop框架学习当中的重点内容，HDFS的设计初衷，是致力于存储超大文件，能够通过构建在普通PC设备上的集群环境，以较低成本完成大规模数据存储任务。今天的大数据入门分享，我们就主要来讲讲HDFS数据读写机制。HDFS在数据存储上，具备高可靠性，提供容错机制，为整个Hadoop框架的数据处理提供了更稳固的底层支持。这其中，HDFS数据读写机制是发挥着
转载
2024-02-19 18:15:36
97阅读
一.HDFS介绍HDFS全称Hadoop Distribute File System，是一个基于Java的分布式文件系统。 HDFS是Hadoop的核心设计之一，是为了解决海量数据的存储问题。在Hadoop集群中，将HDFS作为底层存储系统来存储分布式环境中的数据。目前使用版本hadoop2.7.1，官网地址：http://hadoop.apache.org/docs/r2.7.1/二.HDFS
转载
2023-08-07 11:58:08
345阅读
JobTracker 分配工作给若干机器. TaskTracker: 负责监督 光纤交换机. 块的概念: 一个块 64M. 还可以是 128M. 大文件切割成这种小块, 然后分布存储在不同机器上. 当然也可以并行处理. 名称节点: 整个 HDFS 集群管家, 负责元数据的存储. (index 数据块
转载
2020-02-29 11:48:00
107阅读
2评论
