HDFS分布式文件系统：
优点：支持超大文件存储、流式访问、一次写入多次读取。
缺点：不适应大量小文件、不适应低时延的数据访问、不适应多用户访问任意修改文件。
转载
2023-05-30 12:20:22
81阅读
一、写在前面上一篇文章，我们聊了一下Hadoop中的NameNode里的edits log写机制。主要分析了edits log写入磁盘和网络的时候，是如何通过分段加锁以及双缓冲的机制，大幅度提升了多线程并发写edits log的吞吐量，从而支持高并发的访问。如果没看那篇文章的同学，可以回看一下：大规模集群下Hadoop NameNode如何承载每秒上千次的高并发访问。这篇文章，我们来看看，Hado
转载
2023-07-24 11:03:24
67阅读
最近一直在看Hadoop分布式计算框架，也打算在这个基础之上做一些简单的应用研究。在研读了一些Hadoop相关的论文之后，发现做理论研究的一般都很少提及Hadoop的安装与搭建。作为一个实践派的骨灰级粉丝，我决定从搭建Hadoop环境开始认识这个仅仅0.2的版本号就能被推上神坛的分布式计算框架。查阅了一些资料，发现Hadoop似乎只支持在Linux上部署生产环境，如果在Windows下部署开发调试
1、前言HDF文件是遥感应用中一种常见的数据格式，因为其高度结构化的特点，笔者曾被怎样使用Hadoop处理HDF文件这个问题困扰过相当长的一段时间。于是Google各种解决方式，但都没有找到一种理想的处理办法。也曾參考过HDFGroup官方发的一篇帖子（网址在这里），里面提供了使用Hadoop针对大...
转载
2015-05-07 18:51:00
228阅读
2评论
# Hadoop 处理 Zip 文件入门指南
作为一名刚入行的开发者，你可能会遇到需要使用 Hadoop 来处理 Zip 文件的场景。本文将为你提供一个详细的入门指南，帮助你理解整个流程，并提供具体的代码示例。
## 流程概览
首先，让我们通过一个表格来概览整个处理流程：
| 步骤 | 描述 |
| --- | --- |
| 1 | 准备环境 |
| 2 | 将 Zip 文件上传到 HD
# Hadoop处理文件模型
## 简介
Hadoop是一个开源的分布式计算框架，它能够高效地处理大规模数据集。在Hadoop中，文件是处理的基本单位。Hadoop的文件模型提供了一种将大文件分割成小块，并在集群中进行并行处理的方法。本文将介绍Hadoop文件模型的基本概念，并通过代码示例来说明如何使用Hadoop处理文件。
## Hadoop文件模型
Hadoop文件模型基于分布式文件系
分布式文件系统，英文全称为Hadoop Distribute File System；简称：HDFS。是hadoop核心组件之一，作为最底层的分布式存储服务而存在。分布式文件系统解决的问题就是大数据存储。它们是横跨在多台计算机上的存储系统。分布式文件系统在大数据时代有着广泛的应用前景，它们为存储和处理超大规模数据提供所需的扩展能力。一、应用场景1 适合场景存储超大文件： 这里超大指的是几百MB、G
Hadoop的主核心有2部分：1，HDFS2, MapReduce 首先：HDFSHDFS（Hadoop Distributed File System，Hadoop分布式文件系统），它是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，适合那些有着超大数据集（large data set）的应用程序。 HDFS的设计特点是：1、大数据文件，非常适
转载
2023-08-17 17:28:39
52阅读
小文件是指文件size小于HDFS上block大小的文件。这样的文件会给hadoop的扩展性和性能带来严重问题。首先，在HDFS中，任何block，文件或者目录在内存中均以对象的形式存储，每个对象约占150byte，如果有1千万个小文件，每个文件占用一个block，则NameNode大约需要2G空间。
转载
2023-07-24 11:26:03
74阅读
pyspark_自定义udf_解析json列【附代码】一、背景：二、调研方案：三、利用Pyspark + udf自定义函数实现大数据并行计算整体流程案例代码运行结果：案例代码：代码地址：代码 一、背景：车联网数据有很多车的时序数据，现有一套云端算法需要对每一辆车历史数据进行计算得到结果，每日将全部车算一遍存到hive数仓中二、调研方案：1、python脚本运行，利用pyhive拉取数据到pand
HDFS小文件弊端：
HDFS上每个文件都要在namenode上建立一个索引，这个索引的大小约为150byte，这样当小文件比较多的时候，就会产生很多的索引文件，一方面会大量占用namenode的内存空间，另一方面就是索引文件过大是的索引速度变慢。
解决的方式：
1：Hadoop本身提供了一
转载
2023-07-10 17:08:17
43阅读
Hadoop相关总结一、MapReduce主要的流程图如下：总结：1、map-reduce的四个关键阶段：file切分、map阶段、shuffle阶段、reduce阶段。2、hadoop帮我们做了大部分工作，我们只需自定义map和reduce阶段。3、可以通过自定义分区函数和合并函数控制map-reduce过程的细节。4、hdfs是Hadoop的分布式文件系统，MapReduce是依赖于hdfs上
转载
2023-07-06 19:14:41
98阅读
日志数据分析：1.背景1.1 hm论坛日志，数据分为两部分组成，原来是一个大文件，是56GB；以后每天生成一个文件，大约是150-200MB之间；1.2 日志格式是apache common日志格式；每行记录有5部分组成：访问ip、访问时间、访问资源、访问状态、本次流量；27.19.74.143 - - [30/May/2013:17:38:20 +0800] "GET /static/image
小文件指的是那些size比HDFS的block size(默认128M)小的多的文件。任何一个文件，目录和block，在HDFS中都会被表示为一个object存储在namenode的内存中，每一个object占用150 bytes的内存空间。所以，如果有10million个文件，每一个文件对应一个block，那么就将要消耗namenode 3G的内存来保存
转载
2023-07-14 16:11:34
106阅读
前言hdfs并不擅长存储小文件，因为每个文件最少一个block，每个block的元数据都会在NameNode中占用150byte内存。如果存储大量的小文件，它们会吃掉NameNode节点的大量内存。MR案例：小文件处理方案Hadoop Archive或者HAR，是一个高效地将小文件放入HDFS块中的文件存档工具。它能将多个小文件打包成一个HAR文件，这样在减少NameNode内存使用的同时，仍然允
转载
2023-07-12 14:03:46
211阅读
存在Hadoop集群上的文件，大部分都会经过压缩，如果是压缩后的文件，我们直接在应用程序中如何读取里面的数据？答案是肯定的，但是比普通的文本读取要稍微复杂一点，需要使用到Hadoop的压缩工具类支持，比如处理gz，snappy，lzo，bz压缩的，前提是首先我们的Hadoop集群得支持上面提到的各种压缩文件。
本次就给出一个读取gz压缩文件的例子核心代码
转载
2023-09-06 21:22:58
86阅读
背景 最近在做一个大数据分析平台的项目，项目开发过程中使用spark来计算工作流工程中的每一个计算步骤，多个spark submit计算提交，构成了一个工作流程的计算。其中使用csv来作为多个计算步骤之间的中间结果存储文件，但是csv作为毫无压缩的文本存储方式显然有些性能不够，所以想要寻找一个存储文件效率更高或者执行效率更高的文件格式作为
1. HDFS上的小文件问题 小文件是指文件大小明显小于HDFS上块（block）大小（默认64MB）的文件。如果存储小文件，必定会有大量这样的小文件，否则你也不会使用Hadoop（If you’re storing small files, then you probably have lots of them (otherwise you wouldn’t turn to Hadoop)），这
小文件处理专题Hadoop 小文件优化方法2.3.1 Hadoop小文件弊端HDFS上每个文件都要在NameNode中都有对应的元数据，这个元数据的大小约为150byte，这样当小文件比较多的时候，一方面会大量占用NameNode的内存空间，另一方面就是元数据过多的情况查找速度变慢。小文件过多，在进行MR计算时，会导致生成过多的切片. 需要启动过多的MapTask。1.3.2
转载
2023-07-28 16:19:54
73阅读
一、概述每个小文件无论多小都会对应一个block，而每一个小文件在NameNode中都要有元数据的记录，如果存在大量小文件，则NameNode中的大量空间都用来存放这些小文件的元数据信息，其实是相当浪费的，对于NameNode的性能有比较大的影响当使用mapreduce处理大量小文件时，默认情况下mapreduce在进行切片操作时规则是和block切的规则一样，即一个block一个InputSpl
转载
2023-07-12 12:40:02
58阅读
