向HDFS写入文件的操作流程图如下： 根据上图对整个写操作的逻辑进行讲解：1.调用DistributedFileSystem.create(....)方法，在此方法中初始化DFSClient.DFSOutputStrea
转载
2024-03-23 17:37:26
41阅读
一、大数据介绍量特别大的数据，大数据特征：数据体量大高速：数据产生的速度快类型多样价值密度低真实二、HDFS 介绍HDFS 是 Hadoop Distribute File System 的简称，意为：Hadoop 分布式文件系统。是 Hadoop 核心组件之一，作为最底层的分布式存储服务而存在。分布式文件系统解决的问题就是大数据存储。它们是横跨在多台计算机上的存储系统。分布式文件系统在大数据时代
转载
2024-04-26 18:37:42
111阅读
一、NameNode和DataNode （1）NameNode NameNode的作用是管理文件目录结构，是管理数据节点的。NameNode维护两套数据：一套是文件目录与数据块之间的关系，另一套是数据块与节点间的关系。前一套是静态的，是存放在磁盘上的，通过fsimage和edits文件来维护；后一套数据时动态的，不
一、文件的打开1.1、客户端HDFS打开一个文件，需要在客户端调用DistributedFileSystem.open(Path f, int bufferSize)，其实现为：public FSDataInputStream open(Path f, int bufferSize) throws IOException {
return new DFSClient.DFSDataInput
转载
2024-10-12 12:08:13
63阅读
目录一.引言二.源码浅析1.RDD.saveAsTextFile2.TextOutputFormat 3.FileOutputFormat三.源码修改1.修改文件生成逻辑 - getRecordWriter2.允许目录存在 - checkoutputSpecs3.全部代码 - TextOutputFormatV2四.追加存储代码实战五.总结一.引言Output directory fil
转载
2023-08-01 23:58:21
90阅读
当第一次对RDD2执行算子，获取RDD3的时候，就会从RDD1开始计算，就是读取HDFS文件，然后对RDD1执行算子，获取 到RDD2，然后再计算，得到RDD3 另外一种情况，从一个RDD到几个不同的RDD，算子和计算逻辑其实是完全一样的，结果因为人为的疏忽，计算了多次，获取到了多个RDD。默认情况下，多次对一个RDD执行算子，去获取不同的RDD；都会对这个RDD以及之前的父RDD，全部重新计算
转载
2024-06-26 05:49:55
54阅读
FastDFS结合SpringBoot的使用此博客仅作本人知识点总结,许多地方都有所省略,小白勿仿一. 分布式文件系统分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连. 通俗来讲： -传统文件系统管理的文件就存储在本机。 -分布式文件系统管理的文件存储在很多机器，这些机器通过网络连接，要被统一管理
转载
2024-06-06 14:29:13
106阅读
hdfs 写流程
原创
2021-01-16 11:41:58
505阅读
# 使用Spark将数据写入HDFS的指南
在大数据处理的生态系统中，Apache Spark作为一个高效的分布式计算框架，常结合Hadoop分布式文件系统（HDFS）来处理和存储海量数据。本文将为您提供一个详细的指南，教您如何使用Spark将数据写入HDFS，并提供代码示例、流程图和序列图来帮助理解。
## 什么是HDFS？
Hadoop分布式文件系统（HDFS）是一个可以存储数十亿个文件
原创
2024-10-15 06:18:12
56阅读
## 使用Python编写HDFS
HDFS（Hadoop Distributed File System）是Apache Hadoop的核心组件之一，用于存储大规模数据，并且具有高可靠性、高性能和扩展性。在本文中，我们将介绍如何使用Python编写HDFS的相关操作。
### HDFS操作流程图
```mermaid
flowchart TD
A[连接HDFS] --> B[上传文
原创
2024-04-08 04:21:13
56阅读
一、HDFS的架构原理一个HDFS集群，包含一个单独的NameNode和多个DataNode组成；NameNode作为Master服务，它负责管理文件系统的命名空间和处理客户端对文件的访问请求。NameNode保存了文件的元数据信息（文件名，Black数量，Black所在位置等）。NameNode同时会接受DataNode的心跳信息。DataNode作为Salve服务，在集群中存在多个；通常每个D
1. 概述 UDF函数其实就是一个简单的函数，执行过程就是在Hive转换成MapReduce程序后，执行java方法，类似于像MapReduce执行过程中加入一个插件，方便扩展。UDF只能实现一进一出的操作，如果需要实现多进一出，则需要实现UDAF。 Hive可以允许用户编写自己定义的函数UDF，来在查询中使用。2. UDF类型 Hive中有3种UDF： U
转载
2023-07-14 21:54:02
87阅读
写详细步骤：1、客户端向NameNode发出写文件请求，。 2、检查是否已存在文件、检查权限。若通过检查，客户端调用DistributedFileSystem的create方法创建文件，直接先将操作写入EditLog，并返回输出流对象。 （注：WAL，write ahead log，先写Log，再写内存，因为EditLog记录的是最新的HDFS客户端执行所有的写操作。如果后续真实写操作
转载
2023-10-06 16:20:28
110阅读
Spark是目前最流行的分布式计算框架，而HBase则是在HDFS之上的列式分布式存储引擎，基于Spark做离线或者实时计算，数据结果保存在HBase中是目前很流行的做法。例如用户画像、单品画像、推荐系统等都可以用HBase作为存储媒介，供客户端使用。因此Spark如何向HBase中写数据就成为很重要的一个环节了。本文将会介绍三种写入的方式，其中一种还在期待中，暂且官网即可...代码在spark
转载
2023-08-02 14:29:52
343阅读
HADOOP都是使用StreamingFileSink，那么有什么区别？： 区别主要在写文件策略： 2.6及以前： OnCheckpointRollingPolicy 2.7： OnCheckpointRollingPolicy和 DefaultRollingPolicy 为什么2.7以前的版本不支 ...
转载
2021-09-30 11:58:00
563阅读
2评论
00问题flume问题总结1. 数据采集flume的agent的堆内存大小
默认只有20M，在生产中是肯定不够的
一般需要给到1G
vi bin/flume-ng
搜索 Xmx , 并修改
2. channel阻塞
启动flume之前，积压的数据过多,
启动flume后，source读得很快，而sink写hdfs速度有限，会导致反压
反压从下游传递到上
在HDFS中，租约机制是用来管理文件的写入和编辑操作的一种机制。租约机制包括主租约和副租约两种类型。 主租约是由文件的创建者持有的，它控制着文件的写入和编辑权限。创建者在写入或编辑文件时，需要先获取主租约。一旦获取到主租约，创建者可以将数据写入文件，并且其他用户无法对该文件进行写入或编辑操作。主租约的持有者可以选择将租约延长，以延续对文件的写入和编辑权限。 副租约是由其他用户持有的，它允许持有者以
HDFS写数据： 客户端（rpc调用）链接上namenode 客户端有一个文件aaa.avi，要上传： aaa.avi，如果没有就返回namenode给客户端，说你可以上传。 namenode返回客户端几个d
转载
2024-05-12 20:02:12
28阅读
1.
hdfs系统会把用到的数据存储在core-site.xml中由hadoop.tmp.dir指定，而这个值默认位于/tmp/hadoop-${user.name}下面， 由于/tmp目录在系统重启时候会被删除，所以应该修改目录位置。 修改core-site.xml(在所有站点上都修改)<property>
<name>hadoop.tmp.dir</nam
转载
2023-06-19 13:24:01
126阅读
最近好久没有更新博客了，因为最近的工作鞋的代码都是自己不怎么熟悉的领域的，所以感觉这些代码写的有点困难。今天特此写这个博客把自己最近研究的东西稍作总结。工作的需求是，在HDFS上有每天不断产生的的日志文件文件夹，每一个文件夹下都有两个文件，一个是.log文件，还有一个是.out文件。现在要求根据日志产生的时间，按照天计算，将同一天产生的文件夹打包压缩成一个文件归档在 HDFS某个特
转载
2023-07-12 18:08:33
49阅读
