FastDFS结合SpringBoot的使用此博客仅作本人知识点总结,许多地方都有所省略,小白勿仿一. 分布式文件系统分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连. 通俗来讲： -传统文件系统管理的文件就存储在本机。 -分布式文件系统管理的文件存储在很多机器，这些机器通过网络连接，要被统一管理
转载
2024-06-06 14:29:13
106阅读
文章目录SpringBoot 整合HDFS1 window本地测试前置操作2 整合代码2.1 pom2.2 src/main/resources下log4j.properties2.3 src/main/resources下hdfs-site.xml2.2 code2.3 code - v23 上传加载 SpringBoot 整合HDFS1 window本地测试前置操作本地安装hadhoop百度
转载
2023-07-21 11:52:48
499阅读
前言记录springboot集成hadoop3.2.4版本，并且调用HDFS的相关接口，这里就不展示springboot工程的建立了，这个你们自己去建工程很多教程。一、springboot配置文件修改1.1 pom文件修改<!-- hadoop依赖 -->
<dependency>
<groupId>org.apache.
转载
2023-07-28 13:25:13
304阅读
文章目录标题：Spring Boot中Excel数据导入导出的高效实现摘要1. 依赖添加2. 自定义监听器（可选）3. 实体类定义4. 控制层实现导出数据导入数据? 结语? 往期精彩回顾 标题：Spring Boot中Excel数据导入导出的高效实现摘要在企业级应用中，Excel文件的导入导出是一个常见的需求。本文将介绍如何在Spring Boot项目中使用EasyExcel库实现Excel文件
SpringSource发布了Spring for Apache Hadoop 1.0。开发者能够通过它编写基于Spring Framework的Hadoop应用，还能很容易地与Spring Batch和Spring Integration集成。Spring for Apache Hadoop是Spring Data大型项目的一个子项目，它基于开源的Apache 2.0许可发布。Hadoop应用通
转载
2024-07-26 12:55:04
46阅读
Hadoop一、概述1.1 大数据概念大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。——来自研究机构Gartner1.2 大数据面临问题存储：单机存储有限，如何解决海量数据存储？分析：如何在合理时间范围内对数据完成成本运算？1.3 大数据的特点4V 特性 Volume 数量Velocity多样 Variety 时效 Value价值1）数
前言文件上传是一个老生常谈的话题了，在文件相对比较小的情况下，可以直接把文件转化为字节流上传到服务器，但在文件比较大的情况下，用普通的方式进行上传，这可不是一个好的办法，毕竟很少有人会忍受，当文件上传到一半中断后，继续上传却只能重头开始上传，这种让人不爽的体验。那有没有比较好的上传体验呢，答案有的，就是下边要介绍的几种上传方式详细教程秒传1、什么是秒传 通俗的说，你把要上传的东西上传，服务器会先做
转载
2023-12-17 12:02:40
215阅读
SpringBoot导出下载csv文件说明工具类代码Controller代码 说明今天看到需求里面有个需要将数据导成csv文件的格式，这里记录下自己的实现过程。直接上后端代码,这里用的springboot框架实现。工具类代码工具类代码下面最下面有一个main方法可直接执行导出功能，你可以用这个测试数据看看效果。package com.etone.project.utils;
import or
转载
2024-02-13 22:56:54
63阅读
防坑留言： 不但要能简单写出伪分布式，还要对其配置文件为什么这么写有一定理解才容易找出bug，分析原因，解决问题其实详细api官网是提供的，我这里简单介绍一下我用的HDFS结构NameNode:名字节点 1、 整个文件系统的管理节点。文件系统的文件目录树。
转载
2024-04-18 09:38:20
51阅读
分块：Block HDFS存储系统中，引入了文件系统的分块概念（block），块是存储的最小单位，HDFS定义其大小为64MB。与单磁盘文件系统相似，存储在 HDFS上的文件均存储为多个块，不同的是，如果某文件大小没有到达64MB，该文件也不会占据整个块空间。在分布式的HDFS集群上，Hadoop系统保证一个块存储在一个datanode上。 把File划分成Block，这个是物理上真真实实的进
转载
2024-05-02 22:41:42
54阅读
目录1 HDFS的概述1.1 HDFS的概念1.2 HDFS优缺点1.2.1 优点1.2.2 缺点1.3 HDFS的架构1.4 block文件块的大小2 HDFS的shell客户端操作3 HDFS的java客户端操作3.1 HDFS客户端操作4 HDFS的数据流4.1 HDFS写数据流程4.2 HDFS读数据流程5 NameNode和Second NameNode的工作机制5.
转载
2024-02-25 07:52:39
182阅读
目录HDFS概述1.HDFS产出背景及定义2.HDFS优缺点HDFS优点HDFS缺点3. HDFS组成架构NameNode (nn)DataNodeClientSecondary NameNode4. HDFS文件块大小(面试) HDFS/Yarn/MapReduce概述==>HDFS概述1.HDFS产出背景及定义1). HDFS产生背景随着数据量越来越大，在一个操作系统存不下所有数据的情
转载
2024-03-26 06:59:25
77阅读
四、hdfs的安全模式安全模式是HDFS所处的一种特殊状态，在这种状态下，文件系统只接受读数据请求，而不接受删除、修改等变更请求。在NameNode主节点启动时，HDFS首先进入安全模式，DataNode在启动的时候会向namenode汇报可用的block等状态，当整个系统达到安全标准时，HDFS自动离开安全模式。如果HDFS出于安全模式下，则文件block不能进行任何的副本复制操作，因此达到最小
转载
2024-06-11 10:38:36
115阅读
DataXceiverServer是Hadoop分布式文件系统HDFS的从节点--数据节点DataNode上的一个后台工作线程，它类似于一个小型的服务器，被用来接收数据读写请求，并为每个请求创建一个工作线程以进行请求的响应。那么，有以下几个问题： 1、DataXceiverServer是什么？  
转载
2024-08-23 13:32:08
69阅读
Hadoop可以处理不同数据格式（数据源）的数据，从文本文件到（非）关系型数据库，这很大程度上得益于Hadoop InputFormat的可扩展性设计，InputFormat层次结构图如下： InputFormat（org.apache.hadoop.mapreduce.InputFormat）被设计为一个抽象类，代码如下： public abstract clas
转载
2024-04-08 11:42:42
33阅读
Hadoop1. Hadoop 介绍The Apache Hadoop project develops open-source software for reliable, scalable,
distributed computing.
The Apache Hadoop software library is a framework that allows for the distribu
转载
2024-08-08 11:45:00
73阅读
hadoop_hdfs07-hdfsHA集群配置&ZK集群配置&yarnHA配置注:笔记.(一) 集群规划Hadoop102Hadoop03Hadoop04ZKZKZKJournaleNodeJournaleNodeJournaleNodeNameNodeNameNodeDataNodeDataNodeDataNodeResourceManagerResourceManagerNo
转载
2024-02-15 21:35:32
73阅读
HDFS中的数据按照一定策略分布在集群中的多个数据节点上，但在某些情况下，数据的分布也会出现不均衡的情况，比如说集群新增加了节点，在新增加的节点上就没有数据存在，虽说之后新增的数据会分配到新节点上，不过，对于已有数据，新节点和原有节点上的分布很不均衡，而且这还会导致在分配MapReduce任务的时候新机器分配不到可执行的任务，白白浪费了新增节点的计算能力。而对于一个真实的生产环境来说，随着数据
转载
2024-04-26 09:56:56
209阅读
HDFS 特性：
1、海量数据存储： HDFS可横向扩展，其存储的文件可以支持PB级别数据。 2、高容错性：节点丢失，系统依然可用，数据保存多个副本，副本丢失后自动恢复。 可构建在廉价（与小型机大型机比）的机器上，实现线性扩展(随着节点数量的增加，集群的存储能力，计算能力随 之增加)。 3、大文件存储：DFS采用数据块的方式存储数据，将一个大文件切分成多个小文件，分布存储。
转载
2024-05-06 15:13:37
113阅读
HDFS适合什么读写？A A.一次写多次读,大容量和流式数据 B.多次写一次读 C.随机读和随机写 D.顺序写和随机读 E.随机读写、大量小文件、低延迟读取HDFS支持的文件访问方式？ B A.读、写和更新 B.读、写和追加 C.读、写、追加和更新 HDFS的Namenode主要功能有哪些？ABC A、维护管理HDFS集群中文件系统的名字空间(元数据信息) B、确定指定的文
转载
2024-05-08 21:32:45
96阅读
