FastDFS结合SpringBoot的使用此博客仅作本人知识点总结,许多地方都有所省略,小白勿仿一. 分布式文件系统分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连. 通俗来讲： -传统文件系统管理的文件就存储在本机。 -分布式文件系统管理的文件存储在很多机器，这些机器通过网络连接，要被统一管理
转载
2024-06-06 14:29:13
106阅读
前言记录springboot集成hadoop3.2.4版本，并且调用HDFS的相关接口，这里就不展示springboot工程的建立了，这个你们自己去建工程很多教程。一、springboot配置文件修改1.1 pom文件修改<!-- hadoop依赖 -->
<dependency>
<groupId>org.apache.
转载
2023-07-28 13:25:13
304阅读
文章目录SpringBoot 整合HDFS1 window本地测试前置操作2 整合代码2.1 pom2.2 src/main/resources下log4j.properties2.3 src/main/resources下hdfs-site.xml2.2 code2.3 code - v23 上传加载 SpringBoot 整合HDFS1 window本地测试前置操作本地安装hadhoop百度
转载
2023-07-21 11:52:48
499阅读
文章目录标题：Spring Boot中Excel数据导入导出的高效实现摘要1. 依赖添加2. 自定义监听器（可选）3. 实体类定义4. 控制层实现导出数据导入数据? 结语? 往期精彩回顾 标题：Spring Boot中Excel数据导入导出的高效实现摘要在企业级应用中，Excel文件的导入导出是一个常见的需求。本文将介绍如何在Spring Boot项目中使用EasyExcel库实现Excel文件
Hadoop一、概述1.1 大数据概念大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。——来自研究机构Gartner1.2 大数据面临问题存储：单机存储有限，如何解决海量数据存储？分析：如何在合理时间范围内对数据完成成本运算？1.3 大数据的特点4V 特性 Volume 数量Velocity多样 Variety 时效 Value价值1）数
SpringSource发布了Spring for Apache Hadoop 1.0。开发者能够通过它编写基于Spring Framework的Hadoop应用，还能很容易地与Spring Batch和Spring Integration集成。Spring for Apache Hadoop是Spring Data大型项目的一个子项目，它基于开源的Apache 2.0许可发布。Hadoop应用通
转载
2024-07-26 12:55:04
46阅读
前言文件上传是一个老生常谈的话题了，在文件相对比较小的情况下，可以直接把文件转化为字节流上传到服务器，但在文件比较大的情况下，用普通的方式进行上传，这可不是一个好的办法，毕竟很少有人会忍受，当文件上传到一半中断后，继续上传却只能重头开始上传，这种让人不爽的体验。那有没有比较好的上传体验呢，答案有的，就是下边要介绍的几种上传方式详细教程秒传1、什么是秒传 通俗的说，你把要上传的东西上传，服务器会先做
转载
2023-12-17 12:02:40
215阅读
SpringBoot导出下载csv文件说明工具类代码Controller代码 说明今天看到需求里面有个需要将数据导成csv文件的格式，这里记录下自己的实现过程。直接上后端代码,这里用的springboot框架实现。工具类代码工具类代码下面最下面有一个main方法可直接执行导出功能，你可以用这个测试数据看看效果。package com.etone.project.utils;
import or
转载
2024-02-13 22:56:54
63阅读
#!/bin/bashexport JAVA_HOME=/data/jdk1.8.0_111export HADOOP_HOME=/data/hadoop-2.6.5export PATH=${JAVA_HOME}/bin:${HADO
原创
2022-10-28 11:59:43
156阅读
1. HDFS Federation产生背景在Hadoop 1.0中，HDFS的单NameNode设计带来诸多问题，包括单点故障、内存受限制约集群扩展性和缺乏隔离机制（不同业务使用同一个NameNode导致业务相互影响）等，为了解决这些问题，Hadoop 2.0引入了基于共享存储的HA解决方案和HDFS Federation，本文重点介绍HDFS Federation。HDFS Fede
转载
2024-05-14 07:04:52
49阅读
1. df的介绍和使用df 以磁盘分区为单位查看文件系统，可以获取硬盘被占用了多少空间，目前还剩下多少空间等信息。例如，我们使用df -h命令来查看磁盘信息， -h 选项为根据大小适当显示：1.1显示内容参数说明Filesystem：文件系统Size： 分区大小Used： 已使用容量Avail： 还可以使用的容量Use%： 已用百分比Mounted on： 挂载点1.2常用的一些命令使用df -h
转载
2024-03-26 08:24:46
72阅读
hadoop的两大核心之一 海量数据的存储(HDFS)什么是HDFS? hadoop distributed file system(hadoop分布式文件系统) 是一种允许文件通过网络在多台主机上分享的文件系统, 可让多机器上的多用户分享文件和存储空间. 特点: 1.通透性.让实际上是通过网络来访问
转载
2024-03-11 13:19:27
69阅读
ls命令 格式： hdfs dfs -ls 文件路径 作用：显示文件列表 例如：hdfs dfs -ls /lsr命令 格式：hdfs dfs -lsr URI 作用：在整个目录下递归执行ls, 与linux中ls -R类似 例如：hdfs dfs -lsr / (ps：使用此命令会提示，此有一个提示更换命令，是因为该命令已过时，可使用 -ls -R替换-lsr)mkdir命令 格式：hdfs d
转载
2024-03-15 08:44:19
153阅读
目录：HDFS简介HDFS架构说明HDFS读文件流程HDFS写文件流程HDFS 可靠性HDFS shellIDEA 开发工具使用Java 操作HDFS全分布式集群搭建一.简介HDFS（Hadoop Distributed File System，分布式文件系统）基于Ggoogel发布的GFS论文设计开发，其除具备其他分布式文件系统相同特性外，还有自己的特性：高容错：认为硬件总是不可靠的，有副本的存
转载
2024-04-29 21:47:24
55阅读
该系列总览: Hadoop3.1.1架构体系——设计原理阐述与Client源码图文详解 : 总览在HDFS中，有三种Recovery 1.Lease Recovery 2.Block Recovery 3.PipeLine Recovery以下将 一 一 讲解。一.Lease Recovery首先很有比要介绍一下Lease(租约)租约保证HDFS的一读多写机
转载
2024-04-26 11:51:12
115阅读
1. 问题描述：2. 问题分析：云主机连接不上本地IP解析错误云主机工作处于安全模式3. 解决方式：更改云主机名更改本地 hosts 文件使用 linux 命令强制退出安全模式Step 1) 下载 HDFS Explorer 软件安装包：百度云连接：https://pan.baidu.com/s/1tlJWHusCdeGRlhQsFrmMpA（提取码：f3ql）Step 2) 下载后，双击 HDF
转载
2024-03-22 09:38:47
231阅读
一、导入新课带领学生回顾项目三Hadoop集群相关的知识，由于Hadoop的核心是HDFS和MapReduce。其中，HDFS是解决海量大数据文件存储的问题，是目前应用最广泛的分布式文件系统。因此，本次课将针对HDFS分布式文件系统进行详细讲解 二、新课讲解（一）HFDS的演变HDFS 源于 Google 在2003年10月份发表的GFS（Google File System）论文，接下
转载
2024-02-18 15:59:26
71阅读
HDFS Federation是Hadoop-0.23.0中为解决HDFS单点故障而提出的namenode水平扩展方案。该方案允许HDFS创建多个namespace以提高集群的扩展性和隔离性。本篇文章主要介绍了HDFS Federation的设计动机和基本原理。1. 当前HDFS概况1.1 当前HDFS架构 当前HDFS包含两层结构： (1) Namespace 管理目
转载
2024-03-25 22:33:58
69阅读
HDFS 特性：
1、海量数据存储： HDFS可横向扩展，其存储的文件可以支持PB级别数据。 2、高容错性：节点丢失，系统依然可用，数据保存多个副本，副本丢失后自动恢复。 可构建在廉价（与小型机大型机比）的机器上，实现线性扩展(随着节点数量的增加，集群的存储能力，计算能力随 之增加)。 3、大文件存储：DFS采用数据块的方式存储数据，将一个大文件切分成多个小文件，分布存储。
转载
2024-05-06 15:13:37
113阅读
HDFS适合什么读写？A A.一次写多次读,大容量和流式数据 B.多次写一次读 C.随机读和随机写 D.顺序写和随机读 E.随机读写、大量小文件、低延迟读取HDFS支持的文件访问方式？ B A.读、写和更新 B.读、写和追加 C.读、写、追加和更新 HDFS的Namenode主要功能有哪些？ABC A、维护管理HDFS集群中文件系统的名字空间(元数据信息) B、确定指定的文
转载
2024-05-08 21:32:45
96阅读
