目录 对文件、目录的操作查看信息查看文件列表、文件状态、文件位置、节点信息文件压缩与解压缩序列化Sequence FileMapFile首先，必须运行hadoop，windows中在hadoop的路径下，sbin目录，start-all.cmd，会跳出四个命令行窗口，不要管它，缩小即可。这个不开启的话，项目无法运行，会报错。还有不要刚开完就运行项目，会进入安全模式，无法正常运行，等一会就
转载
2024-05-10 00:25:54
50阅读
一、HDFS概述随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种1.1 HDFS定义HDFS (Hadoop Distributed File System)， 它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布
转载
2024-10-12 16:36:52
100阅读
(1)分布式文件系统随着数据量越来越多，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统 。它是一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间。而它最主要的特性就是通透性。让实际上是通过网络来访问文件的动作，由程序与用户看来，就像是访问本地的磁
转载
2024-05-09 20:10:35
44阅读
package cn.com.codingce;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.f
原创
2022-07-15 14:58:02
90阅读
一、背景微博有大量的用户数据，为了分析微博用户的
原创
精选
2023-07-25 10:05:31
317阅读
继上一篇文章，我们继续实战学习HDFS微博案例。十一、需求：追加数据到HDFS数据文件在数据集中有一个caixukun_new.csv数据集，是20190811这一天重新生成的数据。我们需要将这个文件上传到HDFS中。有两种做法：直接将新文件上传到HDFS中20190811文件夹中。 将新
原创
2023-07-25 10:03:45
175阅读
1.概述 大数据时代，数据的存储与挖掘至关重要。企业在追求高可用性、高扩展性及高容错性的大数据处理平台的同时还希望能够降低成本，而Hadoop为实现这些需求提供了解决方案。面对Hadoop的普及和学习热潮，笔者愿意分享自己多年的开发经验，带领读者比较轻松地掌握Hadoop数据挖掘的相关知识。这边是笔者编写本书的原因。本书使用通俗易懂的语言进行讲解，从基础部署到集群管理，再到底层设计等内容均由涉及
转载
2023-07-13 16:56:17
66阅读
一、Linux 基础配置1、创建 Hadoop 用户如果Linux系统安装的时候不是 hadoop 用户，那么你最好需要创建一个 hadoop 用户，密码设置为 hadoop （密码可以随意指定），使用下面命令创建新用户。创建 hadoop 用户的时候使用的是 root 用户，没有其他说明本文中的所有命令都是在 root&nbs
需求分析： 采集需求：比如业务系统使用log4j生成的日志，日志内容不断增加，需要把追加到日志文件中的数据实时采集到hdfs 根据需求，首先定义以下3大要素 采集源，即source——监控文件内容更新 : exec ‘tail -f file’ 下沉目标，即sink——HDFS文件系统 : hdfs ...
转载
2021-06-20 01:06:00
290阅读
2评论
新建Java Project;
1，右击项目，属性，Java Build Path，Libraries，Add External JARs（haddopp根目录下的所以jar）；
2，做一下项目关联，关联之前用eclipse看源码的那个项目，这样没什么其他的作用，就是为了要看源码，可以直
接点过来。 右击项目，属性，Java Build Pat
转载
2023-06-14 17:14:36
90阅读
最近好久没有更新博客了，因为最近的工作鞋的代码都是自己不怎么熟悉的领域的，所以感觉这些代码写的有点困难。今天特此写这个博客把自己最近研究的东西稍作总结。工作的需求是，在HDFS上有每天不断产生的的日志文件文件夹，每一个文件夹下都有两个文件，一个是.log文件，还有一个是.out文件。现在要求根据日志产生的时间，按照天计算，将同一天产生的文件夹打包压缩成一个文件归档在 HDFS某个特
转载
2023-07-12 18:08:33
49阅读
# 使用Java上传文件到HDFS的步骤指南
Hadoop HDFS（分布式文件系统）是处理大数据的强大工具之一。如果你想要将文件上传到HDFS，首先需要掌握一些基本的步骤和相应的Java代码示例。本文将为你详细讲解如何实现Java HDFS文件上传。
## 上传文件到HDFS的流程
下表展示了上传文件到HDFS的主要流程：
| 步骤 | 描述
原创
2024-09-11 07:00:31
200阅读
需求分析 采集需求：某服务器的某特定目录下，会不断产生新的文件，每当有新文件出现，就需要把文件采集到HDFS中去 结构示意图： 根据需求，首先定义以下3大要素 数据源组件，即source ——监控文件目录 : spooldir spooldir特性： 1、监视一个目录，只要目录中出现新文件，就会采集 ...
转载
2021-06-20 00:13:00
517阅读
2评论
# Java操作HDFS的详细介绍
## 1. 引言
Hadoop是一个开源的分布式计算框架，用于处理大规模数据集。Hadoop的核心组件之一是HDFS（Hadoop Distributed File System），它是一个分布式的文件系统，用于存储大规模数据集并提供高可靠性、高容错性和高吞吐量的数据访问。
在本文中，我们将介绍如何使用Java编程语言操作HDFS。我们将讨论如何连接到HD
原创
2023-08-24 14:09:15
59阅读
Java API使用环境初始化首先完成Java开发环境准备，创建工程并导入开发所需的Jar包。之后在准备好的工程中完成以下步骤。在IDE中新建一个类，类名为HDFSApp在类中添加成员变量保存公共信息import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import org.apache.hadoop
转载
2023-10-19 11:15:43
35阅读
自己做的一些小训练0.0public class HDFSDemo {
private Configuration conf;
private FileSystem fs;
@Before
public void before() throws Exception {
//初始化,加载hadoop默认的配置文件,如果有指定的位置,则覆盖默认的配置
conf=new Conf
转载
2023-07-15 20:43:31
79阅读
目录（一）了解HDFS Java API1、HDFS常见类与接口2、FileSystem的常用方法（二）编写Java程序访问HDFS1、创建Maven项目2、添加相关依赖3、创建日志属性文件4、启动集群HDFS服务5、在HDFS上创建文件6、写入HDFS文件 （1）将数据直接写入HDFS文件 （2）将本地文件写入HDFS文件7、读取HDFS文件(1）读取HDFS文件直接在控制台
转载
2024-01-23 17:39:42
66阅读
代码地址：https://github.com/zengfa1988/study/blob/master/src/main/java/com/study/hadoop/hdfs/HdfsTest.java1，导入jar包用maven构建项目，添加pom文件： <dependency>
<groupId>org.apache.hadoop</groupId&g
转载
2024-06-02 16:06:44
22阅读
1.Java代码操作HDFS需要用到Jar包和Java类Jar包:hadoop-common-2.6.0.jar和hadoop-hdfs-2.6.0.jarJava类:java.net.URL
org.apache.hadoop.fs.FsUrlStreamHandlerFactory
java.net.URI
org.apache.hadoop.conf.Configuration
org.ap
转载
2024-02-28 08:43:42
86阅读
HDFS的Java访问接口1)org.apache.hadoop.fs.FileSystem是一个通用的文件系统API，提供了不同文件系统的统一访问方式。2)org.apache.hadoop.fs.Path是Hadoop文件系统中统一的文件或目录描述，类似于java.io.File对本地文件系统的文件或目录描述。3)org.apache.hadoop.conf.Configuration读取、解
转载
2023-07-21 16:09:13
58阅读
