最近好久没有更新博客了，因为最近的工作鞋的代码都是自己不怎么熟悉的领域的，所以感觉这些代码写的有点困难。今天特此写这个博客把自己最近研究的东西稍作总结。工作的需求是，在HDFS上有每天不断产生的的日志文件文件夹，每一个文件夹下都有两个文件，一个是.log文件，还有一个是.out文件。现在要求根据日志产生的时间，按照天计算，将同一天产生的文件夹打包压缩成一个文件归档在 HDFS某个特
转载
2023-07-12 18:08:33
49阅读
一、在Ubuntu系统中安装和配置Eclipse 二、利用hadoop 的java api，向HDFS写一个文件。 三、从HDFS读取一个文件的内容。 ...
转载
2021-10-29 08:32:00
70阅读
2评论
一、在Ubuntu系统中安装和配置Eclipse 二、利用hadoop 的java api，向HDFS写一个文件。 三、从HDFS读取一个文件的内容。 ...
转载
2021-10-29 14:40:00
51阅读
2评论
一、在Ubuntu系统中安装和配置Eclipse 二、利用hadoop 的java api，向HDFS写一个文件。 三、从HDFS读取一个文件的内容。 ...
转载
2021-10-29 13:00:00
97阅读
2评论
一、在Ubuntu系统中安装和配置Eclipse 二、利用hadoop 的java api，向HDFS写一个文件。 三、从HDFS读取一个文件的内容 ...
转载
2021-11-01 19:54:00
109阅读
2评论
package hdfs;import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;i
原创
2022-07-19 11:33:15
78阅读
# ######################### 关于 HDFS Append ####################
(1) 背景
早期的HDFS版本不支持HDFS append功能. 当一个文件被关闭时, 这个文件就不能再被修改了. 如果要修改的话, 就只能重读此文件并将数据写入一个新的文件. 虽然这种
转载
2023-11-06 20:07:58
70阅读
承接上文Hdfs客户端读过程；接着来分析一下hdfs客户端写入文件的过程；说道到写文件过程，都会知道写入文件的过程如下示意图：客户端写过程示意图：总体来说，最简单的HDFS写文件大体流程如下：客户端获取文件系统实例FileSyStem，并通过其create()方法获取文件系统输出流outputStream。
首先会联系名字节点NameNo
转载
2024-04-26 12:51:58
62阅读
HDFS的读写数据流详细分析4.1 HDFS写数据流程4.1.1 剖析文件写入4.1.2 源码解析4.1.3 网络拓扑-节点距离计算4.1.4 机架感知（副本存储节点选择）4.2 HDFS读数据流程 4.1 HDFS写数据流程4.1.1 剖析文件写入（1）客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存
转载
2024-04-19 18:16:11
6阅读
一、在Ubuntu系统中安装和配置Eclipse 首先，通过这个博客https://www.cnblogs.com/dong-blog/p/7207831.html 把windows系统的Eclipse压缩包传进Ubuntu系统。 为工程添加需要用到的JAR包 启动HDFS，查看正在运行进程，证明E ...
转载
2021-11-02 13:52:00
94阅读
2评论
一、在Ubuntu系统中安装和配置Eclipse 二、利用hadoop 的java api，向HDFS写一个文件。写入内容含自己的姓名学号信息 三、从HDFS读取一个文件的内容并显示。 ...
转载
2021-11-04 00:47:00
71阅读
2评论
一、在Ubuntu系统中安装和配置Eclipse 二、利用hadoop 的java api，向HDFS写一个文件。 三、从HDFS读取一个文件的内容。 ...
转载
2021-10-29 09:09:00
122阅读
2评论
一、在Ubuntu系统中安装和配置Eclipse 二、利用hadoop 的java api，向HDFS写一个文件。 启动hdfs 运行 可以看到多了一个mxm666.txt的文件 三、从HDFS读取一个文件的内容。 读取成功 ...
转载
2021-10-29 15:31:00
66阅读
2评论
一、在Ubuntu系统中安装和配置Eclipse 二、利用hadoop 的java api，向HDFS写一个文件 三、从HDFS读取一个文件的内容。 ...
转载
2021-10-29 12:54:00
67阅读
2评论
一、在Ubuntu系统中安装和配置Eclipse 二、利用hadoop 的java api，向HDFS写一个文件。 三、从HDFS读取一个文件的内容。 ...
转载
2021-10-31 15:40:00
50阅读
2评论
一、在Ubuntu系统中安装和配置Eclipse 二、利用hadoop 的java api，向HDFS写一个文件。 三、从HDFS读取一个文件的内容。 ...
转载
2021-11-01 19:26:00
75阅读
2评论
一、在Ubuntu系统中安装和配置Eclipse 二、利用hadoop 的java api，向HDFS写一个文件。 三、从HDFS读取一个文件的内容。 ...
转载
2021-11-01 18:10:00
64阅读
2评论
一、在Ubuntu系统中安装和配置Eclipse 二、利用hadoop 的java api，向HDFS写一个文件。写入内容含自己的姓名学号信息。 三、从HDFS读取一个文件的内容并显示。 ...
转载
2021-11-02 13:50:00
78阅读
2评论
