一.Hadoop的核心1.Hadoop是分布式文件系统，简称HDFS。2.Hadoop的最核心框架设计是HDFS和MapReduce，HDFS为海量的数据提供了分布式存储，MapReduce为海量数据提供了分布式计算。二.什么是HDFS1.HDFS的灵感是来源于Google的GFS论文。2.HDFS的特点： 1.易于扩展的分布式文件系统 2.运行
转载
2023-07-24 10:07:20
63阅读
磁盘性能测试（读/写）
2011-11-21 15:44
1.测试磁盘写能力
time dd if=/dev/zero of=/opt/test.db bs=1M count=3000
转载
2012-02-01 15:13:40
3573阅读
读取文件：
下图是HDFS读取文件的流程： 这里是详细解释： 1.当客户端开始读取一个文件时，首先客户端从NameNode取得这个文件的前几个block的DataNode信息。（步骤1,2） 2.开始调用read()，read()方法里，首先去读取第一次从NameNode取得的几个Block，当读取完成后，再去NameNode拿
转载
2023-09-01 10:36:53
89阅读
## 使用Flink读取Hadoop文件
在大数据处理中，Flink是一个流处理引擎，而Hadoop是一个分布式存储和计算框架。将两者结合可以实现更加复杂和强大的数据处理任务。本文将介绍如何使用Flink读取Hadoop文件，并给出相应的代码示例。
### 什么是Flink和Hadoop？
- Flink：Apache Flink是一个流处理引擎，支持在内存中执行计算，可以实现低延迟和高吞吐
原创
2024-06-20 06:13:32
76阅读
写流程1.启动NN进程，提供分布式客户端2.客户端发送写请求，NN判断是否有权限，路径是否合法3.NN进程判断合法，返回允许上传文件4.客户端根
原创
2023-02-02 10:15:04
84阅读
前言： 上文介绍了Hadoop的IO序列化，大家应该可以知道其实Hadoop很多的设计也是专门为了MapReduce编程框架服务的，除了序列化还有专门的文件类：SequenceFile和MapFile，其中，MapFile是经过排序并带有索引的SequenceFile，而SequenceFile也是我们数据仓库原来在云梯1上最通用的数据文件，下面我将详细介绍下
转载
2023-10-20 16:58:37
89阅读
1、概述 HDFS相当于是做存储的。有大量的数据需要存，存到哪里。 HDFS（Hadoop Distributed File System） 是一个 Apache Software Foundation 项目,
转载
2024-05-15 10:09:22
26阅读
读文件 读文件时内部工作机制参看下图： 客户端通过调用FileSystem对象（对应于HDFS文件系统，调用DistributedFileSystem对象）的open()方法来打开文件（也即图中的第一步），DistributedFileSystem通过RPC（Remote Procedure Call）调用询问NameNode来得到此文件最开始几个block的文件位置（第二
转载
2023-09-14 13:04:39
107阅读
HDFS文件读取的过程1).使用HDFS提供的客户端开发库Client，向远程的Namenode发起RPC请求；2).Namenode会视情况返回文件的部分或者全部block列表，对于每个block，Namenode都会返回有该block拷贝的DataNode地址；3).客户端开发库Client会选取离客户端最接近的DataNode来读取block；如果客户端本身就是DataNode,那么将从本地
转载
2023-09-20 12:44:18
260阅读
这篇文章主要为大家详细介绍了python读写文件的简单示例，具有一定的参考价值，可以用来参考一下。感兴趣的小伙伴，下面一起跟随512笔记的小编罗X来看看吧。首先看一个例子：
f = open('thefile.txt','w') #以写方式打开，
try:
f.write('wokao')
finally:
f.close()文件的打开方式：f = open(‘
转载
2024-05-27 19:03:41
271阅读
读写文件是最常见的IO操作。Python内置了读写文件的函数。 读写文件前，我们先了解一下，在磁盘上读写文件的功能都是有操作系统提供的，现代操作系统不允许普通的程序直接操作磁盘，所以，读写文件就是请求操作系统打开一个文件对象，然后通过操作系统提供的接口从这个文件对象中读取数据（读文件），或者把数据写
转载
2018-04-10 16:48:00
406阅读
package com.test;
import java.io.BufferedInputStream;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.Outp
原创
2011-05-23 11:21:26
464阅读
安装
pip install python-docx
1．建立新Word文档
建立新文档需要调用Document对象的save方法，一个Document对象代表一个Word文档，该方法的参数是保存的文件名。
from docx import Document
doc = Document()
doc.save("test.docx")
2．添加段落和段落文字
调用Docum
原创
2021-07-21 16:41:47
639阅读
安装 pip install openpyxl 1．创建Excel电子表格 建立新文档需要调用Workbook对象的save方法，一个Workbook对象代表一个Excel工作簿，该方法的参数是保存的文件名。 from openpyxl import Workbook wb = Workbook()
原创
2021-07-21 16:50:10
431阅读
HDFS写数据流程：详细步骤图：详细描述： 1.客户端向NN发送文件上传的请求 2.NN进行一系列的检查：是否有权限，文件的父目录是否存在，文件是否已经存在同名等等，检查通过，允许上传 3.NN告知客户端允许上传 4.客户端发送真正的文件上传的请求，请求包含一个重要信息，文件的长度/大小 5.NN根据文件的长度计算文件的切块的个数（200M/128M = 2）,以及获取文本的配置信息dfs.re
转载
2023-08-03 14:48:26
164阅读
1）客户端通过Distributed FileSystem向NameNode请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址。2）挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据。3）DataNode开始传输数据给客户端（从磁盘里面读取数据输入流，以Packet为单位来做校验）。4）客户端以Packet为单位接收，先在本地缓...
原创
2022-03-30 10:23:22
215阅读
Hadoop 生态系统
HDFS：Hadoop 生态圈的基本组成部分是 Hadoop 分布式文件系统（HDFS）。HDFS 是一种分布式文件系统，数据被保存在计算机集群上，HDFS 为 HBase 等工具提供了基础。
MapReduce：Hadoop 的主要执行框架是 MapReduce，它是一个分布式、并行处理的编程模型，MapReduce 把任务分为 map（映射）阶段和 reduce（化简）
转载
2023-09-22 13:30:36
69阅读
在读取HDFS上的文件时，Client、NameNode以及DataNode都会相互关联。按照一定的顺序来实现读取这一过程，读取过程如下图所示： 通过上图，读取HDFS上的文件的流程可以清晰的知道，Client通过实例打开文件，找到HDFS集群的具体信息（我们需要操作的是 ClusterA，还是ClusterB，需要让Client端知道），这里会创建一个输入流，这个输入流是连接DataNode的
转载
2024-03-04 06:53:31
29阅读
1）客户端通过Distributed FileSystem向NameNode请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址。2）挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据。3）DataNode开始传输数据给客户端（从磁盘里面读取数据输入流，以Packet为单位来做校验）。4）客户端以Packet为单位接收，先在本地缓...
原创
2021-08-07 09:58:55
422阅读
因为cpu，内存操作速度要比磁盘的速度快，所以系统在设计的时候，用了回写缓存。 回写缓存怎么理解呢？就是应用提交了写的请求，数据被放在了缓存中，应用就认为是持久化完毕了，去干别的事情了，而实际上系统可能不定期的时间范围内，把缓存中的数据刷到磁盘上，这就是回写缓存。 这种情况下是有问题的，对于关系型数据库（oracle,pg,mysql），都是采用的wal的方式,就是写数据前先确保redo 的信息
原创
2021-09-08 09:30:41
668阅读
