1. hadoop目录概述hadoop的解压目录下的主要文件如下图所示： 其中： /bin 目录存放对Hadoop相关服务（HDFS, YARN）进行操作的脚本； /etc 目录存放Hadoop的配置文件 /lib 目录存放Hadoop的本地库（对数据进行压缩解压缩功能） /sbin 目录存放启动或停止Hadoop相关服务的脚本 /share 目录存放Hadoop的依赖jar包、文档、和官方案例
转载
2023-06-19 17:57:55
115阅读
在虚拟机上删除hdfs文件： 删除hdfs下的文件： hadoop fs -rm /文件夹名 删除hdfs下的文件夹：hadoop fs -rm -r 文件名 查看根目录下的内容： hadoop fs -cat /文件名 增加权限：chmod +x 文件名 ps -ef|grep 文件名 ：查看某个进程号 复制文件： cp 文件名 文件名 mv 既可以改文件名也可以移动文件（在同一台机器上可以）
转载
2023-08-30 23:59:46
93阅读
在我们实际工作当中，极有可能会遇到将测试集群的数据拷贝到生产环境集群，或者将生产环境集群的数据拷贝到测试集群，那么就需要我们在多个集群之间进行数据的远程拷贝，hadoop自带也有命令可以帮我们实现这个功能1、本地文件拷贝scpcd /kkb/softscp -r jdk-8u141-linux-x64.tar.gz hadoop@node02:/kkb/soft 2、集群之间的数据拷贝distcp
转载
2023-07-12 15:03:32
117阅读
文章目录Hadoop 之文件写入 && 一致模型Hadoop 文件写入异常情况副本安置策略（replica placement）一致模型（Coherency model）并行复制（distcp） Hadoop 之文件写入 && 一致模型Hadoop 文件写入具体步骤如下：1.客户端通过对 DistributedFileSystem 对象调用 create() 来新
转载
2023-09-20 10:45:21
67阅读
Hadoop生态技术体系下，负责大数据存储管理的组件，涉及到HDFS、Hive、Hbase等。Hive作为数据仓库工具，最初的存储还是落地到HDFS上，这其中就有一个关键的环节，是小文件的处理。今天的大数据开发分享，我们就主要来讲讲，Hive小文件合并。本身来说，由于Hadoop的特性，对大文件的处理非常高效。大文件可以减少文件元数据信息，减轻NameNode的存储压力。相对于上层的数据表汇总程度
转载
2024-01-31 00:20:47
44阅读
Hadoop（四）HDFS什么是HDFSHDFS文件系统设计的目的上传机制读取机制 什么是HDFSHadoop Distributed File System hadoop底层的分布式文件存储系统，可以存储海量的数据。其特点为：作为一个文件系统，用于存储文件，通过统一的命名空间目录树来定位文件。分布式存储系统，通过许多服务器联合起来实现功能。master/slave架构，主从架构。其中namen
转载
2023-09-01 09:23:30
92阅读
文件格式:SequenceFile
------------------
1.SequenceFile
Key-Value对方式。 2.不是文本文件，是二进制文件。
转载
2023-07-05 11:43:59
71阅读
Hadoop有几个组件:
===========================
NameNode
Hadoop 在分布式计算与存储中都采用 主/从结构。分布式存储被称为 HDFS.
NameNode 位于 HDFS 的主机端，它指导从机端的DateNode 执行底层的数据传输.
NameNode跟踪文件如何被划分，以及这些
转载
2024-03-10 18:17:34
36阅读
Hadoop学习8：hdfs文件操作标签（空格分隔）： hadoop Hadoop学习8hdfs文件操作一hdfs文件流读操作三合并文件上传到 一，hdfs文件流读操作读文件流程 （1）打开分布式文件
调用 分布式文件 DistributedFileSystem.open()方法
（2）从 NameNode 获得 DataNode 地址
DistributedFileSystem
转载
2023-08-01 19:59:25
86阅读
1.大量小文件影响 NameNode存储着文件系统的元数据，每个文件、目录、块大概有150字节的元数据，因此文件数量的限制也由NameNode内存大小决定，如果小文件过多则会造成NameNode的压力过大，且hdfs能存储的数据量也会变小2.HAR文件方案 本质启动mr程序，需要启动yarn 用法：archive -archiveName <NAME>.har -p <
转载
2023-07-14 19:38:21
101阅读
文件压缩有两个好处：减少存储文件所需的磁盘空间，并加速数据在网络和磁盘上的传输 在存储中，所有算法都要权衡空间/时间；在处理时，所有算法都要权衡CPU/传输速度 以下列出了与Hadoop结合使用的常见压缩方法： 压缩格式工具算法文件扩展名是否可切分DEFLATE无DEFLATE.deflate否GzipgzipDEFLATE.gz否bzip2bzip2bzip2.bz2是LZOlzopLZO.l
转载
2023-09-20 10:53:58
104阅读
目录第1章 大数据概论第2章 从Hadoop框架讨论大数据生态第3章 Hadoop运行环境搭建（开发重点）第4章 Hadoop运行模式本地模式：默认配置伪分布式模式：按照完全分布式模式配置，但是只有一个节点完全分布式模式（开发重点）第5章 Hadoop编译源码（面试重点）第1章 大数据概论第2章 从Hadoop框架讨论大数据生态大发行版本：Apache Hadoop、Coudera Hadoop、
转载
2024-06-17 13:59:35
54阅读
读取文件：
下图是HDFS读取文件的流程： 这里是详细解释： 1.当客户端开始读取一个文件时，首先客户端从NameNode取得这个文件的前几个block的DataNode信息。（步骤1,2） 2.开始调用read()，read()方法里，首先去读取第一次从NameNode取得的几个Block，当读取完成后，再去NameNode拿
转载
2023-09-01 10:36:53
89阅读
控制脚本Hadoop内置一些脚本来运行指令，在集群内启动和终止守护进程。这些脚本存放在bin目录中，通过masters和slaves文件指定集群内的所有机器。
1、masters文件，主要记录运行辅助namenode的所有机器masters文件有点误导人。它主要记录拟运行辅助namenode（secondarynamenode）的所有机器。
2、slaves文件，主要记录
转载
2024-03-30 21:34:35
76阅读
HDFS详解一、 HDFS 概述1.1 HDFS定义 HDFS( Hadoop Distribution File System)， 它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。 HDFS的使用场景：适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用。1.2 HDFS
转载
2023-09-01 09:25:49
258阅读
前言Hadoop有一个被称为HDFS的分布式系统，全称为Hadoop Distributed FileSystem。HDFS的概念块磁盘有块的大小，代表着能够读写的最小数据量，文件系统通过处理大小为磁盘块大小证书背的数据块来运作磁盘。文件系统块大小一般为几千字节，而磁盘块大小为512字节。HDFS也有块的概念，默认为64MB，作为单独的单元存储，其中小于一个块大小的文件不会占据整个块空间。HDFS
转载
2023-08-13 09:54:35
71阅读
在用Hadoop框架处理大数据时使用最多就是HDFS--分布式文件系统，但Hadoop的文件系统不仅只有分布式文件系统，例如：hfs,HSFTP,HAR等在Hadoop中都是有集成的，用来处理存储在不同体系中的数据。事实上应该这么说，Hadoop其实是一个综合性的文件系统。 下面来看看文件系统的结构体系 当然上面的UML图解事实上有些冗余，但是为了能清楚的表达fs这个体系中的成员，
转载
2023-08-22 09:35:50
114阅读
hdfs两大核心1、文件上传 (写)hadoop fs -put1、客户端向namenode发送文件上传请求2、namenode对发送的请求进行检查1、目录是否存在2、权限3、检查父目录之后向客户端返回检查成功的消息3、客户端真正的提交上传文件请求，包括文件大小4、namenode计算文件的切块个数，向上取整。获取副本个数(配置文件中hdfs-site.xml)返回给客户端数据块id以及存储的的节
转载
2023-08-24 23:05:56
982阅读
1、5种存储格式Apache Hive支持Apache Hadoop中使用的几种熟悉的文件格式，如TextFile，RCFile，SequenceFile，AVRO，ORC和Parquet格式。Cloudera Impala也支持这些文件格式。在建表时使用STORED AS (TextFile|RCFile|SequenceFile|AVRO|ORC|Parquet)来指定存储格式。Te
列式系统可提供的优势对于查询内容之外的列,不必执行I/O和解压(若适用)操作非常适合仅访问小部分列的查询.如果访问的列很多,则行存格式更为合适相比由多行构成的数据块,列内的信息熵更低,所以从压缩角度来看,列式存储通常会非常高效.换句话说,同一列中的数据比行存数据块中的数据更为相似.当某一列的取值不多是,行存与列存在压缩效果上的差异尤为显著数据仓库类型的应用需要在极大的数据集上对某些特定的列进行聚合
转载
2023-07-12 12:42:23
45阅读
