相关文件请自行创建！！！packagecom.hadoop.hdfs;importjava.io.IOException;importjava.net.URI;importjava.net.URISyntaxException;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.FSDataInputStrea
原创
2019-10-31 23:02:02
1789阅读
1评论
概述HDFS小文件是指文件远远小于HDFS配置的block文件大小的文件。在HDFS上中block的文件目录数、或增删改查操作等都是存储在内存中，以对象的方式存储，每个对象约占150byte。若大量的小文件存储占用一个block，则会占用大量内存。常见方案小文件上传时合并上传Hadoop Archive方式Sequence file方式小文件上传时合并上传将本地的小文件合并，上传到H
转载
2023-10-02 20:51:23
219阅读
作者：梁世威“ 对 spark 任务数据落地(HDFS) 碎片文件过多的问题的优化实践及思考。”此文是关于公司在 Delta Lake 上线之前对Spark任务写入数据产生碎片文件优化的一些实践。形成原因数据在流转过程中经历 filter/shuffle 等过程后，开发人员难以评估作业写出的数据量。即使使用了 Spark 提供的AE功能，目前也只能控制 shuffle read
转载
2023-08-08 11:38:59
295阅读
hdfs dfs -cat /user/hive/warehouse/test.db/tmpdata/* | hdfs dfs -put - /user/hive/warehouse/test.db/tmpfile
原创
2021-06-21 17:43:04
623阅读
hdfs dfs -cat /user/hive/warehouse/test.db/tmpdata/* | hdfs dfs -put - /user/hive/warehouse/test.db/tmpfile
原创
2022-01-07 16:05:22
357阅读
磁盘：
heads/sectors/cylinders，分别就是磁头/扇区/柱面，每个扇区512byte（现在新的硬盘每个扇区有4K）
文件系统：
文件系统不是一个扇区一个扇区的来读数据，太慢了，所以有了block（块）的概念，它是一个块一个块的读取的，block才是文件存取的最小单位。
文件系统中1个块是由连续的8个扇区组成。
HDFS:
默认文件大小64M（或者是128M）
h
转载
2019-01-04 17:20:00
283阅读
2评论
HDFS小文件的合并优化我们都知道，HDFS设计是用来存储海量数据的，特别适合存储TB、PB量级别的数据。但是随着时间的推移，HDFS上可能会存在大量的小文件，这里说的小文件指的是文件大小远远小于一个HDFS块（128MB）的大小；HDFS上存在大量的小文件至少会产生以下影响：消耗NameNode大量的内存
延长MapReduce作业的总运行时间本文将介绍如何在MapReduce作业层面上将大量的
转载
2023-10-15 01:13:27
136阅读
不多说，直接上代码。 代码版本1 1 package zhouls.bigdata.myWholeHadoop.HDFS.hdfs7;
2
3 import
转载
2023-10-21 18:54:56
88阅读
由于Hadoop擅长存储大文件，因为大文件的元数据信息比较少，如果Hadoop集群当中有大量的小文件，那么每个小文件都需要维护一份元数据信息，会大大的增加集群管理元数据的内存压力，所以在实际工作当中，如果有必要一定要将小文件合并成大文件进行一起处理。 &n...
原创
2021-06-01 14:11:04
1113阅读
由于Hadoop擅长存储大文件，因为大文件的元数据信息比较少，如果Hadoop集群当中有大量的小文件，那么每个小文件都需要维护一份元数据信息，会大大的增加集群管理元数据的内存压力，所以在实际工作当中，如果有必要一定要将小文件合并成大文件进行一起处理。 &n
原创
2022-04-01 10:26:14
588阅读
今天一天的时间，成功使用flume把日志扇入ElasticSearch中，并运行Kibana实现日志的初步展示，记录于此。1：ES集群的搭建不予赘述，可参考：如何搭建ES集群2：Flume与ES协同这一部分堪称是重中之重，主要的时间就是花费在这上面了。flume的sink里，其实是有ElasticSearchSink的，我的打算，也是想直接使用其实现功能即可，后发现，ES使用的版本过高，但又不想照
hdfs合并小文件hadoop fs -getmerge hdfs文件夹路径 合并本地的文件名如果hdfs误删除文件或者hive误删除文件/user/hadoop/.Trash/Current 这个地址下有文件备份，文件备份保留七天（core配置文件可以设置）hive压缩压缩的好处：(执行查询时会自动解压) 可以节约磁盘的空间，基于文本的压缩率可达40%+; 压缩可以增加吞吐量和性能量(减小载入内
转载
2023-10-06 14:01:21
145阅读
小文件合并是针对文件上传到HDFS之前 这些文件夹里面都是小文件 参考代码 最后一点，分清楚
原创
2022-06-20 13:08:42
613阅读
对于刚接触大数据的用户来说，要想区分Hive与HBase是有一定难度的。本文将尝试从其各自的定义、特点、限制、应用场景等角度来进行分析，以作抛砖引玉之用。====Hive是什么？Apache Hive是一个构建于Hadoop(分布式系统基础架构)顶层的数据仓库，注意这里不是数据库。Hive可以看作是用户编程接口，它本身不存储和计算数据；它依赖于HDFS(Hadoop分布式文件系统)和MapRedu
转载
2023-07-12 10:06:58
59阅读
[size=large]前提Spark集群已经搭建完毕,如果不知道怎么搭建
注意提交作业，需要使用sbt打包成一个jar，然后在主任务里面添加jar包的路径远程提交即可，无须到远程集群上执行测试，本次测试使用的是Spark的Standalone方式
sbt依赖如下：
[/size]
name := "spark-hello"
version
RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，这极大地提升了查询速度。RDD的属性（1）一组分片（Partition），即
HDFS是什么HDFS是Hadoop distributed file system的的缩写，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的分布式文件系统。HDFS的优势高容错性与恢复机制raid1，独立冗余磁盘阵列。会有多个副本存储在hdfs中，提高容错性。可以通过其他副本进行恢复。适合大数据处理能够存储百万规模以上的文件数据。处理数据的大小可以达到PB的级别
flume----HDFS sink 启动时产生大量小文件处理办法 1.问题背景通过flume直接上传实时数据到hdfs，会常遇到的一个问题就是小文件，需要调参数来设置，往往在生产环境参数大小也不同1.flume滚动配置为何不起作用？2.通过源码分析得出什么原因？3.该如何解决flume小文件？2. 过程分析接着上一篇，本人在测试hdfs的sink，发现sink端的文件滚动配置项起不到任何作用，配
hive优化二. 小文件的处理方式2.1. HDFS上现存的小文件问题 : HDFS集群上目前存在的大量小文件解决 : 不定期调用HDFS和sync()方法 和 append()方法, 整理小文件生成大文件2.2. MapReduce上的小文件上面已经描述过，一个文件对应启动一个mapTask，则小文件太多，会带来相应的很多问题。处理方式如下:2.2.1. Hadoop Archive(略)2.2
HDFS 集群的性能瓶颈中，常常会听到“小文件太多”类似的描述。
为什么太多的小文件会影响 HDFS 的性能呢？解决方案之【合并小文件】也一起来学学吧????
原创
2021-07-02 11:45:02
2010阅读
