存算分离是下一代企业大数据必然趋势，本篇先简述存算分离背景以及为何要进行存算分离，当前存算分离主要优势和实际应用场景。并归纳分析若干如华为Ocean系列、JuiceFs、HashData等市面上存算分离产品和解决方案。
@目录概述背景为何要存算分离优势应用场景存算分离产品技术流派华为JuiceFSHashDataXSKY概述背景Hadoop一出生就是奔存算一
转载
2023-08-18 21:51:30
229阅读
一、MapReduce 分区上篇文章使用 COVID-19 对 MapReduce 进一步的案例理解，本篇文章讲解 MapReduce 分区，下面是上篇文章的地址：在默认情况下，不管map阶段有多少个并发执行task,到reduce阶段，所有的结果都将有一个reduce来处理，并且最终结果输出到一个文件中，此时，MapReduce的执行流程如下所示： 此时性能的瓶颈就在reduce阶段，那是不是可
转载
2023-09-13 12:08:12
39阅读
1、Shuffle机制定义Map方法之后，Reduce方法之前的数据处理过程称之为Shuffle； 2、Partition 2.1、问题引入 要求将统计结果按照条件输出到不同文件中（分区）。比如：将统计结果按照手机归属地不同省份输出到不同文件中（分区）2.2、默认分区public class HashPartitioner<K, V>
转载
2023-07-11 19:56:34
48阅读
MapReduce分区1、partitioner的作用是将map阶段的输出进行分类，然后reduce端拉去指定分类的数据进行统计，然后输出。就是避免一个reduce处理所有的数据，造成数据量大。将map输出按照分区规则分散多个reduce来处理。 2、默认情况下，partitioner先计算key的散列值（hash值）。然后通过reducer个数执行取模运算： key.hashCode%(redu
转载
2023-10-10 09:04:59
53阅读
一、概念 1、分区： Hadoop默认分区是根据key的hashCode对ReduceTask个数取模得到的，用户无法控制哪个key存储到哪个分区。想要控制哪个key存储到哪个分区，需要自定义类继承Partitioner<KEY, VALUE>，
泛型KEY, VALUE分别对应Mapper里的输出key,value,因为分区是在map()之后，环形缓冲区溢写时完成的。
转载
2023-06-30 22:25:11
137阅读
一、为什么写
分区和分组在排序中的作用是不一样的，今天早上看书，又有点心得体会，记录一下。
二、什么是分区
1、还是举书上的例子，在8.2.4章节的二次排序过程中，用气温举例，所以这里我也将这个例子说一下。
源数据内容
1900 35°C
1900 34°C
1900 34°C
...
1901 36°C
1901
转载
2023-10-06 20:39:44
50阅读
1.MapReduce工作流程 1.待处理文本 2.Submit()方法，客户端先完成一些文件的基本设置，XML文件（任务环境）、会将待处理文本进行切片、jar包、yarn给job分配id、job的参数配置等等 3.提交job信息到yarn集群 4.Resource Manager会根据切片数量计算出Map Task的数量（Connect to the ResourceManager） 5.待处理
转载
2023-09-04 11:38:44
98阅读
案例3：各州累计病例分区统计1、将美国疫情数据不同州的输出到不同文件中，属于同一个州的各个县输出到同一个结果文件中。一、需求分析输出到不同文件中–>reducetask有多个(>2)–>默认只有1个，如何有多个?—>可以设置， job. setNumReduceTasks(N)—>当有多个reducetask意味着数据分区---->默认分区规则是什么? hash
转载
2024-04-19 16:23:47
33阅读
徐海蛟 教学用途1、MapReduce中数据流动 （1）最简单的过程： map - reduce （2）定制了partitioner以将map的结果送往指定reducer的过程： map - partition - reduce （3）增加了在本地先进性一次reduce（优化）过程： map - combin(本地reduce) - partition -reduce2、Mapreduce中Par
转载
2024-05-28 23:41:55
19阅读
1 HDFS概述1.1 HDFS产出背景及定义1.1.1 HDFS产生背景随着数据量越来越多，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。1.1.2 HDFS定义HDFS（Hadoop Distributed File System），它是一个
转载
2023-10-19 19:50:58
788阅读
Hadoop是什么？Hadoop：适合大数据的分布式存储和计算平台HadoopHadoop不是值具体一个框架或者组建爱你，它是Apache软件基金会下用Java语言开发的一个家园分布式计算平台（开源）。实现在大量计算机组成的集群中对海量数据进行分布式计算。适合大数据的分布式存储和计算平台。 Hadoop核心组件：MapReduce和Hadoop Distributed 
转载
2023-07-27 17:31:57
122阅读
# Doris 与 Hadoop 分区存储对比指导
在对大数据处理和分析进行研究时，了解不同的数据存储方案是非常关键的。本文将指导小白开发者如何对 Doris 和 Hadoop 的分区存储进行对比。我们将逐步进行，包括流程概述、每一步的操作代码，并进行详细的注释说明。
## 流程概述
我们将遵循以下步骤来完成任务：
| 步骤 | 描述
1、分区是必须要经历Shuffle过程的，没有Shuffle过程无法完成分区操作2、分区是通过MapTask输出的key来完成的，默认的分区算法是数组求模法： --------------数组求模法： -----------将Map的输出Key调用hashcode（）函数得到的哈希吗（hashcode），此哈希吗是一个数值类型 ，将此哈希吗数值直接与整数的最大值（Integer.MAXVALU
转载
2023-09-06 19:25:35
47阅读
先来看一下默认的Partitionpublic class HashPartitioner<K, V> extends Partitioner<K, V> {
/** Use {@link Object#hashCode()} to partition. */
public int getPartition(K key, V value,
转载
2023-07-13 16:55:05
44阅读
1、数据采集对于数据采集主要分为三类，即结构化数据库采集，日志和文件采集，网页采集。
对于结构化数据库，采用Sqoop是合适的，可以实现结构化数据库中数据并行批量入库到hdfs存储。
对于网页采集，前端可以采用Nutch，全文检索采用lucense，而实际数据存储最好是入库到Hbase数据库。
对于日志文件的采集，现在最常用的仍然是flume或chukwa，但是我们要看到
转载
2023-05-26 15:51:27
87阅读
为了对表进行合理的管理以及提高查询效率，Hive可以将表组织成“分区”。部分列的集合，可以为频繁使用的数据建立分区，这样查找分区中的数据时就不需要扫描全表，这对于提高查找效率很有帮助。分区是一种根据“分区列”（partition column）的值对表进行粗略划分的机制。Hive中的每个分区对应数据库中相应分区列的一个索引，每个分区对应着表下的一个目录，在H
转载
2023-07-13 16:56:49
74阅读
大数据存储技术面向的是海量、异构数据，因此，它需要提供高性能、高可靠的存储和访问能力。本节将介绍大数据存储技术的概率和原理，包括Hadoop分布式文件系统（HDFS）、列式数据库（HBase）和其他数据存储技术2.3.1分布式文件系统：HDFS解决了大规模数据存储问题的有效方案。HDFS是hadoop两大核心组成部分之一HDFS集群包含一个名称节点（NameNode）和若干数据节点（DataNod
转载
2023-08-15 11:52:58
96阅读
一、分布式文件存储面临的挑战1.海量数据存储问题
采用多台服务器，支持横向扩展
2.海量数据问题查询便捷问题
使用元数据记录文件和机器的位置信息
3.大文件传输效率慢问题
分块存储，分别存储在多台机器上，并行操作提高效率
4.数据丢失问题
冗余存储，多副本机制
5.解决用户查询视角统一规整问题
可以报分布式文件系统的元数据记录抽象为统一的目录树结构，类似传统的操作系统二、HDFS应用场景适
转载
2023-08-15 10:01:06
212阅读
程序源码见：源码1、MapReduce中数据流动 （1）最简单的过程： map - reduce （2）定制了partitioner以将map的结果送往指定reducer的过程： map - partition - reduce （3）增加了在本地先进性一次reduce（优化）过程： map - combin(本地reduce) - partition -reduce2、Mapreduce中Par
转载
2023-09-20 10:54:25
58阅读
Hadoop 数据是存储在HDFS， Mapreduce 是一种计算框架，负责计算处理。HDFS上的数据存储默认是本地节点数据一份，同一机架不同节点一份，不同机架不同节点一份。默认是存储3份HDFS 存储元数据信息和存储位置信息，metadata。他们之间是通过文件名进行关联的。DataNode 节点存储FsImage， editLog；NameNode 存储的是block storage用户的请
转载
2023-07-05 21:44:43
393阅读
