lz在学习hadoop大数据实践，接触到可以通过继承partitioner这个类来自定义分区，将map后输出的结果按照key来划分到不同的reduce中进行汇总，也就是reduce，默认情况下只有一个partitioner分区，可以自定义来划分不同的partitioner分区，方便快捷。而且，自定义分区，必须通过hadoop jar的方式来运行，以下通过一个例子来说明如何运行这个partition
转载
2023-09-20 10:32:41
65阅读
一、概念 1、分区： Hadoop默认分区是根据key的hashCode对ReduceTask个数取模得到的，用户无法控制哪个key存储到哪个分区。想要控制哪个key存储到哪个分区，需要自定义类继承Partitioner<KEY, VALUE>，
泛型KEY, VALUE分别对应Mapper里的输出key,value,因为分区是在map()之后，环形缓冲区溢写时完成的。
转载
2023-06-30 22:25:11
137阅读
分区机制：key做hash，对reduce个数取模
原创
2019-04-23 22:53:22
1352阅读
目录Partitioner分区默认Partitioner分区自定义Partitioner分区WritableComparable排序全排序分区排序辅助分组Combiner合并 Partitioner分区 按照不同的条件将结果输出到不同的分区，比如将结果按照手机归属地不同省份输出到不同的文件中。默认Partitioner分区 &n
转载
2023-07-21 15:04:37
40阅读
目录一.RDD的分区二.RDD的依赖关系三.RDD机制1、使用persist（）方法对RDD进行持久化编辑2、使用cache（）方法对RDD进行持久化编辑三、容错机制一.RDD的分区RDD的分区原则是分区的个数尽量等于集群中的CPU核心(Core)数目。各种模式下的默认分区数目如下(1) Local模式:默认为本地机器的CPU数目,若设置了local[N].则默认为N.(2) Standalone
转载
2023-10-27 01:17:14
56阅读
一、Partition分区在MapReduce执行当中，有一个默认的步骤就是partition分区，分区主要的作用就是将相同的数据发送到同一个reduceTask里面去。在MapReduce中有一个抽象类叫做Partitioner，默认使用的实现类是HashPartitioner。1、问题引出要求将统计结果按照条件输出到不同文件中（分区）。比如：将统计结果按照手机归属地不同省份输出到不同文件中（分
一、Partition分区在MapReduce执行当中，有一个默认的步骤就是partition分区，分区主要的作用就是将相同的数据发送到同一个reduceTask里面去。在MapReduce中有一个抽象类叫做Partitioner，默认使用的实现类是HashPartitioner。1、问题引出要求将统计结果按照条件输出到不同文件中（分区）。比如：将统计结果按照手机归属地不同省份输出到不同文件中（分
首先需要明确的是，hadoop里的key一定要是可排序的，要么key自身实现了WritableComparator接口，要么有一个排序类可以对key进行排序。如果key本身不实现WritableComparator接口，而是由另外的一个工具类（实现RawComparator接口）来提供排序的话，需要单独设置key的排序类：job.setOutputKeyComparatorClass
转载
2023-07-14 09:52:40
62阅读
Hadoop核心组件：分布式文件系统（HDFS）：以流式数据访问模式来存储超大文件，运行于商用硬件集群，是管理网络中跨多台计算机存储的文件系统分布式运算框架（MapReduce）；分布式调度引擎（YARN）；HDFS的设计特点：概括：分（分块）、余（冗余）、展（动态扩展）的大硬盘！分块：HDFS的存储文件被划分为块，作为独立的存储单元，称为数据块，默认大小是：Hadoop1.x：64MB；Hado
转载
2023-11-10 17:04:35
45阅读
什么是Shuffle在Map方法之后，Reduce方法之前的数据处理过程称之为Shuffle1. Partition分区默认分区官方默认的分区是哈希分区@Public
@Stable
public class HashPartitioner<K2, V2> implements Partitioner<K2, V2> {
public HashPartitioner
转载
2023-07-13 16:55:38
60阅读
一、视图什么是视图？ 视图是从数据库中的基本表中选取的数据组成的逻辑窗口。它只是一个虚表，不进行实际的存储。数据库只存放视图的定义，数据项仍然存放在原来的基本表结构中。 视图可以被用于多个表的连接，也可以定义为部分行（列）可见。 Hive视图是一种无关底层存储的逻辑对象，视图中的数据是select查询返回的结果。视图的作用 1.简化查询语句 2.提高数据的安全性 3.视图保证了一定程度的逻辑独立性
转载
2023-09-04 21:10:00
78阅读
分区的数据是如何分的？分区的效果就是将结果数据写入到不同的文件当中。
原创
2022-11-18 09:15:44
73阅读
HDFS简介HDFS(HadoopDistributedFileSystem)即hadoop分布式文件存储系统。原理 将大文件、大批量文件，分布式存储在大量服务器上，以便采取分而治之的方式对海量数据进行分析。重要概念
文件切块：HDFS中的文件在物理上是分块存储的，block的大小可以通过配置参数自己设置。副本：datanode是HDFS集群的从节点，每个block可以在多个datanode
转载
2023-07-12 15:08:24
384阅读
继上篇文章验证Cloudera RM HA功能后，现在开始分析Cloudera RM HA的原理。 设计目标主要目的是为了解决两种问题 计划外的机器挂掉 计划内的如软件和硬件升级等. 架构流程：两个RM, 启动的时候都是standby, 进程启动以后状态未被加载, 转换为active后才会加载相应的状态并启动服务. RM的状态通过配置可以存储在zookeeper, HDFS上。Standby转换到
转载
2023-07-31 17:30:53
49阅读
Linux是一种自由开源的操作系统，它以其稳定性和安全性而受到了广泛的赞誉。在Linux操作系统中，有一个重要的概念就是分区。分区是将硬盘划分为不同的逻辑部分，每个分区可以独立地存储文件和数据。本文将重点讨论Linux默认的分区方案。
在大多数Linux发行版中，默认的分区方案是使用传统的分区布局，包括根分区、交换分区和其他数据分区。这个默认方案通常在安装过程中由安装程序自动完成。下面将对这些分
原创
2024-02-01 15:55:08
517阅读
Hadoop集群hdfs添加磁盘操作目前的环境是cdh。服务器部署在Azure；一台cdhmaster（一个namenode，一个datanode），四台cdhslave节点（各一个datanode）。hdfs现状：首先是在Azure控制台对每台服务器添加一块磁盘（我这添加的是4T）在到服务器中对每台服务器进行添加磁盘操作：因为在Linux中，常用2种分区表：
MBR分区表（即主引导记录）
所支持
转载
2023-07-12 13:30:22
103阅读
***相同组内的k-v，由同一次的reduce方法处理一、为什么写分区和分组在排序中的作用是不一样的，今天早上看书，又有点心得体会，记录一下。二、什么是分区1、还是举书上的例子，在8.2.4章节的二次排序过程中，用气温举例，所以这里我也将这个例子说一下。源数据内容1900 35°C
1900 34°C
1900 34°C
...
1901 36°C
1901 35°C书上的例子是为了去除一年当中气
原创
2021-05-24 21:51:40
367阅读
文章目录Hadoop 核心-HDFS1. HDFS概述1.1 介绍1.2 历史2. HDFS应用场景2.1 适合的应用场景2.2 不适合的应用场景3.HDFS 的架构4.NameNode和DataNode4.1 NameNode作用4.2 DataNode作用5.HDFS的副本机制和机架感知5.1 HDFS 文件副本机制5.2 机架感知6.hdfs的命令行使用7.hdfs的高级使用命令7. 1、
需求
公司里有两个部门，一个叫hive，一个叫pig，这两个部门都需要使用公司里的hadoop集群。于是问题来了，因为hadoop默认是FIFO调度的，谁先提交任务，谁先被处理，于是hive部门很担心pig这个部门提交一个耗时的任务，影响了hive的业务，hive希望可以和pig在高峰期时，平均使用整个集群的计算容量,互不影响。 思路
hadoop的默认调度器是FIFO，但是也有计算容量调度
转载
2023-07-21 15:04:47
48阅读
1.MapReduce工作流程 1.待处理文本 2.Submit()方法，客户端先完成一些文件的基本设置，XML文件（任务环境）、会将待处理文本进行切片、jar包、yarn给job分配id、job的参数配置等等 3.提交job信息到yarn集群 4.Resource Manager会根据切片数量计算出Map Task的数量（Connect to the ResourceManager） 5.待处理
转载
2023-09-04 11:38:44
98阅读
