一、视图什么是视图？ 视图是从数据库中的基本表中选取的数据组成的逻辑窗口。它只是一个虚表，不进行实际的存储。数据库只存放视图的定义，数据项仍然存放在原来的基本表结构中。 视图可以被用于多个表的连接，也可以定义为部分行（列）可见。 Hive视图是一种无关底层存储的逻辑对象，视图中的数据是select查询返回的结果。视图的作用 1.简化查询语句 2.提高数据的安全性 3.视图保证了一定程度的逻辑独立性
转载
2023-09-04 21:10:00
78阅读
Hadoop集群hdfs添加磁盘操作目前的环境是cdh。服务器部署在Azure；一台cdhmaster（一个namenode，一个datanode），四台cdhslave节点（各一个datanode）。hdfs现状：首先是在Azure控制台对每台服务器添加一块磁盘（我这添加的是4T）在到服务器中对每台服务器进行添加磁盘操作：因为在Linux中，常用2种分区表：
MBR分区表（即主引导记录）
所支持
转载
2023-07-12 13:30:22
103阅读
Hadoop生态中的Mapreduce在map阶段可以将大数据或大文件进行分区，然后到Reduce阶段可并行处理，分区数量一般与reduce任务数量一致；自定义实现Hadoop的WritableComparable接口（序列化并排列接口）的Bean在mapreduce中进行排序；分组的好处是在Reduce阶段时可将数据按照自定义的分组属性进行分组处理。 文章通过“寻找订单中的最大金额”的Demo
转载
2023-09-01 08:32:37
71阅读
1.MapReduce工作流程 1.待处理文本 2.Submit()方法，客户端先完成一些文件的基本设置，XML文件（任务环境）、会将待处理文本进行切片、jar包、yarn给job分配id、job的参数配置等等 3.提交job信息到yarn集群 4.Resource Manager会根据切片数量计算出Map Task的数量（Connect to the ResourceManager） 5.待处理
转载
2023-09-04 11:38:44
98阅读
一、概念 1、分区： Hadoop默认分区是根据key的hashCode对ReduceTask个数取模得到的，用户无法控制哪个key存储到哪个分区。想要控制哪个key存储到哪个分区，需要自定义类继承Partitioner<KEY, VALUE>，
泛型KEY, VALUE分别对应Mapper里的输出key,value,因为分区是在map()之后，环形缓冲区溢写时完成的。
转载
2023-06-30 22:25:11
137阅读
徐海蛟 教学用途1、MapReduce中数据流动 （1）最简单的过程： map - reduce （2）定制了partitioner以将map的结果送往指定reducer的过程： map - partition - reduce （3）增加了在本地先进性一次reduce（优化）过程： map - combin(本地reduce) - partition -reduce2、Mapreduce中Par
转载
2024-05-28 23:41:55
19阅读
案例3：各州累计病例分区统计1、将美国疫情数据不同州的输出到不同文件中，属于同一个州的各个县输出到同一个结果文件中。一、需求分析输出到不同文件中–>reducetask有多个(>2)–>默认只有1个，如何有多个?—>可以设置， job. setNumReduceTasks(N)—>当有多个reducetask意味着数据分区---->默认分区规则是什么? hash
转载
2024-04-19 16:23:47
33阅读
一、HDFS(Hadoop Distributed File System的英文首字母缩写) 意思是Hadoop分布式文件系统，主要用来解决海量数据的存储问题 概念： HDFS是一个分布式的（何为分布式？在空间的任意点上随意分布）由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。其次是一个文件系统，用于存储文件，通过统一的命名空间–目录树来定位文件。 二、HDFS的设计思想 1、分散均匀
转载
2023-11-10 01:22:33
62阅读
一.背景为了使得MapReduce计算后的结果显示更加人性化，Hadoop提供了分区的功能，可以使得MapReduce计算结果输出到不同的分区中，方便查看。Hadoop提供的Partitioner组件可以让Map对Key进行分区，从而可以根据不同key来分发到不同的reduce中去处理，我们可以自定义key的分发规则，如数据文件包含不同的省份，而输出的要求是每个省份对应一个文件。 二：技
转载
2023-09-21 23:59:29
110阅读
文章目录Hadoop（伪分布）+ Spark（Local）软件安装及环境配置前言一、安装虚拟机1.下载Ubuntu16.04镜像二、Hadoop安装及配置（伪分布式）1.创建hadoop用户2.更新apt3.安装SSH、配置SSH无密码登陆4.安装Java环境5.安装Hadoop3.1.36.Hadoop伪分布式配置三、安装 Spark2.4.01.下载Spark2.4.02.安装Spark（L
转载
2023-11-18 23:36:04
9阅读
1、Shuffle机制定义Map方法之后，Reduce方法之前的数据处理过程称之为Shuffle； 2、Partition 2.1、问题引入 要求将统计结果按照条件输出到不同文件中（分区）。比如：将统计结果按照手机归属地不同省份输出到不同文件中（分区）2.2、默认分区public class HashPartitioner<K, V>
转载
2023-07-11 19:56:34
48阅读
单机部署，java，hadoop，网上已经有太多的操作文章，这里也做一下记录，方便以后自己查阅。要注意的是，这里的环境是集群部署，也就是多台机器都要部署java/hadoop。慵懒的方式就在操作2遍，但是我们可以使用linux的一下技巧，比如编写集群分发脚本xsync，来实现，在hadoop112上部署环境修改配置，然后同步到hadpp113,hadp114。下面我们就开始进行操作：1) hado
转载
2023-09-06 10:55:22
70阅读
1、问题引出要求将统计结果按照条件输出到不同文件中(分区)。比如:将统计结果按照手机归属地不同省份输出到不同文件中(分区)2、默认Patitioner分区public class HashPartitioner<K, V> extends Partitioner<K, V> {
public int getPartition(K key, W value, int nu
转载
2023-09-22 18:59:13
33阅读
之前自己在慕课网在线学习了关于hadoop的初步知识，在此记录一下：hadoop主要是由两部分构成：1、HDFS，负责存储，为分布式文件系统；2、MapReduce，是并行处理框架，用于实现任务的分解和调度。hadoop的优势：1、高扩展：通过添加硬件来实现性能的提升，扩充容量。2、低成本：只需要普通PC机即可，不需高端硬件。3、成熟的生态圈：周边开源工具丰富：有Hive、HBase（其中Hive
转载
2023-07-12 12:13:09
70阅读
MapReduce分区1、partitioner的作用是将map阶段的输出进行分类，然后reduce端拉去指定分类的数据进行统计，然后输出。就是避免一个reduce处理所有的数据，造成数据量大。将map输出按照分区规则分散多个reduce来处理。 2、默认情况下，partitioner先计算key的散列值（hash值）。然后通过reducer个数执行取模运算： key.hashCode%(redu
转载
2023-10-10 09:04:59
53阅读
# 如何在 Hadoop 中设置分区
Hadoop 是一个用于大规模数据存储和处理的开源框架。为了有效地管理数据，分区是一个非常重要的概念。本文将详细讲解如何在 Hadoop 中设置数据分区，并配以代码和流程图示。
## 整体流程
在实现 Hadoop 中的数据分区之前，首先要理解整个流程。以下是设置分区的基本步骤：
| 步骤 | 描述 |
| ---- | ---- |
| 1 |
原创
2024-09-25 08:51:07
41阅读
# 分区与高价值数据在Hadoop中的处理
Hadoop是一个开源的分布式计算平台，经常用于处理大数据。在大数据处理中，数据的分区是一个非常重要的概念，特别是在处理高价值数据时。本文将介绍Hadoop中的分区概念，并展示如何通过示例代码来实现高价值数据的分区处理。
## 1. Hadoop中的分区概念
在Hadoop中，分区是将数据集划分为多个部分，这样可以提高计算效率和存储管理。每个分区的
原创
2024-10-18 04:56:16
11阅读
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Partitioner;
/* 测试 Partitioner 分区
*/
public class TestPartitioner extends Partitioner<Text, Text>{
/*
* 接受的两个
原创
2013-05-22 00:09:54
1595阅读
## 如何实现"Hadoop加分区"
### 一、流程概述
首先让我们来看一下整个过程的流程图：
```mermaid
gantt
title Hadoop加分区流程图
section 分区实现
准备数据集 :a1, 2022-01-01, 1d
创建Hive表 :a2, after a1, 1d
加载数据到表 :a3, after
原创
2024-05-10 04:05:57
22阅读
# Hadoop分区规则实现指南
## 1. 概述
在Hadoop中，分区是将输入数据划分成不同的部分，以便更有效地进行数据处理和存储。本文将介绍Hadoop分区规则的实现过程，并提供代码示例和解释。
## 2. 整体流程
下面的表格展示了实现Hadoop分区规则的整体流程：
| 步骤 | 描述 |
| --- | --- |
| 1. 获取输入数据 | 从Hadoop分布式文件系统（HD
原创
2023-11-21 14:35:01
110阅读
