Hadoop: 1 HDFS（分布式文件系统）2 HBase/Sqoop/Flume（数据导入与导出）3 MapReduce/Spark（并行计算架构）4 Pig/Hive（Hadoop编程）5 ZooKeeper/Oozie（系统管理架构）6 Ambari/Whirr（系统部署管理）7 Mahout（机器学习/算法库）8 Impala （查询系统）Hadoop是一个大家族，是一个开源的
转载
2023-09-25 21:28:03
42阅读
引子： a) 排序的主要目的是在多数据组成情况下，灵活指定排序规则并展示数据 eg: <2,4,1>三数据组成的数据集合中，以row1asc , row2 d
原创
2023-04-21 00:50:09
52阅读
1、概念 2、Hadoop默认分组机制--所有的Key分到一个组，一个Reduce任务处理 3、代码示例 FlowBean FlowGroup FlowGroupPartition
原创
2021-07-22 17:01:57
271阅读
不多说，直接上代码,大家都懂得1、Mapper类的实现 /** * Mapper类的实现 * @author liuyazhuang * */ static class MyMapper extends Mapper{ protected void map(LongWritable key, Text value, org.apache.hadoop.mapred
原创
2015-05-31 13:27:02
90阅读
目录MapReduce中的分组1 默认分组2 自定义分组3 可能存在的问题4 总结MapReduce中的分组分组组件是Map端至Reduce端过程中的一部分，即：Map -----> 分组组件 ------> Reduce；1 默认分组默认情况下：Reduce端接收到的数据是按照map输出的key进行分组；分组时，Key相同的为一组；Key中的对象，均实现了WritableCompar
不多说，直接上代码,大家都懂得1、Mapper类的实现 /** * Mapper类的实现 * @author liuyazhuang * */ static class MyMapper extends Mapper{ protected void map(LongWritable key, Text value, org.apache.hadoop.mapred
原创
2022-04-22 17:20:56
106阅读
## Python自定义分组
在Python编程中，我们经常会遇到需要对数据进行分组的情况。分组可以帮助我们更好地理解和处理数据，提高代码的可读性和可维护性。Python提供了一些内置的方法来实现简单的分组操作，但当我们需要根据自定义规则进行分组时，这些方法可能就不够用了。本文将介绍如何使用Python进行自定义分组，并提供相关的代码示例。
### 基本概念
在进行自定义分组之前，我们先来了
package com.ccse.hadoop.group;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;import org.apache.hadoop.conf
原创
2022-09-05 16:34:41
95阅读
记录一下hadoop 数据类型章节的笔记，以便后期使用，本文是边学习边记录，持续更新中
[size=large][b]Hadoop 常用自带的数据类型和Java数据类型配比如下[/b][/size]
[table]
|[color=red]Hadoop类型[/color]|[color=red]Java类型[/color]|[color=red]描述
转载
2023-07-14 20:34:23
62阅读
Hadoop提供了大量的数据输入类型，如Text和IntWritable． 假如我们需要自定义一个数据类型，首先要实现Writable接口，主要包含两个函数readFields和write．如果需要把新的数据类型作为Map函数的key输出的话，在shuffle阶段会有一个排序的过程，需要对key进行比较，那么这里就推荐实现WritableComparable接口，它比Writable接口多一
转载
2023-10-03 11:49:31
69阅读
一、合久必分——MapReduceHDFS是hadoop的云存储，而MapReduce即是hadoop云计算。MapReduce采用”分而治之“的思想，把对大规模数据集的操作，分发给一个主节点管理下的各分节点共同完成，然后通过整合各分节点的中间结果，得到最终的结果。Map阶段：MapReduce框架将任务的输入数据分割成固定大小的片段（splits），随后将每个split进一步分解成一批键值对&l
# Java Matcher 自定义分组
在Java中，正则表达式是一种非常强大的工具，它可以用于字符串匹配和处理。Java提供了`java.util.regex`包中的Matcher类来支持正则表达式操作。Matcher类可以用于在字符串中查找匹配的子串，并且还可以根据需要自定义分组。本文将介绍Java Matcher的使用方法，并以代码示例来说明如何自定义分组。
## 什么是Matcher
自定义分区我们在wordcount小案例中看到结果是1个part-r-000000的文件，那如果我想对统计结果，按照不同的条件输出到不同的文件(分区)，那该如何处理呢？我们梳理一下这个过程先一个文本文件，上传到hdfs后以block块存储，split到切片，一个切片对应一个maptask任务，一个maptask任务会对数据进行分区、归并和排序等操作，输出成一个临时文件（外部无序，内部有序），一个分
转载
2021-04-21 08:37:28
198阅读
2评论
序列化在分布式环境的两大作用：进程间通信，永久存储。 Writable接口, 是根据 DataInput 和 DataOutput 实现的简单、有效的序列化对象.MR的任意Value必须实现Writable接口：MR的key必须实现WritableComparable接口，WritableComparable继承自Writable和Comparable接口：（本节先讲自定义v
转载
2023-07-09 23:18:17
65阅读
1.通过enum自定义CounterpublicstaticnumLOG_PROCESSOR_COUNTER{BAD_RECORDS};2.在Mapper或者Reducer中操作Countercontext.getCounter(LOG_PROCESSOR_COUNTER.BAD_RECORDS).increment(1);3.在Job完成后可以进行最终统计结果的输出Jobjob=newJob(getConf(),"log-analysis");……Counterscounters=job.getCounters();CounterbadRecordsCounter=cou
转载
2013-09-11 20:00:00
101阅读
2评论
# Hive 分组自定义处理入门指南
作为一名刚入行的开发者，你可能对Hive的分组自定义处理感到困惑。别担心，本文将带你一步步了解如何实现这一功能。
## 一、Hive 分组自定义处理流程
首先，让我们通过一个表格来了解整个流程：
| 步骤 | 描述 |
| --- | --- |
| 1 | 定义输入数据 |
| 2 | 使用`GROUP BY`进行分组 |
| 3 | 应用自定义聚合
1、概念 2、代码示例 FlowSort FlowBean LineException
原创
2021-07-22 13:49:58
196阅读
一、hadoop环境安装【1】创建hadoop用户并切换到hadoop用户[root@server1 ~]# useradd hadoop[root@server1 ~]# id hadoopuid=500(hadoop) gid=500(hadoop) groups=500(hadoop)[root@server1 ~]# su - hadoop【2】下载hadoop和jdk并解压注
转载
2023-10-06 20:34:55
47阅读
——尚硅谷课程笔记整理NameNode和SecondaryNameNode工作机制思考：NameNode中的元数据是存储在哪里的？首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。这样又会带来
学习笔记，整理自《Hadoop权威指南 第3版》一、序列化内存 中的结构化数据 转化为 能在网络上传输 或 磁盘中进行永久保存的二进制流的过程；反序列化：序列化的逆过程； 应用：进程间通信、网络传输、持久化； Hadoop中是使用的自己的序列化格式Writable，以及结合用Avro弥补一些Writable的不足； 二：Writable接口 相关： 主要是3个接口： Writ
转载
2023-07-12 13:25:05
68阅读
