Hadoop里面有一些内置的数据类型，例如：数据类型Hadoop数据类型整型IntWritable双字节数值DoubleWritable布尔型BooleanWritable长整型数LongWritable使用UTF8格式存储的文本Text浮点数Floatwritable但当我们在MapReduce上的键或者值需要存储两个或者以上的数据时，这些基础的数据类型就满足不了我们的需求，故我们可以通过自定义
转载
2023-10-03 11:49:47
98阅读
最近有一个需求就是在建模的时候，有少部分数据是postgres的，只能读取postgres里面的数据到hadoop里面进行建模测试，而不能导出数据到hdfs上去。 读取postgres里面的数据库有两种方法，一种就是用hadoop的DBInputFormat（DBInputFormat在hadoop2.4.1的jar里面有两个包，import  
转载
2023-07-16 19:03:50
50阅读
通过类别来给已经存在的类添加方法来实现自定义类
如果你需要添加一个方法给一个已经存在的类，也许能增加新的功能使你更容易来在我们的应用里处理一些事情。最简单的方法是用类别。这个语法有点想类的接口描述但是他是没有继承类的，相反的要指定类别的名字在括号里面。@interface ClassName (categoryName) @end一个类别可以被定义在任何的类里面。甚至你不知道
转载
2024-04-03 21:26:40
0阅读
一、合久必分——MapReduceHDFS是hadoop的云存储，而MapReduce即是hadoop云计算。MapReduce采用”分而治之“的思想，把对大规模数据集的操作，分发给一个主节点管理下的各分节点共同完成，然后通过整合各分节点的中间结果，得到最终的结果。Map阶段：MapReduce框架将任务的输入数据分割成固定大小的片段（splits），随后将每个split进一步分解成一批键值对&l
转载
2024-01-02 10:44:38
38阅读
Hadoop提供了大量的数据输入类型，如Text和IntWritable． 假如我们需要自定义一个数据类型，首先要实现Writable接口，主要包含两个函数readFields和write．如果需要把新的数据类型作为Map函数的key输出的话，在shuffle阶段会有一个排序的过程，需要对key进行比较，那么这里就推荐实现WritableComparable接口，它比Writable接口多一
转载
2023-10-03 11:49:31
80阅读
记录一下hadoop 数据类型章节的笔记，以便后期使用，本文是边学习边记录，持续更新中
[size=large][b]Hadoop 常用自带的数据类型和Java数据类型配比如下[/b][/size]
[table]
|[color=red]Hadoop类型[/color]|[color=red]Java类型[/color]|[color=red]描述
转载
2023-07-14 20:34:23
90阅读
1、基本概念 2、Mapper代码 3、Reducer代码 4、序列化Bean代码 5、TestRunner代码 参考资料： http://www.cnblogs.com/robert-blue/p/4157768.html http://www.cnblogs.com/qlee/archive/2
原创
2021-07-26 16:59:23
380阅读
自定义类。using System;namespace a{ public abstract class MyBase { } internal class MyClass:MyBase { } public interface IMyBaseInterface { } internal interface IMyBaseInterface2 { } internal interface IMyInterface:IMyBaseInterface,IMyBaseInterface2 { } internal sealed class MyComplexClass:MyClass,IMyInte
转载
2012-04-26 21:40:00
359阅读
2评论
1.通过enum自定义CounterpublicstaticnumLOG_PROCESSOR_COUNTER{BAD_RECORDS};2.在Mapper或者Reducer中操作Countercontext.getCounter(LOG_PROCESSOR_COUNTER.BAD_RECORDS).increment(1);3.在Job完成后可以进行最终统计结果的输出Jobjob=newJob(getConf(),"log-analysis");……Counterscounters=job.getCounters();CounterbadRecordsCounter=cou
转载
2013-09-11 20:00:00
131阅读
2评论
1.头文件#import @interface ZRQQLoginSingleton : NSObject@property (nonatomic, co
原创
2023-02-25 16:02:31
150阅读
自定义分区我们在wordcount小案例中看到结果是1个part-r-000000的文件，那如果我想对统计结果，按照不同的条件输出到不同的文件(分区)，那该如何处理呢？我们梳理一下这个过程先一个文本文件，上传到hdfs后以block块存储，split到切片，一个切片对应一个maptask任务，一个maptask任务会对数据进行分区、归并和排序等操作，输出成一个临时文件（外部无序，内部有序），一个分
转载
2021-04-21 08:37:28
222阅读
2评论
序列化在分布式环境的两大作用：进程间通信，永久存储。 Writable接口, 是根据 DataInput 和 DataOutput 实现的简单、有效的序列化对象.MR的任意Value必须实现Writable接口：MR的key必须实现WritableComparable接口，WritableComparable继承自Writable和Comparable接口：（本节先讲自定义v
转载
2023-07-09 23:18:17
84阅读
学习笔记，整理自《Hadoop权威指南 第3版》一、序列化内存 中的结构化数据 转化为 能在网络上传输 或 磁盘中进行永久保存的二进制流的过程；反序列化：序列化的逆过程； 应用：进程间通信、网络传输、持久化； Hadoop中是使用的自己的序列化格式Writable，以及结合用Avro弥补一些Writable的不足； 二：Writable接口 相关： 主要是3个接口： Writ
转载
2023-07-12 13:25:05
78阅读
——尚硅谷课程笔记整理NameNode和SecondaryNameNode工作机制思考：NameNode中的元数据是存储在哪里的？首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。这样又会带来
转载
2024-05-15 19:11:14
30阅读
mapreduce 中 , 一个 job 的 map 个数 , 每个 map 处理的数据量是如何决定的呢 ? 另外每个 map 又是如何读取输入文件的内容呢 ? 用户是否可以自己决定输入方式 , 决定 map 个数呢 ? 这篇文章将详细讲述 hadoop 简介 : mapreduce 作业会根据输入目录产生多个 map 任务 , 通过多个 map 任务并行执行来提高作业运行速
转载
2023-11-22 17:20:41
63阅读
1、概念 2、代码示例 FlowSort FlowBean LineException
原创
2021-07-22 13:49:58
220阅读
一、hadoop环境安装【1】创建hadoop用户并切换到hadoop用户[root@server1 ~]# useradd hadoop[root@server1 ~]# id hadoopuid=500(hadoop) gid=500(hadoop) groups=500(hadoop)[root@server1 ~]# su - hadoop【2】下载hadoop和jdk并解压注
转载
2023-10-06 20:34:55
70阅读
Hadoop: 1 HDFS（分布式文件系统）2 HBase/Sqoop/Flume（数据导入与导出）3 MapReduce/Spark（并行计算架构）4 Pig/Hive（Hadoop编程）5 ZooKeeper/Oozie（系统管理架构）6 Ambari/Whirr（系统部署管理）7 Mahout（机器学习/算法库）8 Impala （查询系统）Hadoop是一个大家族，是一个开源的
转载
2023-09-25 21:28:03
62阅读
自定义枚举类通过我们对枚举类的了解我们知道: 枚举类的定义方式有两种:jdk5.0之前我们只能是自定义枚举类jdk5.0之后我们可以通过新提出的enum关键字来定义枚举类那么这里我们就要先来说一下如何自定义枚举类但是在实际编程中我们现在绝大多数情况下都是使用enum关键字来定义枚举来的注意: jdk5.0和jdk8.0是java中版本更新的两个重要里程碑, 因为jdk5.0和jdk8.0中都提出了
转载
2023-07-19 09:50:31
97阅读
上下文管理器是一个对象这个对象有两个特殊的方法 __enter__() 和 __exit__()通过 with 语句调用这个对象时，能自动执行两个特殊方法进入和退出对象，代码非常简洁、方便一般这样写：with 对象 as 标识符:1、首先得了解一下异常处理前面文章讲解过，详细可以点击【异常处理的四种方法，不只是try】文章异常 trytry: f = open('file.txt', 'r'
转载
2023-09-26 17:30:22
206阅读
