边数据 边数据（side data）是作业所需的额外的只读数据，以辅助处理主数据集。所面临的挑战在于如何使所有map或reduce任务（这些任务散布在集群内部）都能够方便而高效地使用边数据。 利用Job来配置作业 Configuration类的各种setter方法能够方便地配置作业的任一键值对。如果
原创
2022-06-10 20:05:03
420阅读
MapReduce的多输入、多mapper 虽然一个MapReduce作业的输入可能包含多个输入文件（由文件glob、过滤器和路径组成），但所有文件都由同一个InputFormat和同一个Mapper来解释。然而，数据格式往往会随时间而演变，所以必须写自己的mapper来处理应用中的遗留数据格式问题
原创
2022-06-10 19:52:44
59阅读
1.TextInputFormat TextInputFormat是默认的InputFormat。每条记录是一行输入。键是LongWritable类型，存储该行在整个文件中的字节偏移量。值是这行的内容，不包括任何行终止符(换行符和回车符)，它被打包成一个Text对象。一般情况下，很难取得行号，因为文
原创
2022-06-10 19:52:21
230阅读
线性回归有是三个值很重要： 1. 斜率 2. 截距：x和y轴的交点值； 3. 显著性：数据偏离线性的程度，用以判断数据可以用线性表示的程度；拟合度 apache.commons.math3里面有一个simpleRegression专门用于做线性分析；通过add函数来进行添加x值和y值； 基因聚合 感
转载
2018-07-23 22:24:00
135阅读
2评论
1.wordcount的代码如下public class WordCount{ public static class TokenizerMapper extends Mapper { ...
转载
2013-05-14 22:04:00
34阅读
2评论
计数器 计数器是收集作业统计信息的有效手段之一，用于质量控制或应用级统计。计数器还可辅助诊断系统故障。根据计数器值来记录某一特定事件的发生比分析一堆日志文件容易得多。内置计数器Hadoop为每个作业维护若干内置计数器，以描述多项指标。例如，某些计数器记录已处理的字节数和记录数，使用户可监控已处理的输
原创
2022-06-10 19:50:05
375阅读
朴素贝叶斯（Native Bayes），贝叶斯在现实使用中是怎么玩的？不是根据A|B的概率获得B|A的概率，在现实中的玩法是： 首先要明白贝叶斯是一种分类算法，因为是概率所以，他的应用领域其实是比较，那个分类的概率大就是哪个分类。 常场景是属性和结论，比如天气，风向，温度这些维度属性来推断是否适合打
转载
2018-07-06 13:25:00
529阅读
2评论
一个输入分片(split)就是一个由单个map操作来处理的输入块。每一个map操作只处理一个输入分片。每个分片被划分为若干个记录，每条记录就是一个键值对，map一个接一个地处理记录。输入分片和记录都是逻辑概念，不必将它们对应到文件，尽管其常见形式都是文件。在数据库的场景中，一个输入分片可以对应于一个
原创
2022-06-10 19:52:47
38阅读
Hadoop的MapReduce不只是可以处理文本信息，它还可以处理二进制格式的数据1. 关于SequenceFileInputFormat类Hadoop的顺序文件格式存储二进制的键/值对的序列。由于它们是可分割的(它们有同步点，所以reader可以从文件中的任意一点雨记录边界进行同步，例如分片的起
原创
2022-06-10 19:51:29
96阅读
排序 排序是MapReduce的核心技术。 1.准备 示例：按照气温字段对天气数据集排序。由于气温字段是有符号的整数，所以不能将该字段视为Text对象并以字典顺序排序。反之，用顺序文件存储数据，其IntWritable键代表气温(并且正确排序)，其Text值就是数据行。MapReduce作业只包含m
原创
2022-06-10 19:50:43
134阅读
Pearson相关系数解决了两个群的数据是否线性相关的问题； 先补充一下基本概念： 协方差：如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值时另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值；如果两个变量的变化趋势相反，即其中一个变量大于自身的期望值时另外一个却小于自身的
转载
2018-07-22 14:00:00
409阅读
2评论
MapReduce是什么?MapReduce是一个分布式运算程序的编程框架，是用户开发"基于Hadoop
原创
2022-09-16 06:20:27
74阅读
Google 发表了两篇论文《Google File System》 《Google MapReduce》
原创
2022-07-02 00:09:57
96阅读
单词计数案例 需求 在一堆给定的文本文件中统计输出每一个单词出现的总次数 环境准备 在 /opt/test 目录下创建一个文件 wordcount.txt ，里面键入几个单词，并用空格分隔开 Java实现 package com.zyd; import org.apache.hadoop.conf. ...
转载
2021-08-05 12:14:00
106阅读
2评论
在图中，如何判断三角形？三角形在很多场景都有应用，比如社交网络中确定人和人之间的关系。 那么如果通过代码逻辑来实现呢？在数据结构之图中，区分三联体（有一端没有关联关系的三角形）和三角形是关键；两者之间的差别在于边的"度"，如果>=2，则可以断定点和边的关系是三角形。为什么度要>=2呢？因为如果一条边
转载
2018-07-06 13:21:00
151阅读
2评论
Hadoop生态圈之MapReduce1. MapReduce概述定义：
MapReduce是一个分布式运算程序的编程框架，是用户开发基于Hadoop的数据分析应用的核心框架MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上优点：
MapReduce易于编程它简单的实现了一些接口，就可以完成一个分布式程序，
转载
2024-04-08 17:40:10
61阅读
先知道是什么，再去了解为什么MapReduce入门概述MapReduce定义MapReduce是一个基于Hadoop的分布式运算程序的编程框架 它的核心功能是将用户编写的业务逻辑代码和自带的组件组合成为一个完整的分布式运算程序，并发的运行在Hadoop集群上。MapReduce优点MapReduce易于编程：简单的实现一些接口就可以实现分布式程序，并且这个分布式程序可以分布到大量廉价的PC机器上执
转载
2023-12-21 10:44:04
42阅读
文章目录1.相关概念2.Tracker2.1 JobTracker2.2 TaskTracker3.MapReduce体系1.相关概念Task为真正干活的2.Tracker2.1 JobT
原创
2022-05-25 18:18:28
225阅读
