[WordCount.main() -> Job.waitForCompletion() -> Job.submit() -> Job.connect() -> Cluster.Cluster() -> Cluster.initialize() -> YarnClientProtocolProvider.create() -> JobSubm
转载
2024-08-15 18:38:38
44阅读
Hadoop实例视频教程-深入浅出Hadoop实战开发Hadoop是什么，为什么要学习Hadoop?Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并
转载
2024-06-20 10:34:30
73阅读
一.Yarn的工作原理YARN 的作业运行，主要由以下几个步骤组成：（1）作业提交第0步：Client调用job.waitForCompletion方法，向整个集群提交MapReduce作业。第1步：Client向RM申请一个作业id。第2步：RM给Client返回该job资源的提交路径和作业id。如果申请成功就会生成一个applicationId,ResourceManager是允许H
转载
2023-08-10 23:35:14
97阅读
文章目录一，案例分析（一）TopN分析法介绍（二）案例需求二，案例实施（一）准备数据文件（1）启动hadoop服务（2）在虚拟机上创建文本文件（3）上传文件到HDFS指定目录（二）Map阶段实现（1）创建Maven项目：TopN（2）添加相关依赖（3）创建日志属性文件（4）创建前N成绩映射器类：TopNMapper（三）Reduce阶段实现（1）创建前N归并器类：TopNReducer（四）Dr
转载
2024-01-08 14:40:51
102阅读
Hadoop面试题（待更新）HDFS部分：1.HDFS读文件流程 1）客户端通过Distributed FileSystem向NameNode请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址。并返回元数据。 2）挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据。 3）DataNode开始传输数据给客户端（从磁盘里面读取数据输入流，以Packet为
转载
2023-09-01 11:07:25
41阅读
业务场景:大数据的挖掘的形式多种多样,即便是最基本的数据大处理技术,也应该关注全部数据而不是局部或者部分,以TOPN(排序取顶部N项目数据)为例,对全批量数据进行统计技术并筛选目标数据.数据格式: VERSION=1.0,PASSTIME=2016-11-3000:00:39 000,CARSTATE=
转载
2023-07-12 12:13:47
46阅读
一、MapReduce输入和输出MapReduce框架运转在<key, value>键值对上，也就是说，框架把作业的输入看成是一组<key, value>键值对，同样也产生一组<key, value>键值对作为作业的输出，这两组键值对可能是不同的。（一）输入默认读取数据的组件叫做TextInputFormat。关于输入路径︰ （1）如果指向的是一个文件，处理该文
转载
2024-06-05 15:42:58
58阅读
1. Hadoop会有哪些重大故障，如何应对？1）namenode单点故障：通过zookeeper搭建HA高可用，可自动切换namenode。 2）ResourceManager单点故障：可通过配置YARN的HA，并在配置的namenode上手动启动ResourceManager作为Slave，在Master 故障后，Slave 会自动切换为Master。 3）reduce阶段内存溢出：是由于单个
转载
2023-09-01 08:47:02
80阅读
Hadoop是什么Hadoop是一个由Apache基金会所开发的分布式系统基础架构主要解决海量数据的存储和海量数据的分析计算问题通常Hadoop是指一个更广泛的概念–Hadoop生态圈Hadoop的优势高可靠性：Hadoop底层维护了多个数据副本，所以即使Hadoop某个计算元素存储出现故障，也不会导致数据的丢失高扩展性：在集群运行间动态增加服务器，可方便地扩展数以千计的节点高效性：在MapRed
转载
2023-07-12 12:18:09
65阅读
Hive调优梳理：高效的文件格式中间压缩格式GZip压缩率高，消耗CPU更高Snappy压缩率和CPU消耗更均匀根据业务创建分区表根据业务创建分桶表 保证map扫描尽量少高效的文件格式压缩格式列裁剪分区裁剪分桶保证map传给reduce的数据量尽量小 1. 避免笛卡尔积 2.&nb
转载
2024-01-11 13:10:59
96阅读
我们学习hadoop，最常见的编程是编写mapreduce程序，但是，有时候我们也会利用java程序做一些常见的hdfs操作。比如删除一个目录，新建一个文件，从本地上传一个文件到hdfs等，甚至是追加内容到hdfs文件中。这里介绍一些常见的hdfs操作的java示例，帮助我们加深对hdfs的理解。这里分为8个小部分，分别是：创建文件夹创建文件并写入内容查看文件内容重命名获取文件最后修改时间拷贝本地
转载
2023-08-18 20:33:49
101阅读
mysql 中求top n TopN:前几条数据 1.TopN age最大的前三个 select * from students order by age desc limit 0,3; 2.分组Top1 按sex分组后,求分组中年龄最大的一个 1.select * from students wh ...
转载
2021-08-21 13:41:00
380阅读
2评论
文章目录分组取topN,使用的是集合中的List排序,会有性能瓶颈,内存溢出调用RDD的sortBy方法,对每个RDD中数据进行排序,采用内存+磁盘的方式自定义分区器,根据学科分区自定义分区的优化,减少shuffle分组取topN,
原创
2022-02-17 15:40:40
304阅读
文章目录分组取topN,使用的是集合中的List排序,会有性能瓶颈,内存溢出调用RDD的sortBy方法,对每个RDD中数据进行
原创
2021-06-01 16:22:53
401阅读
一、项目背景与数据情况
1.1 项目来源 本次要实践的数据日志来源于国内某技术学习论坛，该论坛由某培训机构主办，汇聚了众多技术学习者，每天都有人发帖、回帖，如图1所示。图1 项目来源网站-技术学习论坛 本次实践的目的就在于通过对该技术论坛的apache common日志进行分析，计算该论坛的一些关键指标，供运营者进行决策时参考。PS：开发该系统的目的是为了获取一些业务相关的指标
转载
2023-09-10 08:01:37
141阅读
1、MapReduce理论简介 1.1 MapReduce编程模型MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是"任务的分解与结果的汇总"。在Hadoop中，用于执行MapReduce任务的机器角色有两个：一个是JobTracker；另一个是TaskTrac
转载
2023-09-13 23:01:31
121阅读
目录 MapReduce理论简介 MapReduce编程模型 MapReduce处理过程 运行WordCount程序 准备工作 运行例子 查看结果 WordCount源码分析 特别数据类型介绍 旧的WordCount分析 新的WordCount分析 WordCount处理过程 MapReduce新旧改变 hadoop MapReduce实例详解 1、MapRedu
如果您的Hadoop项目将有新的突破，那么它必定与下边介绍的七种常见项目很相像。有一句古老的格言是这样说的，如果你向某人提供你的全部支持和金融支持去做一些不同的和创新的事情，他们最终却会做别人正在做的事情。如比较火爆的Hadoop、Spark和Storm，每个人都认为他们正在做一些与这些新的大数据技术相关的事情，但它不需要很长的时间遇到相同的模式。具体的实施可能有所不同，但根据我的经验，它们是最常
转载
2023-09-13 23:50:49
242阅读
@寒小阳 总体流程Map阶段代码排序阶段Reduce阶段本地模拟测试代码Hadoop集群运行案例 这是一个非常经典的例子，几乎在任何的hadoop教材上都会看到它，即使如此，它依旧是最经典最有代表性的案例，学习大数据处理，可以从先理解清楚它入手。总体流程咱们来看看对特别大的文件统计，整个过程是如何分拆的。 大家想想词频统计的过程，如果是单机完成，我们需要做的事情是维护一个计数器字典，对每次出现
转载
2023-07-24 13:46:47
81阅读
有一份源数据文件，描述的是某餐饮公司各个分店在2019年和2020年的营业数据，源数据如下，请根据需求，编写MapReduce代码。劲松店,600,350,2019年
劲松店,800,250,2020年
王府井店,1900,600,2020年
王府井店,2000,900,2019年
回龙观店,6700,1800,2020年
西单店,3000,1000,2019年
西单店,5000,10
转载
2023-08-18 19:37:26
60阅读
