MapReducce--->Combiner(规约简单简绍没使用规约MapReduceDriver使用CombinerCombiner在Driver添加总结简单简绍规约就是在map端先对数据进行合并，来达到减少数据传输的效果规约其实就是reduce，只是在map阶段执行规约输出的kv和reduce输入的连接起来，并且保证规约不影响数据逻辑规约:就是在Map阶段对数据进行一次和reduce一样的处理没使用规约Mapimport org.apache.hadoop.io.IntWrit
原创
2021-08-03 10:11:34
179阅读
spark大数据处理技术、 应用与性能优化**spark简介**
spark是什么
基于内存的分布式实时计算框架，保证高容错高可伸缩性
与hadoop的关系
hadoop是mapreduce以及hdfs等基础加上hive，hbase，等上层的生态关系，spark是mapreducce的替代方案，sparksql是hive的替代方案，sparkstreaming是storm的替代方案，m
转载
2024-09-14 09:38:42
78阅读
简介Hadoop 是一个能够处理海量数据的分布式系统基础软件框架，理论上能够通过增加计算节点以处理无限增长的数据，由java写成。其作者是 Doug Cutting，得益于谷歌的Map/Reduce计算模型和GFS分布式文件系统，Hadoop实现了其核心组件HDFS和MapReducce。Hadoop 是目前世界上大数据行业的主流软件框架。其生态圈非常庞大，并且社区很活跃。Hadoop本身仅有
转载
2023-07-25 20:16:21
61阅读
