一、MMM简介：MMM即Multi-MasterReplication Manager for MySQL:mysql多主复制管理器。MMM是perl语言编写的。MMM的特点：①基于perl实现,关于mysql主主复制配置的监控、故障转移和管理的一套可伸缩的脚本套件（在任何时候只有一个节点可以被写入）；②MMM也能对从服务器进行读负载均衡，所以可以用它来在一组用于复制的服务器启动虚拟ip；③除此之
IDE：Eclipse第一个程序操作HDFS。 1.
创建Java工程打开eclipse，选择“File -> New -> Java Project”，新建一个“Java Project”，进入“New Java
Project”对话框，将“Project name”设置为“De
转载
2024-05-16 20:37:48
43阅读
Hadoop YARN直接源于MRv1在几个方面的缺陷，扩展性受限、单点故障、难以支持MR之外的计算。多计算框架各自为战，数据共享困难。MR：离线计算框架，Storm：实时计算框架，Spark内存计算框架。Hadoop 2.0有HDFS、MapReduce和YARN三个分支组成.HDFS:NN Federation 、HA; MaoReduce:运行在YARN上的MR；YARN：资源管理系统 Y
转载
2023-07-12 13:39:20
74阅读
【MapReduce】系列学习笔记：第一部分：基本介绍第二部分：MapReduce的编程第三部分：MapReduce的分区第四部分：MaoReduce的排序第五部分：MapReduce实战：流量统计 文章目录1 需求2 实验环境3 实验内容3.1 数据准备3.2 分析和设计统计求和分区总体排序分区排序4 编码4.1 统计求和PhoneFlowMapperReudcerMain4.2 分区Parti
转载
2023-09-20 11:10:59
215阅读
问题导读1.为什么会产生Yarn？2.Configuration类的作用是什么？3.GenericOptionsParser类的作用是什么？4.如何将命令行中的参数配置到变量conf中？5.哪个方法会获得传入的参数？6.如何在命令行指定reduce的个数？7.默认情况map、reduce为几？8.setJarByClass的作用是什么？9.如果想在控制台打印job（maoreduce）当前的进度,
转载
2024-09-04 09:38:33
30阅读
学了一个星期了hadoop了，该进行对学习的一些东西进行总结一下，当时复习了。第一步当然是先把hadoop开发环境搭建起来并运行HDFS和maoReduce是hadoop的核心组成吧，也是hadoop的基础，我也是一直在学习这方面的知识，通过一些文档和视频教程进行学习。一句话描述下hadoop的HDFS：就是把大文件或大数据
转载
2024-06-18 11:03:24
17阅读
