HA概述所谓HA（HighAvailable），即高可用（7*24小时不中断服务）实现高可用最关键的策略是消除单点故障，HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HAHadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）NameNode主要在以下两个方面影响HDFS集群NameNode机器发生意外，如宕机，集群将无法使用，直到管理员重启NameNo
1MapReduce跑的慢的原因2MapReduce优化方法MapReduce优化方法主要从六个方面考虑：数据输入、Map阶段、Reduce阶段、IO传输、数据倾斜问题和常用的调优参数。2.1数据输入2.2Map阶段2.3Reduce阶段2.4IO传输2.5数据倾斜问题2.6常用的调优参数2.6.1资源相关参数以下参数是在用户自己的MR应用程序中配置就可以生效[mapred-default.xml
1概述Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。2Yarn基本架构3Yarn工作机制工作机制详解：1）MR程序提交到客户端所在的节点。2）YarnRunner向ResourceManager申请一个Application。3）RM将该应用程序的资源路径返回给YarnRunner。
1概述压缩策略和原则2MR支持的压缩编码压缩格式hadoop自带算法文件扩展名是否可切分换成压缩格式后，原程序是否需要修改DEFLATE是，直接使用DEFLATE.deflate否和文本处理一样，不需要修改Gzip是，直接使用DEFLATE.gz否和文本处理一样，不需要修改bzip2是，直接使用bzip2.bz2是和文本处理一样，不需要修改LZO否，需要安装LZO.lzo是需要建索引，还需要指定输
1MapReduce概述MapReduce是一个分布式运算程序的编程框架，是用户开发基于Hadoop的数据分析应用的核心框架。MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。1.1MapReduce优缺点优点：MapReduce易于编程它简单的实现一些接口，就可以完成一个分布式程序，这个分布式程序可以分布到大量廉价
1HDFS概述1.1HDFS产出背景及定义随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。HDFS（HadoopDistributedFileSystem），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式
1大数据概率大数据是指在一定时间内无法用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息增长。主要解决海量的存储和海量数据的分析计算问题。1.1大数据的特点Volume（大量）Velocity（高速）Variety（多样）Value（低价值密度）1.2大数据应用场景物流仓储：大数据分析系统助力商家精细化运营、提
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号
