1.Hadoop 的认证机制 简单来说，没有做 kerberos 认证的 Hadoop，只要有 client 端就能够连接上。而且，通过一个有 root 的权限的内网机器，通过创建对应的 Linux 用户，就能够得到 Hadoop 集群上对应的权限。而实行 Kerberos 后，任意机器的任意用户都必须现在 Kerberos
转载
2023-07-25 09:45:03
149阅读
刚才在51cto公开课看了韩立刚老师讲的企业级高级防火墙，受益匪浅。 传统的防火墙是基于网络层的，而高级防火墙是基于4-7层，有传统防火墙的基本功能，更多的偏重于应用，感觉许多功能和上网行为管理设备有重叠的地方，难道防火墙厂商要侵占非标准设备厂家的利益？不过说起来，国内很多坐行为管理的厂家，如网康，他们也在做下一
原创
2014-03-26 22:08:42
725阅读
目录一、问题分析二、MapReduce的优化方法1.数据输入2.Map阶段3.Reduce阶段4.I/O传输5.数据倾斜三、常用的调优参数1.资源相关参数2.容错相关参数（MapReduce性能优化）四、小文件优化方法1.小文件带来的问题2.Hadoop小文件解决方案一、问题分析为何MapReduce运行速度越来越慢分析1：硬件角度，如CPU、内存、网络、磁盘等分析2：从编码角度（IO操作）1.数
转载
2023-08-24 12:54:33
56阅读
Impala 认证现在可以通过 LDAP 和 Kerberos 联合使用来解决Impala 是基于 Apache Hadoop 的一个开源的分析数据库，使用 Kerberos 和 LDAP 来支持认证 。Kerberos 在1.0版本中就已经被支持了，而 LDAP 是最近才被支持，在 CDH 5.2 中，你能够同时使用两者。Kerberos Kerberos 仍然是 Apache Hadoop 的
转载
2023-09-20 17:23:45
85阅读
Map端的shuffleMap端会处理输入数据并产生中间结果，这个中间结果会写到本地磁盘，而不是HDFS。每个Map的输出会先写到内存缓冲区中，当写入的数据达到设定的阈值时，系统将会启动一个线程将缓冲区的数据写到磁盘，这个过程叫做spill。在spill写入之前，会先进行二次排序，首先根据数据所属的partition进行排序，然后每个partition中的数据再按key来排序。partition的
转载
2023-09-20 07:15:27
51阅读
mappermapper的个数 默认mapper个数与split个数比例是1:1，split个数，由splitSize决定，splitSize=max(minSize,max(blockSize,maxSize))，即，取这三个参数的中间值。shuffle过程mapper端会处理输入数据产生中间结果，这个中间结果会写入到本地磁盘，而不是HDFS。每个mapper的输出会先写到一个环形的内存缓冲区（
转载
2023-07-12 12:02:06
41阅读
1 概述文件压缩主要有两个好处，一是减少了存储文件所占空间，另一个就是为数据传输提速。在hadoop大数据的背景下这两点尤为重要。hadoop里支持很多种压缩格式：DEFLATE是同时使用了LZ77算法与哈夫曼编码（Huffman Coding）的一个无损数据压缩算法，源代码可以在zlib库中找到。gzip是以DEFLATE算法为基础扩展出来的一种算法。 压缩算法原始文件大小压缩后的文件大小压缩速
转载
2023-07-24 14:25:33
79阅读
MapReduce的Shuffle过程2019年4月19日11:35MapTask执行阶段过程 知识点1.一个切片(InputSplit)会启动一个MapTask2.每一个MapTask会拥有一个溢写缓冲区3.MapTask输出的key和输出value最开始是进入到溢写缓冲区中,然后针对数据进行处理:分区以及排序4.溢写缓冲区默认100MB,溢写80%. 即当溢写缓冲区数据达到80MB的
转载
2023-09-01 08:18:30
42阅读
一、Mapper的ShuffleMapTask在接收到FileSplit之后进行按行读取每读取一行调用一次map方法执行完一次map之后会将输出的数据写到缓冲区中缓冲区的大小默认是100M，可以通过io.sort.mb来进行调节在缓冲区中，会对数据进行分区-partition，排序 - sort，合并 - combine操作当缓冲区的容量利用率达到阈值0.8的时候，会启动给一个后台线程将缓冲区中的
转载
2023-07-30 21:01:56
66阅读
一、Spark它主要包含以下几个方面： Spark Core – 用于通用分布式数据处理的引擎。它不依赖于任何其他组件，可以运行在任何商用服务器集群上。 Spark Sql – 运行在Spark上的SQL查询语句，支持一系列SQL函数和HiveQL。但是还不是很成熟，所以不要在生产系统中使用；而HiveQL集成了需要的hive元数据和Hive相关的jar包。 Spark Streaming – 基
转载
2023-07-14 15:36:35
30阅读
编者注：如果您想了解有关使用Spark的更多信息，则可以免费获得一本名为《 Apache Spark入门：从开始到生产》的书 。 如果您正在考虑使用大数据，您可能想知道应该使用哪些工具。 如果尝试启用Hadoop上的SQL，则可能正在考虑使用Apache Spark或Apache Drill。 尽管这两个都是具有使用Hadoop处理数据能力的出色项目，但它们都有两个截然不同的目标。 这两个
转载
2024-08-01 22:07:57
22阅读
Spark 和 Hadoop一直是大数据离线计算的必经之路，自己在工作中也经常用到，所以学习一下原理还是很有必要的，不然碰到问题很容易一脸懵逼，其中感觉shuffle是两者的核心之一，故整理下，方便以后回顾。大数据的分布式计算框架目前使用的最多的就是hadoop的mapReduce和Spark，mapReducehe和Spark之间的最大区别是前者较偏向于离线处理，而后者重视实现性。MapRedu
转载
2023-09-20 12:33:56
65阅读
一、先看简单理解对于hadoop的map端配置项"mapreduce.task.io.sort.mb"和"mapreduce.map.sort.spill.percent"应该都比较熟悉了，如图解释(http://hadoop.apache.org/docs/current/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduce
转载
2023-07-03 15:31:21
105阅读
Pig安装和运行Pig包括两部分：—用于描述数据流的语言，称为Pig Latin。—用于执行PigLatin程序的执行环境，当前有两个环境：单JVM中的本地执行环境和Hadoop集群上的分布式执行环境。 Pig内部，每个操作或变换是对输入进行数据处理，然后产生输出结果，这些变换操作被转换成一系列MapReduce作业，Pig让程序员不需要知道这些转换具体是如何进行的，这样工程师可以将精力
转载
2023-08-07 17:36:09
69阅读
# Hadoop环境变量放置位置详解
## 简介
Hadoop是一个用于分布式存储和处理大数据的开源框架，它包含了多个组件，例如HDFS（Hadoop分布式文件系统）和MapReduce。在安装和配置Hadoop时，我们需要设置一些环境变量以确保系统正确运行。那么，Hadoop的环境变量应该放在哪里呢？本文将为您详细解答。
## Hadoop环境变量放置位置
通常，Hadoop的环境变量应该放
原创
2024-07-10 04:09:10
98阅读
今天有缘看到董西成写的《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理》，翻了翻觉得是很有趣的而且把hadoop讲得很清晰书，就花了一下午的时间大致拜读了一下（仅浏览了感兴趣的部分，没有深入细节）。现把觉得有趣的部分记录如下。JobControl把各个job配置好后，放入JobControl中，JobControl会根据它们之间的依赖关系，分别进行调度。工作流引擎 除了Job
转载
2024-06-24 17:46:52
33阅读
MapReduce确保每个reducer的输入都是按键排序的，系统执行排序的过程称为shuffle。 在map端，map函数开始产生输出时，并不是直接写入到磁盘，而是利用缓冲的方式写到内存并出于效率的考虑进行预排序，具体过程：每个map任务都有一个环形内存缓冲区用于存储任务输出，该缓冲区默认大小为100m，可以通过io.sort.m
转载
2023-07-20 17:10:48
30阅读
一、大数据集面试题1.Hadoop的shuffle过程(1).Map端的shuffle Map端会处理输入数据并产生中间结果，这个中间结果会写到本地磁盘，而不是HDFS。每个Map的输出会先写到内存缓冲区中，当写入的数据达到设定的阈值时，系统将会启动一个线程将缓冲区的数据写到磁盘，这个过程叫做spill。 在spill写入之前，会先进行二次排序，首先根据数据所属的partition进行排序
转载
2023-07-24 10:21:06
103阅读
1、 Spark VSHadoop有哪些异同点？
Hadoop:分布式批处理计算，强调批处理，常用于数据挖掘、分析
Spark:是一个基于内存计算的开源的集群计算系统，目的是让数据分析更加快速, Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载
转载
2024-02-23 11:04:58
13阅读
4.1 Hadoop生态系统狭义的Hadoop VS 广义的Hadoop广义的Hadoop：指的是Hadoop生态系统，Hadoop生态系统是一个很庞大的概念，hadoop是其中最重要最基础的一个部分，生态系统中每一子系统只解决某一个特定的问题域（甚至可能更窄），不搞统一型的全能系统，而是小而精的多个小系统；Hive:数据仓库R:数据分析Mahout:机器学习库pig：脚本语言，跟Hive类似Oo
转载
2023-11-18 23:26:55
39阅读
