前言： Sentry是Hadoop安全方面的一个开源组件，目前还在孵化中，地址：https://sentry.incubator.apache.org。 原属于Cloudera开发，后来贡献给了Apache。 Sentry是一个Hadoop的授权模块，为了对正确的用户和应用程序提供精确的访问级别
深入Hadoop HDFS 1. hdfs架构简介1.1 hdfs架构挑战1.2 架构简介1.3 文件系统命名空间File System Namespace1.4
原创
2022-09-08 14:28:45
160阅读
在学习Hadoop YARN—Hadoop 2.0新引入的通用资源管理系统过程中，总会遇到Container这一概念，由于中文资料的缺乏，很多人对Container这一概念仍非常的模糊。它与Linux Container是什么关系，它是否能像Linux Container那样为任务提供一个隔离环境?它代表计算资源，还是仅仅是一个任务处理进程？本文将尝试介绍Container
转载
精选
2015-09-25 16:44:21
1654阅读
转：://blog.csdn.net/cnbird2008/article/details/237882331、是在每一个map task的本地运行，能收到map输出的每一个key的valuelist，所以可以做局部汇总处理2、因为在map task的本地进行了局部汇总，就会让map端的输出数据量大幅精简，减小shuffle过程的网络IO3、combiner其实就是一个
转载
2022-04-13 13:48:22
210阅读
在一个Hadoop集群中有不同类型的节点，它们对磁盘的要求是不同的。主（master）节点侧重于存储的可靠性，数据（data）节点就需要更好的读写性能，以及较大的容量。在虚拟集群中，存储（datastore）可以分为本地（local）和共享（shared）两种类型。本地存储只能被其所在的主机上的虚拟机访问，而共享存储则可以被其他主机上的虚拟机访问到。本地存储的读写性能更好，而共享存储的可靠性更好。
原创
2013-10-28 14:07:07
2195阅读
简介每个Hadoop集群都包括不止一个节点。这些节点可以按功能分成几个组，比如master组，worker组，client组等等。每个组里面的节点都有不同的资源要求，比如CPU，内存，存储。在虚拟数据中心（DataCenter）中有一个或多个虚拟集群（Cluster），每个虚拟集群中有一个或多个主机（Host）。节点部署是在保证每个节点资源需求的前提下，按照一定策略将Hadoop集群中的所有节点部
推荐
原创
2013-10-28 14:14:43
3321阅读
点赞
1评论
doop深入研究:(一)——hdfs介绍里已讲过，hdfs并不擅长存储小文
转载
2013-06-22 11:20:00
85阅读
2评论
我们照着Hadoop教程简单的写了一个例子，它可以用于分析天气数据然后找到某年的最高气温。
我们是用hadoop 0.20的新的API写的，具体代码如下：
Mapper类：
/* */ package com.charles.parseweather; import java.io.IOExce
原创
2012-05-25 18:47:35
1971阅读
点赞
Hadoop分布式文件系统（HDFS）是一种分布式文件系统。它与现有的分布式文件系统有许多相似之处。但是，与其他分布式文件系统的差异是值得我们注意的：HDFS具有高度容错能力，旨在部署在低成本硬件上。(高容错)HDFS提供对数据的高吞吐量访问，适用于具有海量数据集的应用程序。（高吞吐量）HDFS放宽了一些POSIX要求，以实现对文件系统数据的流式访问。（流式访问）HDFS最初是作为ApacheNu
原创
精选
2018-12-19 16:02:16
927阅读
点赞
云计算和Hadoop中网络是讨论得相对比较少的领域。本文将着重于讨论Hadoop集群的体系结构和方法，及它如何与网络和服务器基础设施的关系。最开始我们先学习一下Hadoop集群运作的基础原理。 Hadoop里的服务器角色Hadoop主要的任务部署分为3个部分，分别是：Client...
转载
2015-08-01 14:45:00
75阅读
2评论
本文侧重于Hadoop集群的体系结构和方法，以及它与网络和服务器基础设施的关系。文章的素材主要来自于研究工作以及同现实生活中运行Hadoop集群客户的讨论。如果你也在你的数据中心运行产品级的Hadoop集群，那么我希望你能写下有价值的评论。 Hadoop集群部署时有三个角色：Client machines、 Master nodes和Slave nodes。Master no
原创
2023-06-09 08:52:51
56阅读
hdfs 读数据的流程1、跟namenode通信查询元数据，找到文件块所在的datanode服务器。2、挑选一台datanode（就近原则，然后随机）服务器，请求建立socket流。3、datanode开始发送数据（从磁盘里面读取数据放入流，以packet为单位来做校验）。4、客户端以packet为单位接收，现在本地缓存，然后写入目标文件。hdfs 写数据的流程1、根nameno...
原创
2021-07-02 13:42:57
380阅读
云计算和Hadoop中网络是讨论得相对比较少的领域。本文原文由Dell企业技术专家Brad Hedlund撰写，他曾在思科工作多年
转载
2022-06-09 06:23:18
270阅读
1.Hadoop生态系统Zookeeper分布式监控中心: HDFS的NameNode和MapReduce高可用。 zookeeper内部维护一个内存数据库。 存储Hbase一些数据MapReduce:分布式计算框架Hive:数据仓库HBase:非关系型数据库HDFS:分布式文件系统Flume:日志收集工具（离线分析，离线数据处理）Sqoop:关系数据ETL工具(非关系型数据与关
原创
2021-03-07 20:21:46
394阅读
Hadoop主要由两个核心组件构成：Hadoop Distributed File System (HDFS) 和 Apache Hadoop MapReduce。HDFS是Hadoop的
原创
2024-06-05 10:41:49
46阅读
hdfs 读数据的流程1、跟namenode通信查询元数据，找到文件块所在的datanode服务器。2、挑选一台datanode（就近原则，然后随机）服务器，请求建立socket流。3、datanode开始发送数据（从磁盘里面读取数据放入流，以packet为单位来做校验）。4、客户端以packet为单位接收，现在本地缓存，然后写入目标文件。hdfs 写数据的流程1、根nameno...
原创
2022-01-21 09:45:40
78阅读
五分钟深入 Hadoop 内核回顾上篇文章我们说到，Hadoop 的工作下图所示，负责把 mapper function 装载到要运行 mapper 的机器上，然后执行 mapper function，之后负责把 mapper 的结果 shuffle 到要运行 reducer 的机器上，下载 reducer 运行得到最终结果。那么下面，我们就通过学习 Hadoop 的 component
转载
精选
2015-11-05 11:06:50
968阅读
