陈振阳Plus的博客_Hadoop

Hadoop指标框架V2

Package org.apache.hadoop.metrics2 Metrics 2.0Interface SummaryMetricsCollectorThe metr

hadoop集群

ganglia

gateway

hadoop

namenode

原创 2022-11-09 10:32:50 165 阅读

手工安装配置Cloudera组件-Hadoop

安装repohttp://archive-primary.cloudera.com/cdh/存放着cdh1-3的所有文件http://archive-primary.cloudera.com/

mapreduce

hadoop

cloudera

native

hdfs

原创 2022-11-03 22:00:47 129 阅读

YARN加载本地库抛出Unable to load native-hadoop library解决办法

用官方的Hadoop2.1.0-beta安装后，每次hadoop命令进去都会抛出这样一个WarningWARN u

hadoop

java

大数据

hive

原创 2022-10-31 11:38:42 113 阅读

Copy-On-Write(写入时复制)技术

看google的hdfs论文时看到这个概念。Copy-On-Write属于逻辑快照的一种，还有一种物理快照，百度了一下，快照里边概念还挺多，主要是以前没接触过。以后再整理。Copy-On-Write是写入时才复制的意思，找到两个例子1.往磁盘写数据，先写到的是内存里面，只有文件close或flush时才真正写到磁盘。2.某个对象

文件系统

hadoop

hdfs

hadoop集群

数据

原创 2022-10-31 11:37:56 130 阅读

Merkle Tree

Merkle Tree是Dynamo论文中用到的一个算法，读这篇论文前，我并不知道这个算法，所以

hadoop

二叉树

数据结构

bittorrent

数据

转载 2022-10-31 11:37:33 139 阅读

ViewFs Guide

简介文件浏览系统（ViewFs）提供了一个管理多个Hadoop文件系统命名空间（或者叫Namesp

gateway

hadoop

namenode

apache

数据

原创 2022-10-31 11:37:08 104 阅读

Mapreduce中Combiner的使用及误区

问题提出：众所周知，Hadoop框架使用Mapper将数据处理成一个键值对，再网络节数据求最大值，那么很明显的Mapper只需要输出它所知道的最大值即可。这样做

mapreduce

键值对

数据

词频统计

原创 2022-10-30 18:20:24 140 阅读

Hadoop计算中的Shuffle过程

Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce

性能优化

mapreduce

数据

merge

源码

转载 2022-10-30 18:19:52 103 阅读

hadoop 日志存放位置

初学者运行MapReduce作业时，经常会遇到各种错误，由于缺乏经验，往往

application

搜索引擎

应用程序

调试

log4j

原创 2022-10-30 18:19:45 517 阅读

在mapper中获得inputsplit的信息

在社区版的hadoop版本0.19/0.20中,当使用普通的输入的时候,比如

mapreduce

社区

发布

exception

path

原创 2022-10-30 18:19:28 74 阅读

图解mapreduce原理和执行过程

师开设的mapreduce课程ssing)是一种列表处理语言，可对

mapreduce

hadoop

键值对

数据

原创 2022-10-30 18:19:14 212 阅读

HDFS Users Guide

目的本文档对于使用HDFS的用户来说是一个起点，不管是作为Hadoop集群的一

hdfs

namenode

namespace

hadoop

数据

原创 2022-10-28 14:09:27 78 阅读

Hadoop2.2.0中配置SecondaryNameNode

masters 文件里记录启动辅助namenode的机器列表，每行一个（hadoop2.2.0

namenode

hdfs

dfs

hadoop

hadoop集群

原创 2022-10-28 14:09:21 125 阅读

HDFS HA全新安装配置

1.core-site.xml文件[code lang="xml"] fs.defaultFS hdfs://mycluster

namenode

格式化

hdfs

xml

集群

原创 2022-10-28 14:09:17 40 阅读

Centralized Cache Management in HDFS

Centralized Cache Management inHDFSOverviewHDFS中的集中式缓存管理是一个显式的管存。当工作集的

scheme

apache

hadoop

hadoop集群

namespace

原创 2022-10-28 14:09:10 40 阅读

NativeCodeLoader: Unable to load native-hadoop library for your platform

至今为止，搭建的所有集群里都有这个错误：

hadoop集群

library

namenode

debug

native

原创 2022-10-28 14:09:00 276 阅读

eclipse+maven搭建hadoop本地开发环境

我们的目的是搭建一个可以在任何地方使用的hadoop开发环境。创建maven项目创建一个maven项目，什么类型的项目随便引入hadoop配置文件copy hadoop的配置文件到src/main/resources文件中，只考有用的就行，core-site.xml，hdfs-site.xml，mapred-site.xml，yarn-sit

hadoop

eclipse

maven

xml

环境变量

原创 2022-10-28 14:07:56 211 阅读

Erasure Code

Erasure Code原理 Erasure Code - EC纠删码原理分布式系统下的纠删码技术（一） – Erasure Code (EC) 分布式系统下的纠删码（二） HDFS ErasureCode方案对比 Hadoop 3.0纠删码(Erasure Coding)：节省一半存储空间 Reed Solomon纠删码为程序员写的Reed-Solomon码解释

Hadoop

分布式系统

存储空间

hadoop

原创 2022-10-28 14:05:14 86 阅读

What‘s Data Lineage?

Definition - What does Data Lineage mean?Data lineage is generally defined as a kind of da

Hadoop

sed

原创 2022-10-28 13:55:50 99 阅读

HDFS自动故障转移配置

下面的配置都是在HDFS HA配置之上的。 1.在hdfs-site.xml文件中增加下面的内容<property> <name>dfs.ha.automatic-failover.enabled.mycluster</name> <value>true</value></property>2.在core-xml文件中

故障

格式化

namenode

hadoop

hdfs

原创 2022-10-28 11:04:26 71 阅读

HDFS Federation

HDFS联邦本指南提供了一个HDFS联邦特性的综述，以及如何配置和管理联邦的集群。背景HDFS有两个主要的层次：1. Namespacea) 包含很多的目录，文件和blockb)

namenode

namespace

hdfs

数据存储

文件系统

原创 2022-10-28 11:04:14 84 阅读

Hadoop 2.5.0新特性和改进

Apache Hadoop 2.5.0是一个在2.x.y发布线上的一个小版本，建立在之前稳定的发布版本2.4.1之上。主要特性和改进：1. Commona) 使用HTTP代理服务器时认证改进。当通过代理服务器使用WebHDFS时这是非常有用的。b) 增加了一个新的Hadoop指标监控sink，允许直接写到Graphite。c) Hadoop文件系统兼容相关的规范工作。2. HDFSa) 支持 PO

apache

posix

bug

yarn

graphite

原创 2022-10-28 11:04:02 94 阅读

大数据平台架构实践

说明本篇博客整理自参考内容，完整内容请查看原文章；技术选型MOLAP与Druid相类似的实

大数据

架构

hbase

kylin

数据

原创 2022-10-28 09:47:14 182 阅读

Apache Hadoop 2.6.0 新特性

Apache Hadoop 2.6.0发布了，新的稳定版，发布频率和质量越来越高了，增加了很多东西，从安装包

apache

hadoop

http协议

encryption

mapreduce

原创 2022-10-28 06:57:24 133 阅读

Hadoop Archive管理大量小文件

1.usage[code lang="xml"]1.usage[code lang="xml"][hadoop@hadoop1 ~]$ hadoop archivea

namespace

hadoop

hadoop集群

namenode

gateway

原创 2022-10-28 06:55:10 111 阅读

HDFS多硬盘挂载

环境说明9个节点，7个DataNode，每个DataNode有3块硬盘，两块是后来加的，挂载在系统所在文

hadoop集群

hadoop

apache

namenode

文件系统

原创 2022-10-28 06:55:04 191 阅读

NameNode多次Format后DataNode无法启动的问题

1.NameNode格式化两次后，DataNode无法启动，查看日志，有如下错误：[code lang="java

scheme

apache

hadoop

hadoop集群

namespace

原创 2022-10-28 06:54:36 159 阅读

HDFS多用户时的权限问题

今天用Cloudera Manager安装Hive时老不成功，不能初始化数据库表，遇到很多问题，最后

namenode

hadoop集群

scheme

hdfs

makefile

原创 2022-10-28 06:54:30 129 阅读

Hadoop2.4.1编译记录

1.环境说明[code lang="xml"]centos6.4 64bit[/code]2.更新系统安装包[code lang="xml"]

hadoop集群

64bit

namenode

hadoop

apache

原创 2022-10-28 06:54:22 75 阅读

Cloudera Manager安装集群注意记录

1．千万不要删除hosts文件里关于localhost的配置2．安装完之后无法打开7180端口的网址，防火

hadoop集群

namenode

apache

postgresql

cloudera

原创 2022-10-28 06:53:49 69 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

想要我的财宝吗？不给你！

Hadoop指标框架V2

手工安装配置Cloudera组件-Hadoop

YARN加载本地库抛出Unable to load native-hadoop library解决办法

Copy-On-Write(写入时复制)技术

Merkle Tree

ViewFs Guide

Mapreduce中Combiner的使用及误区

Hadoop计算中的Shuffle过程

hadoop 日志存放位置

在mapper中获得inputsplit的信息

图解mapreduce原理和执行过程

HDFS Users Guide

Hadoop2.2.0中配置SecondaryNameNode

HDFS HA全新安装配置

Centralized Cache Management in HDFS

NativeCodeLoader: Unable to load native-hadoop library for your platform

eclipse+maven搭建hadoop本地开发环境

Erasure Code

What‘s Data Lineage?

HDFS自动故障转移配置

HDFS Federation

Hadoop 2.5.0新特性和改进

大数据平台架构实践

Apache Hadoop 2.6.0 新特性

Hadoop Archive管理大量小文件

HDFS多硬盘挂载

NameNode多次Format后DataNode无法启动的问题

HDFS多用户时的权限问题

Hadoop2.4.1编译记录

Cloudera Manager安装集群注意记录

欢迎