51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频 免费课程 课程排行 直播课 软考学堂
全部课程 厂商认证 IT技术 24年11月软考 PMP项目管理 免费题库
在线学习
文章 资源 问答 课堂 专栏 直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
# Hadoop

apache-kylin完整安装流程

最近在折腾kylin，这里记录一下完整的安装流程环境准备        CDH5.7.0        kylin-cdh5.7.0   2.安装流程    (1)准备好cdh5.

Java
kylin
原创 2016-07-18 17:19:26 4669 阅读

hadoop源码解析---INodeReference机制

本文主要介绍了hadoop源码中hdfs的INodeReference机制。在hdfs2.6版本中，引入了许多新的功能，一些原有的源代码设计也有一定的改造。一个重要的更新就是引入了快照功能。但是当HDFS文件或者目录处于某个快照中，并且这个文件或者目录被重命名或者移动到其他路径时，该文件或者目录就会存在多条访问路径。INodeReference就是为了解决这个问题产生的。问题描述/a是hdfs中的

源代码
快照
hdfs
置顶 原创 推荐 2016-07-07 00:27:38 10000+阅读 3点赞 1收藏

Hadoop两个版本fsimage和edits文件运行机制对比

一、概述这篇blog的目的主要是为了对hadoop1.x和hadoop2.x的元数据运行机制进行比较。二、fsp_w_picpath和edits文件的作用    先来看看关于NameNode元数据相关的目录结构，也就是配置在hdfs-site.xml上的dfs.name.dir项，具体目录为$dfs.name.dir/current。看看目录(hadoop2.2.0版本)：我们

HA
Hadoop
fsimage
edits
转载 精选 2015-08-03 11:06:35 5036 阅读

Kafka生产环境中的错误。

最近写完storm实时统计pv.uv.ip的项目后，前端服务器用flume进行收集，逐步把所有的服务器都增加上。增加的差不多时。Kafka报了如下类似错误：4709 [main] WARN  kafka.producer.async.DefaultEventHandler  - Produce request 

服务器
项目
统计
Kafka
原创 2015-04-16 16:29:23 7713 阅读

storm分布式集群的搭建

一、环境    3台虚拟机，系统为centos，zookeeper版本为3.4.3    ip与hostname分别为192.168.41.100/master，192.168.41.101/slave1，192.168.41.102/slave2二、安装1、解压下载到的apache-storm-0.9.2-incub

集群
storm
分布式
云计算
hadoop
原创 2014-09-10 00:40:18 1633 阅读

消息订阅发布系统Apache Kafka分布式集群环境搭建和简单测试

一、什么是kafka?　　kafka是LinkedIn开发并开源的一个分布式MQ系统，现在是Apache的一个孵化项目。在它的主页描述kafka为一个高吞吐量的分布式（能将消息分散到不同的节点上）MQ。Kafka仅仅由7000行Scala编写，据了解，Kafka每秒可以生产约25万消息（50 MB），每秒处理55万消息（110 MB）二、kafka的官方网站在哪里？　　http://kafka.a

分布式
消息
队列
hadoop
MQ
原创 精选 2014-09-09 20:47:47 1862 阅读

hbase0.96与hive0.12整合文档

本文所用环境为3台hadoop2.2，hbase已经安装完毕，具体安装可参照前两篇文章。hive适用的元数据库为mysql，所以master上要安装mysql，用系统自带的即可，这里不在详述。(1)安装hive解压# tar zvxf hive-0.12.0.tar.gz -C /usr # cd /usr # mv&

整合
分布式
hadoop
hive
原创 精选 2014-08-16 02:32:51 801 阅读

hbase 0.96整合到hadoop2.2三个节点全分布式安装文档

（1）HBase集群安装前准备安装jdkhadoop2.x集群准备(参考上一篇博文hadoop2.2集群安装)ssh集群的时间要保持基本一致（2）HBase集群安装解压HBase# tar zvxf hbase-0.96.0.tar.gz -C /usr2.配置conf/hbase-env.sh# cd /usr/hbase/c

集群
分布式
hadoop
hbase
原创 精选 2014-08-15 15:56:26 894 阅读

hadoop2.2完全分布式高可靠安装文档

集群环境3台机器，一主两从：192.168.41.100  master192.168.41.101  slave1192.168.41.102  slave2系统为CentOS 6.42.安装步骤：① 安装前准备（1）3台机器全部修改hosts文件和hostname后重启vim /etc/hosts（2）配置节点之间SSH免密码登陆(可参考博文hadoop

分布式
hadoop
master
hadoop2
原创 精选 2014-08-14 23:53:08 1089 阅读

Hadoop初学指南(10)--ZooKeeper的集群安装和操作

本文简单介绍了ZooKeeper的基本知识。(1)概述①什么是ZooKeeper？Zookeeper 是 Google 的 Chubby一个开源的实现，是 Hadoop 的分布式协调服务它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等②Zookeeper的角色③为什么使用Zookeeper？大部分分布式应用需要一个主控、协调器或控制器来管理物理分布的子进程（如资源

同步
集群
hadoop
原创 2014-07-02 18:01:08 851 阅读

Hadoop初学指南(9)--hadoop1的集群安装

本文主要介绍了hadoop1.2版本集群的安装步骤1分布结构由于是实验环境，所以只是简单的实现hadoop1.2版本的集群:主节点(1个,是hadoop0):NameNode、JobTracker从节点(2个,是hadoop1、hadoop2):DataNode、TaskTracker，其中hadoop1还包含SecondaryNameNode2 各节点重新产生ssh加密文件(可参照hadoop1

主机
集群
hadoop
slaves
原创 2014-06-11 16:36:29 642 阅读

Hadoop初学指南(8)--MapReduce中的Combiner操作

本文主要介绍了MapReduce中的Combiner操作。在MapReduce的执行步骤中，我们一共分了8步，其中Map中的最后一步规约操作就是今天要讲的Combiner。首先看一下前文中的计数器：我们可以发现，其中有两个计数器：Combine output records和Combine input records，他们的计数都是0，这是因为我们在代码中没有进行规约操作。现在我们加入规约操作。在

计数器
mapreduce
hadoop
reduce
规约
combine
原创 2014-05-02 23:16:56 2694 阅读

Hadoop初学指南(7)--MapReduce自定义计数器

本文主要介绍了MapReduce中的自定义计数器的相关内容。在上次的单词统计例子中，我们可以看到MapReduce在执行过程中会有很多的控制台输出信息，其中有一个很关键的内容：计数器。如下图：可以看到最上方的关键字：Counters，这就表示计数器。在这里，只有一个制表符缩进的表示计数器组，有两个制表符缩进的表示计数器组下的计数器。如File Output Format Counters就表示文件

计数器
mapreduce
hadoop
records
MR
原创 2014-05-02 22:15:23 2202 阅读

Hadoop初学指南(6)--MapReduce的简单实例及分析

本文在上一节的基础上通过一个简单的MR示例对MapReduce的运行流程进行分析。假设有两行数据，分别是hello you，hello me,我们要统计其中出现的单词以及每个单词出现的次数。所得的结果为hello   2you     1me      1(1)大致运行流畅1.解析成2个<k,v>，分别是<0, hell

hello
map
统计
hadoop
reduce
HDFS
原创 2014-05-01 00:14:27 1390 阅读

Hadoop初学指南(5)--MapReduce入门

本文将介绍Hadoop中的重点MapReduce的入门知识。(1)MapReduce概述MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题。MR由两个阶段组成：Map和Reduce，在Hadoop中用户只需要实现map()和reduce()两个函数，即可实现分布式计算，非常简单。这两个函数的形参是key、value对，表示函数的输入信息。(2)MR

map
mapreduce
hadoop
shuffle
reduce
原创 2014-04-30 23:04:08 1613 阅读

Hadoop初学指南(4)--使用java操作HDFS

本文主要介绍了如何使用java的api来对HDFS进行操作。(1)URL方式访问Hadoop中的文件①为了方便修改本机C盘的windows/system32/drivers/etc下的hosts文件前一个为虚拟机的ip地址，后一个为虚拟机的主机名②打开eclipse，新建一个Java工程，在src下建立一个hdfs的文件夹③导入hadoop-1.1.2源码包中主目录以及lib目录中的jar包④新建

java
hadoop
FileSystem
HDFS
原创 2014-04-29 11:56:48 3345 阅读

Hadoop初学指南(3)--HDFS的体系结构

在前两节分别介绍了hadoop的安装以及HDFS的shell操作，本文紧接着前两文进行介绍本文主要对HDFS体系结构进行了基本的介绍。所有涉及到的源码都是hadoop-1.1.2的源码。我们知道在Hadoop安装部署完成之后会有5个进程，分别是NameNode,DataNode,SecondaryNameNode,JobTracker,TaskTracker。那么这5个进程分别是干什么的呢？本文将

hadoop
体系结构
HDFS
DataNode
NameNode
原创 2014-04-29 00:03:26 1222 阅读

Hadoop初学指南(2)--HDFS的基本shell操作

在第一节介绍了Hadoop伪分布系统的安装，本文的所有操作都是在第一节的系统上进行的。本文主要介绍了Hadoop中HDFS的相关知识。包括基本介绍和相应的shell操作。(1)分布式文件系统随着数据量越来越多，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统 。它是一种允许文件通过网

Linux
shell
Hadoop
HDFS
原创 2014-04-26 00:20:57 1272 阅读 1收藏

Hadoop初学指南(1)--Hadoop1伪分布模式的安装

本文主要介绍了hadoop1的伪分布模式的安装。只需要根据步骤一步一步的操作就可以按照好hadoop的伪分布安装。所用到的安装包为jdk-6u45-linux-x64.bin和hadoop-1.1.2.tar.gz。操作环境为VMware下CentOS-6.5的64位虚拟机。如果是32位系统，只需下载相应的jdk即可。一。伪分布模式安装大致步骤：(1)关闭防火墙(2)修改hostname(3)设置

安装
虚拟机
status
hadoop
伪分布
原创 2014-04-25 17:37:56 788 阅读 1点赞

Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 全部文章 热门标签 班级博客
了解我们 网站地图 意见反馈
友情链接
鸿蒙开发者社区 51CTO学堂
51CTO 软考资讯