wangwei4078的博客_Hadoop

Hive入门到剖析（一）

1 Hive简介1.1 Hive定义Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。本质是将SQL转换为MapReduce程序。 1.2 为什么使用Hive1、面临的问题人员学习成本太高项目周期要求太短 &n

数据库表

成本

仓库

原创 2016-09-02 14:36:20 6983 阅读

Hive入门到剖析（二）

5 Hive参数hive.exec.max.created.files说明：所有hive运行的map与reduce任务可以产生的文件的和默认值:100000 hive.exec.dynamic.partition说明：是否为自动分区默认值：false hive.mapred.reduce.tasks.speculative.execution说明：是否打开推测执行默认值：tru

参数

Hive

原创 2016-09-02 14:35:48 3307 阅读

Hive入门到剖析（四）

10 Hive体系架构10.1 概念用户接口：用户访问Hive的入口元数据：Hive的用户信息与表的MetaData解释器：分析翻译HQL的组件编译器：编译HQL的组件优化器：优化HQL的组件 10.2 Hive架构与基本组成1、架构图2、基本组成用户接口，包括 CLI，JDBC/ODBC，WebUI元数据存储，通常是存储在关系数据库如 mysql, derby

原理

体系

hive

原创 2016-09-02 14:11:39 6176 阅读 1收藏

Hive入门到剖析（三）

8 Hive Shell操作8.1 Hive bin下脚本介绍8.2 Hive Shell 基本操作1、Hive 命令行hive [-hiveconf x=y]* [<-ifilename>]* [<-f filename>|<-e query-string>] [-S]-i&nbs

优化

体系

hive

原创 2016-09-02 14:07:29 10000+阅读

Hadoop之AVRO

Avro是个支持多语言的数据序列化框架，支持c，c++，c＃，python，java，php，ruby，java。他的诞生主要是为了弥补Writable只支持java语言的缺陷。1 AVRO简介很多人会问类似的框架还有Thrift和Protocol，那为什么不使用这些框架，而要重新建一个框架呢，或者说Avro有哪些不同。首先，Avro和其他框架一样，

java

语言

二进制

原创 2016-09-01 19:21:42 5010 阅读

Hadoop之MapReduce性能调优

基于对这些组件的深入理解，用户可以很容易通过调整一些关键参数使作业运行效率达到最优，本文将分别从Hadoop管理员和用户角度介绍如何对Hadoop进行性能调优以满足各自的需求。1 概述Hadoop性能调优是一项工程浩大的工作，它不仅涉及Hadoop本身的性能调优，还涉及更加底层的硬件、操作系统和Java虚拟机等系统的调优。对这几个系统适当地进行调优均

管理员

Network

虚拟机

原创 2016-09-01 16:42:16 6596 阅读

Hadoop之MapReduce工作原理

Hadoop由两部分组成，分别是分布式文件系统HDFS和分布式计算框架MapReduce。其中，分布式文件系统HDFS主要用于大规模数据的分布式存储，而MapReduce则构建在分布式文件系统上，对于存储在分布式文件系统的数据进行分布式计算。1 MapReduce设计目标 Hadoo

搜索引擎

应用程序

工作原理

原创 2016-08-26 17:33:06 10000+阅读 2收藏

Hadoop之HDFS之一致性模型

HDFS某些地方为了性能可能会不符合POSIX（是的，你没有看错，POSIX不仅仅只适用于linux/unix，Hadoop 使用了POSIX的设计来实现对文件系统文件流的读取），所以它看起来可能与你所期望的不同，要注意。创建了一个文件以后，它是可以在命名空间（namespace）中可以看到的：Pat

linux

模型

content

原创 2016-08-26 12:04:29 9981 阅读 1收藏

Hadoop之HDFS的FileSystem接口详解

基本的文件系统命令操作, 通过hadoop fs-help可以获取所有的命令的详细帮助文件。Java抽象类org.apache.hadoop.fs.FileSystem定义了hadoop的一个文件系统接口。Hadoop中关于文件操作类基本上全部是在"org.apache.hadoop.fs"包中，这些API能够支持的操作包含：打开文件，读写文件，删除文件等。Hadoop类库中最终面向用户提供的接口

Java

接口

public

原创 2016-08-26 11:56:25 10000+阅读

Hadoop之HDFS读写原理

一、HDFS基本概念HDFS全称是Hadoop Distributed System。HDFS是为以流的方式存取大文件而设计的。适用于几百MB，GB以及TB，并写一次读多次的场合。而对于低延时数据访问、大量小文件、同时写和任意的文件修改，则并不是十分适合。目前HDFS支持的使用接口除了Java的还有，Thrift、C、FUSE、WebDAV、HTTP等。HDFS是以block-sized chun

Java

硬件

Google

原创 2016-08-26 10:22:04 4966 阅读 1收藏

Hadoop之生态系统

Hadoop生态系统一、摘要经过几年的快速发展，Hadoop现在已经发展成为包含多个相关项目的软件生态系统。狭义的Hadoop核心只包括Hadoop Common、Hadoop HDFS和Hadoop MapReduce三个子项目，但是和Hadoop核心密切相关的还

常用工具

工作流

生态

原创 2016-08-18 12:15:32 1006 阅读

Hadoop之机架感知

背景当没有配置机架信息时，所有的机器hadoop都默认在同一个默认的机架下，名为“/default-rack”，这种情况下，任何一台 datanode机器，不管物理上是否属于同一个机架，都会被认为是在同一个机架下，此时，就很容易出现之前提到的增添机架间网络负载的情况。在没有机架信息的情况下，namenode默认将所有的slaves机器全部默认为在/default-rack下　　而当H

网络

交换机

通信

带宽

原创 2016-08-18 10:21:02 1571 阅读

Hadoop之HDFS的HA与QJM

本文主要介绍HDFS HA特性，以及如何使用QJM(Quorum Journal Manager)特性实现HDFS HA。一、背景 HDFS集群中只有一个Namenode，这就会引入单点问题；即如果Namenode故障，那么这个集群将不可用，直到Namenode重启或者其他Namenode接入。

管理员

active

standby

Journal

突发事件

原创 2016-08-18 10:14:42 2329 阅读 1点赞 1收藏

Hadoop之HDFS回收站

Hadoop回收站trash，默认是关闭的。习惯了window的同学，建议最好还是把它提前开开，否则误操作的时候，就欲哭无泪了。 1.修改conf/core-site.xml，配置如下：<property> <name>fs.trash.interval&l

回收站

window

上传文件

between

minutes

转载精选 2016-08-18 09:21:49 985 阅读

hadoop之HDFS快照管理

前言Snapshot就是快照的意思.Snapshot是一个非常好的东西,一个形象的比喻,快照就好像拍风景照时的那一个瞬间的投影,过了那个时间点之后,又会有新的一个瞬间投影.所以其实Snapshot快照用一个更好的词来形容就是”瞬间映像“.Snapshot快照概念在进一步分析HDFS内部的快照管理之前,需要先了解Snapshot快照的概念.首先一个很根本的原则:快照不是数据的简单拷贝,只做差异的复制

客户端

信息

切入点

转载精选 2016-08-18 09:14:10 2275 阅读

Hadoop之小文件存储优化

一、概述首先明确概念，这里的小文件是指小于HDFS系统Block大小的文件（默认64M），如果使用HDFS存储大量的小文件，将会是一场灾难，这取决于HDFS的实现机制和框架结构，每一个存储在HDFS中的文件、目录和块映射为一个对象存储在Name

空间

服务器

灾难

files

转载精选 2016-08-17 18:16:04 1797 阅读

Hadoop之日志存放路径

Hadoop的日志有很多种，很多初学者往往遇到错而不知道怎么办，其实这时候就应该去看看日志里面的输出，这样往往可以定位到错误。 Hadoop的日志大致可以分为两类：（1）、Hadoop系统服务输出的日志；（2）

日志文件

hadoop

存放路径

转载精选 2016-08-17 18:09:01 7524 阅读

Hadoop之安全模式

在hadoop的实践过程中，系统启动的时候去修改和删除文件有时候会报以下错误： org.apache.hadoop.dfs.SafeModeException: Cannotdelete/user/hadoop/input. Name node is in safe mode.从字面上来理解：“Name

安全模式

信息

统计

转载精选 2016-08-17 17:53:23 2348 阅读

Hadoop之 2.x版本edits文件和fsimage的合并实现

在Hadoop 2.x中解决了NameNode的单点故障问题；同时SecondaryName已经不用了，而之前的Hadoop 1.x中是通过SecondaryName来合并fsp_w_picpath和edits以此来减小edits文件的大小，从而减少NameNode重启的时间。而在Hadoop 2.x中已经不用SecondaryName，那它是怎么来

客户端

active

standby

如何

转载精选 2016-08-17 17:42:30 861 阅读

Hadoop之文件系统元数据fsimage和编辑日志edits

NameNode的$dfs.namenode.name.dir/current/文件夹的几个文件：current/ |-- VERSION |--&n

客户端

记录

文件夹

current

主题

转载精选 2016-08-17 17:25:35 788 阅读

Hadoop之NameNode元数据相关文件目录解析

下面所有的内容是针对Hadoop 2.x版本进行说明的，Hadoop 1.x和这里有点不一样。在第一次部署好Hadoop集群的时候，我们需要在NameNode（NN）节点上格式化磁盘：ubuntu@ubuntu hadoop-2.2.0]$ $HADOOP_H

hadoop

namenode

转载精选 2016-08-17 17:18:47 1371 阅读

Hadoop序列化与压缩

传统的的计算机系统通过I/O操作与外界交流，，Hadoop的I/O由传统的I/O系统发展而来，但是又有些不同，Hadoop需要处理P、T级别的数据，所以在org.apache.hadoop.io包中包含了一些面向海量数据处理的基本输入输出工具，本文会对其中的序列化和压缩进行研究。 1 序列化对象的序列化用于将对象编码成一个字节流，以及从字节流中重新构建对象。将一个对象编码成一个字节流称为

Java

计算机系统

转载精选 2016-08-17 16:49:18 1867 阅读

Hadoop启动脚本分析

1 基本概述Hadoop的命令位于${HADOOP_HOME}/bin、${HADOOP_HOME}/sbin、${HADOOP_HOME}/libexec下面。包含了Linux的shell脚本和windows的批处理文件。本文主要解析linux下的shell脚本。 2 脚本详解2.1 start-all.sh要启动Hadoop的各节点和其他服务，这是一个绕不开的启动脚本，该脚本位于${

windows

master

中文意思

原创 2016-08-17 13:27:26 10000+阅读

hadoop fs 命令

1，hadoop fs –fs [local | <file system URI>]：声明hadoop使用的文件系统，如果不声明的话，使用当前配置文件配置的，按如下顺序查找：hadoop jar里的hadoop-default.xml->$HADOOP_CONF_DIR下的hadoop-default.xml->$HADOOP_CONF_DIR下的hadoop-site.

空间

配置文件

local

原创 2016-08-09 12:31:12 551 阅读

Hadoop配置信息处理

1 配置文件简介配置文件是一个灵活系统不可缺少的一部分，虽然配置文件非常重要，但却没有标准。1.1 Java配置文件JDK提供了java.util.Properties类，用于处理简单的配置文件。Properties很早就被引入到Java的类库中，并且一直没有什么变化。它继承自Hashtable，表示了一个持久的属性集，该集可保存在流中或从流中加载。属性列表中每个键及其对应值都是字符串类型。pub

Java

字符串

配置文件

原创 2016-06-01 09:10:29 2546 阅读 1收藏

史上最全大数据学习资源整理(2)

服务编程　　Akka Toolkit：JVM中分布性、容错事件驱动应用程序的运行时间;　　Apache Avro：数据序列化系统;　　Apache Curator：Apache ZooKeeper的Java库;　　Apache Karaf：在任何OSGi框架之上运行的OSGi运行时间;　　Apache Thrift：构建二进制协议的框架;　　Apache Zookeeper：流程管理集中式服务;　

解决方案

应用程序

流程管理

Twitter

转载精选 2016-05-17 16:38:43 1579 阅读 1收藏

史上最全大数据学习资源整理(1)

当前，整个互联网正在从IT时代向DT时代演进，大数据技术也正在助力企业和公众敲开DT世界大门。当今“大数据”一词的重点其实已经不仅在于数据规模的定义，它更代表着信息技术发展进入了一个新的时代，代表着爆炸性的数据信息给传统的计算技术和信息技术带来的技术挑战和困难，代表着大数据处理所需的新的技术和方法

互联网

管理系统

数据库管理

关系数据库

信息技术

转载精选 2016-05-17 16:37:56 1167 阅读 1收藏

如何高效的阅读hadoop源代码

首先，不得不说，hadoop发展到现在这个阶段，代码已经变得非常庞大臃肿，如果你直接阅读最新版本的源代码，难度比较大，需要足够的耐心和时间，所以，如果你觉得认真一次，认真阅读一次hadoop源代码，一定要有足够的心理准备和时间预期。其次，需要注意，阅读Hadoop源代码的效率，因人而异，如果你有足够的分布式系统知识储备，看过类似的系统，则能够很快地读它的源代码进行通读，并快速切入你最关注的局部细

java

数据库

源代码

主题

初学者

hadoop

转载精选 2016-04-14 20:25:19 389 阅读

Eclipse导入Hadoop 源码

1.准备工作 jdk： eclipse： Maven： libprotoc ：https://developers.google.com/protocol-buffers/ hadoop:http://www

导入

Eclipse

Hadoop源码

转载精选 2016-04-14 20:24:20 2276 阅读

完全分布式模式的Hadoop环境搭建

一、本文说明：本次测试在五台虚拟机系统上进行完全分布式搭建。Hadoop分布式模式是在多台机器上分布式部署，配置非常类似于伪分布式，名称节点和数据节点都分布在不同的主机上，每台数据节点上都有相应的任务调度。二、环境说明：虚拟软件：VM10.0

软件

虚拟机

文章

原创 2016-04-14 19:06:57 676 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

王威

Hive入门到剖析（一）

Hive入门到剖析（二）

Hive入门到剖析（四）

Hive入门到剖析（三）

Hadoop之AVRO

Hadoop之MapReduce性能调优

Hadoop之MapReduce工作原理

Hadoop之HDFS之一致性模型

Hadoop之HDFS的FileSystem接口详解

Hadoop之HDFS读写原理

Hadoop之生态系统

Hadoop之机架感知

Hadoop之HDFS的HA与QJM

Hadoop之HDFS回收站

hadoop之HDFS快照管理

Hadoop之小文件存储优化

Hadoop之日志存放路径

Hadoop之安全模式

Hadoop之 2.x版本edits文件和fsimage的合并实现

Hadoop之文件系统元数据fsimage和编辑日志edits

Hadoop之NameNode元数据相关文件目录解析

Hadoop序列化与压缩

Hadoop启动脚本分析

hadoop fs 命令

Hadoop配置信息处理

史上最全大数据学习资源整理(2)

史上最全大数据学习资源整理(1)

如何高效的阅读hadoop源代码

Eclipse导入Hadoop 源码

完全分布式模式的Hadoop环境搭建