wangwei4078的最近发布

数据库表

成本

仓库

原创 2016-09-02 14:36:20 6986 阅读

Hive入门到剖析（二）

5 Hive参数hive.exec.max.created.files说明：所有hive运行的map与reduce任务可以产生的文件的和默认值:100000 hive.exec.dynamic.partition说明：是否为自动分区默认值：false hive.mapred.reduce.tasks.speculative.execution说明：是否打开推测执行默认值：tru

参数

Hive

原创 2016-09-02 14:35:48 3320 阅读

Hive入门到剖析（四）

10 Hive体系架构10.1 概念用户接口：用户访问Hive的入口元数据：Hive的用户信息与表的MetaData解释器：分析翻译HQL的组件编译器：编译HQL的组件优化器：优化HQL的组件 10.2 Hive架构与基本组成1、架构图2、基本组成用户接口，包括 CLI，JDBC/ODBC，WebUI元数据存储，通常是存储在关系数据库如 mysql, derby

原理

体系

hive

原创 2016-09-02 14:11:39 6182 阅读 1收藏

Hive入门到剖析（三）

8 Hive Shell操作8.1 Hive bin下脚本介绍8.2 Hive Shell 基本操作1、Hive 命令行hive [-hiveconf x=y]* [<-ifilename>]* [<-f filename>|<-e query-string>] [-S]-i&nbs

优化

体系

hive

原创 2016-09-02 14:07:29 10000+阅读

Hadoop之AVRO

Avro是个支持多语言的数据序列化框架，支持c，c++，c＃，python，java，php，ruby，java。他的诞生主要是为了弥补Writable只支持java语言的缺陷。1 AVRO简介很多人会问类似的框架还有Thrift和Protocol，那为什么不使用这些框架，而要重新建一个框架呢，或者说Avro有哪些不同。首先，Avro和其他框架一样，

java

语言

二进制

原创 2016-09-01 19:21:42 5018 阅读

Hadoop之MapReduce性能调优

基于对这些组件的深入理解，用户可以很容易通过调整一些关键参数使作业运行效率达到最优，本文将分别从Hadoop管理员和用户角度介绍如何对Hadoop进行性能调优以满足各自的需求。1 概述Hadoop性能调优是一项工程浩大的工作，它不仅涉及Hadoop本身的性能调优，还涉及更加底层的硬件、操作系统和Java虚拟机等系统的调优。对这几个系统适当地进行调优均

管理员

Network

虚拟机

原创 2016-09-01 16:42:16 6599 阅读

Hadoop之MapReduce工作原理

Hadoop由两部分组成，分别是分布式文件系统HDFS和分布式计算框架MapReduce。其中，分布式文件系统HDFS主要用于大规模数据的分布式存储，而MapReduce则构建在分布式文件系统上，对于存储在分布式文件系统的数据进行分布式计算。1 MapReduce设计目标 Hadoo

搜索引擎

应用程序

工作原理

原创 2016-08-26 17:33:06 10000+阅读 2收藏

Hadoop之HDFS之一致性模型

HDFS某些地方为了性能可能会不符合POSIX（是的，你没有看错，POSIX不仅仅只适用于linux/unix，Hadoop 使用了POSIX的设计来实现对文件系统文件流的读取），所以它看起来可能与你所期望的不同，要注意。创建了一个文件以后，它是可以在命名空间（namespace）中可以看到的：Pat

linux

模型

content

原创 2016-08-26 12:04:29 9996 阅读 1收藏

Hadoop之HDFS的FileSystem接口详解

基本的文件系统命令操作, 通过hadoop fs-help可以获取所有的命令的详细帮助文件。Java抽象类org.apache.hadoop.fs.FileSystem定义了hadoop的一个文件系统接口。Hadoop中关于文件操作类基本上全部是在"org.apache.hadoop.fs"包中，这些API能够支持的操作包含：打开文件，读写文件，删除文件等。Hadoop类库中最终面向用户提供的接口

Java

接口

public

原创 2016-08-26 11:56:25 10000+阅读

Hadoop之HDFS读写原理

一、HDFS基本概念HDFS全称是Hadoop Distributed System。HDFS是为以流的方式存取大文件而设计的。适用于几百MB，GB以及TB，并写一次读多次的场合。而对于低延时数据访问、大量小文件、同时写和任意的文件修改，则并不是十分适合。目前HDFS支持的使用接口除了Java的还有，Thrift、C、FUSE、WebDAV、HTTP等。HDFS是以block-sized chun

Java

硬件

Google

原创 2016-08-26 10:22:04 4975 阅读 1收藏

Hadoop之生态系统

Hadoop生态系统一、摘要经过几年的快速发展，Hadoop现在已经发展成为包含多个相关项目的软件生态系统。狭义的Hadoop核心只包括Hadoop Common、Hadoop HDFS和Hadoop MapReduce三个子项目，但是和Hadoop核心密切相关的还

常用工具

工作流

生态

原创 2016-08-18 12:15:32 1013 阅读

Hadoop之机架感知

背景当没有配置机架信息时，所有的机器hadoop都默认在同一个默认的机架下，名为“/default-rack”，这种情况下，任何一台 datanode机器，不管物理上是否属于同一个机架，都会被认为是在同一个机架下，此时，就很容易出现之前提到的增添机架间网络负载的情况。在没有机架信息的情况下，namenode默认将所有的slaves机器全部默认为在/default-rack下　　而当H

网络

交换机

通信

带宽

原创 2016-08-18 10:21:02 1586 阅读

Hadoop之HDFS的HA与QJM

本文主要介绍HDFS HA特性，以及如何使用QJM(Quorum Journal Manager)特性实现HDFS HA。一、背景 HDFS集群中只有一个Namenode，这就会引入单点问题；即如果Namenode故障，那么这个集群将不可用，直到Namenode重启或者其他Namenode接入。

管理员

active

standby

Journal

突发事件

原创 2016-08-18 10:14:42 2336 阅读 1点赞 1收藏

Hadoop之HDFS的edits和fsimage查看器

在hadoop中edits和fsp_w_picpath是两个至关重要的文件，其中edits负责保存自最新检查点后命名空间的变化，起着日志的作用，而fsp_w_picpath则保存了最新的检查点信息。这个两个文件中的内容使用普通文本编辑器是无法直接查看的，幸运的是hadoop为此准备了专门的工具用于查看文件的内容，这些工具分别为oev和oi

空间

二进制

编辑器

处理器

离线

转载精选 2016-08-18 09:47:06 1995 阅读

Hadoop之HDFS回收站

Hadoop回收站trash，默认是关闭的。习惯了window的同学，建议最好还是把它提前开开，否则误操作的时候，就欲哭无泪了。 1.修改conf/core-site.xml，配置如下：<property> <name>fs.trash.interval&l

回收站

window

上传文件

between

minutes

转载精选 2016-08-18 09:21:49 992 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

王威

欢迎

Hive入门到剖析（一）