wangwei4078的博客_网络监控,备份,网络,安全,Java,Linux,Hadoop原创

Hive入门到剖析（一）

1 Hive简介1.1 Hive定义Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。本质是将SQL转换为MapReduce程序。 1.2 为什么使用Hive1、面临的问题人员学习成本太高项目周期要求太短 &n

数据库表

成本

仓库

原创 2016-09-02 14:36:20 6983 阅读

Hive入门到剖析（二）

5 Hive参数hive.exec.max.created.files说明：所有hive运行的map与reduce任务可以产生的文件的和默认值:100000 hive.exec.dynamic.partition说明：是否为自动分区默认值：false hive.mapred.reduce.tasks.speculative.execution说明：是否打开推测执行默认值：tru

参数

Hive

原创 2016-09-02 14:35:48 3307 阅读

Hive入门到剖析（四）

10 Hive体系架构10.1 概念用户接口：用户访问Hive的入口元数据：Hive的用户信息与表的MetaData解释器：分析翻译HQL的组件编译器：编译HQL的组件优化器：优化HQL的组件 10.2 Hive架构与基本组成1、架构图2、基本组成用户接口，包括 CLI，JDBC/ODBC，WebUI元数据存储，通常是存储在关系数据库如 mysql, derby

原理

体系

hive

原创 2016-09-02 14:11:39 6176 阅读 1收藏

Hive入门到剖析（三）

8 Hive Shell操作8.1 Hive bin下脚本介绍8.2 Hive Shell 基本操作1、Hive 命令行hive [-hiveconf x=y]* [<-ifilename>]* [<-f filename>|<-e query-string>] [-S]-i&nbs

优化

体系

hive

原创 2016-09-02 14:07:29 10000+阅读

Hadoop之AVRO

Avro是个支持多语言的数据序列化框架，支持c，c++，c＃，python，java，php，ruby，java。他的诞生主要是为了弥补Writable只支持java语言的缺陷。1 AVRO简介很多人会问类似的框架还有Thrift和Protocol，那为什么不使用这些框架，而要重新建一个框架呢，或者说Avro有哪些不同。首先，Avro和其他框架一样，

java

语言

二进制

原创 2016-09-01 19:21:42 5013 阅读

Hadoop之MapReduce性能调优

基于对这些组件的深入理解，用户可以很容易通过调整一些关键参数使作业运行效率达到最优，本文将分别从Hadoop管理员和用户角度介绍如何对Hadoop进行性能调优以满足各自的需求。1 概述Hadoop性能调优是一项工程浩大的工作，它不仅涉及Hadoop本身的性能调优，还涉及更加底层的硬件、操作系统和Java虚拟机等系统的调优。对这几个系统适当地进行调优均

管理员

Network

虚拟机

原创 2016-09-01 16:42:16 6596 阅读

Hadoop之MapReduce工作原理

Hadoop由两部分组成，分别是分布式文件系统HDFS和分布式计算框架MapReduce。其中，分布式文件系统HDFS主要用于大规模数据的分布式存储，而MapReduce则构建在分布式文件系统上，对于存储在分布式文件系统的数据进行分布式计算。1 MapReduce设计目标 Hadoo

搜索引擎

应用程序

工作原理

原创 2016-08-26 17:33:06 10000+阅读 2收藏

Hadoop之HDFS之一致性模型

HDFS某些地方为了性能可能会不符合POSIX（是的，你没有看错，POSIX不仅仅只适用于linux/unix，Hadoop 使用了POSIX的设计来实现对文件系统文件流的读取），所以它看起来可能与你所期望的不同，要注意。创建了一个文件以后，它是可以在命名空间（namespace）中可以看到的：Pat

linux

模型

content

原创 2016-08-26 12:04:29 9983 阅读 1收藏

Hadoop之HDFS的FileSystem接口详解

基本的文件系统命令操作, 通过hadoop fs-help可以获取所有的命令的详细帮助文件。Java抽象类org.apache.hadoop.fs.FileSystem定义了hadoop的一个文件系统接口。Hadoop中关于文件操作类基本上全部是在"org.apache.hadoop.fs"包中，这些API能够支持的操作包含：打开文件，读写文件，删除文件等。Hadoop类库中最终面向用户提供的接口

Java

接口

public

原创 2016-08-26 11:56:25 10000+阅读

Hadoop之HDFS读写原理

一、HDFS基本概念HDFS全称是Hadoop Distributed System。HDFS是为以流的方式存取大文件而设计的。适用于几百MB，GB以及TB，并写一次读多次的场合。而对于低延时数据访问、大量小文件、同时写和任意的文件修改，则并不是十分适合。目前HDFS支持的使用接口除了Java的还有，Thrift、C、FUSE、WebDAV、HTTP等。HDFS是以block-sized chun

Java

硬件

Google

原创 2016-08-26 10:22:04 4966 阅读 1收藏

Hadoop之生态系统

Hadoop生态系统一、摘要经过几年的快速发展，Hadoop现在已经发展成为包含多个相关项目的软件生态系统。狭义的Hadoop核心只包括Hadoop Common、Hadoop HDFS和Hadoop MapReduce三个子项目，但是和Hadoop核心密切相关的还

常用工具

工作流

生态

原创 2016-08-18 12:15:32 1006 阅读

Hadoop之机架感知

背景当没有配置机架信息时，所有的机器hadoop都默认在同一个默认的机架下，名为“/default-rack”，这种情况下，任何一台 datanode机器，不管物理上是否属于同一个机架，都会被认为是在同一个机架下，此时，就很容易出现之前提到的增添机架间网络负载的情况。在没有机架信息的情况下，namenode默认将所有的slaves机器全部默认为在/default-rack下　　而当H

网络

交换机

通信

带宽

原创 2016-08-18 10:21:02 1571 阅读

Hadoop之HDFS的HA与QJM

本文主要介绍HDFS HA特性，以及如何使用QJM(Quorum Journal Manager)特性实现HDFS HA。一、背景 HDFS集群中只有一个Namenode，这就会引入单点问题；即如果Namenode故障，那么这个集群将不可用，直到Namenode重启或者其他Namenode接入。

管理员

active

standby

Journal

突发事件

原创 2016-08-18 10:14:42 2330 阅读 1点赞 1收藏

Hadoop启动脚本分析

1 基本概述Hadoop的命令位于${HADOOP_HOME}/bin、${HADOOP_HOME}/sbin、${HADOOP_HOME}/libexec下面。包含了Linux的shell脚本和windows的批处理文件。本文主要解析linux下的shell脚本。 2 脚本详解2.1 start-all.sh要启动Hadoop的各节点和其他服务，这是一个绕不开的启动脚本，该脚本位于${

windows

master

中文意思

原创 2016-08-17 13:27:26 10000+阅读

hadoop fs 命令

1，hadoop fs –fs [local | <file system URI>]：声明hadoop使用的文件系统，如果不声明的话，使用当前配置文件配置的，按如下顺序查找：hadoop jar里的hadoop-default.xml->$HADOOP_CONF_DIR下的hadoop-default.xml->$HADOOP_CONF_DIR下的hadoop-site.

空间

配置文件

local

原创 2016-08-09 12:31:12 551 阅读

Hadoop配置信息处理

1 配置文件简介配置文件是一个灵活系统不可缺少的一部分，虽然配置文件非常重要，但却没有标准。1.1 Java配置文件JDK提供了java.util.Properties类，用于处理简单的配置文件。Properties很早就被引入到Java的类库中，并且一直没有什么变化。它继承自Hashtable，表示了一个持久的属性集，该集可保存在流中或从流中加载。属性列表中每个键及其对应值都是字符串类型。pub

Java

字符串

配置文件

原创 2016-06-01 09:10:29 2546 阅读 1收藏

完全分布式模式的Hadoop环境搭建

一、本文说明：本次测试在五台虚拟机系统上进行完全分布式搭建。Hadoop分布式模式是在多台机器上分布式部署，配置非常类似于伪分布式，名称节点和数据节点都分布在不同的主机上，每台数据节点上都有相应的任务调度。二、环境说明：虚拟软件：VM10.0

软件

虚拟机

文章

原创 2016-04-14 19:06:57 676 阅读

伪分布式模式的Hadoop环境搭建

一、本文说明：本次测试在一台虚拟机系统上进行伪分布式搭建。Hadoop伪分布式模式是在单机上模拟Hadoop分布式，单机上的分布式并不是真正的伪分布式，而是使用线程模拟分布式。Hadoop本身是无法区分伪分布式和分布式的，两种配置也很相似。唯一不同的地方是伪分布式是在单机器上配置，数据节点和名字节点均是一个机器。二、环境说明：&n

虚拟机

文章

操作系统

原创 2016-04-13 16:20:18 711 阅读

独立模式的Hadoop环境搭建

对于Hadoop来说，最主要的是两个方面，一个是分布式文件系统HDFS，另一个是MapReduce计算模型，搭建Hadoop的运行环境主要分为三种：独立模式环境、伪分布式环境、完全分布式环境。一、独立模式：也叫单机模式。这种模式在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统，没

操作系统

软件包

运行环境

原创 2016-04-12 17:32:51 1091 阅读

Java的位运算

1.表示方法：　在Java语言中，二进制数使用补码表示，最高位为符号位，正数的符号位为0，负数为1。补码的表示需要满足如下要求。　 (1)正数的最高位为0，其余各位代表数值本身(二进制数)。　 (2)对于负数

Java

二进制

位运算

原创 2016-02-29 22:20:51 670 阅读

Java 将字节转化为16进制字符串

很多时候我们需要将字节数组转化为16进制字符串来保存，例如做I/O字节流操作的时候，尤其在很多加密的场景中应用都比较广泛。 Java中byte用二进制表示占用8位，而我们知道16进制的每个字符需要用4位二进制位来表示，所以我们就可以把每个byte转换成两个相应的16进制字符，即把byte的高4

字符串

二进制

十六进制

原创 2016-02-29 21:52:57 4602 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

王威

Hive入门到剖析（一）

Hive入门到剖析（二）

Hive入门到剖析（四）

Hive入门到剖析（三）

Hadoop之AVRO

Hadoop之MapReduce性能调优

Hadoop之MapReduce工作原理

Hadoop之HDFS之一致性模型

Hadoop之HDFS的FileSystem接口详解

Hadoop之HDFS读写原理

Hadoop之生态系统

Hadoop之机架感知

Hadoop之HDFS的HA与QJM

Hadoop启动脚本分析

hadoop fs 命令

Hadoop配置信息处理

完全分布式模式的Hadoop环境搭建

伪分布式模式的Hadoop环境搭建

独立模式的Hadoop环境搭建

Java的位运算

Java 将字节转化为16进制字符串