闭关修炼ing的博客_hadoop

Hadoop的MapReduce执行流程图

Hadoop的MapReduce shuffle过程，非常重要。只有熟悉整个过程才能对业务了如指掌。MapReduce执行流程输入和拆分：不属于map和reduce的主要过程，但属于整个计算框架消耗时间的一部分，该部分会为正式的map准备数据。分片（split）操作： split只是将源文件的内容分片形成一系列的 I

过程

hadoop

shuffle

原创 2017-09-29 11:24:07 4257 阅读

大数据flume日志采集系统详解

一.flume介绍 flume 是一个cloudera提供的高可用高可靠，分布式的海量日志收集聚合传输系统。Flume支持日志系统中定制各类数据发送方，用于收集数据。同时flume提供对数据进行简单处理，并写到各种数据接收方(可定制)的能力。二.功能介绍日志收集Flume最早是Cloudera提供的日志收集系统，目前是Apache下的

搭建

flume

采集日志

原创 2017-09-19 12:46:31 10000+阅读 1点赞

hadoop shell命令字典详解

可以带着下面问题来阅读：1.chmod与chown的区别是什麽？2.cat将路径指定文件的内容输出到哪里？3.cp能否是不同之间复制？4.hdfs如何查看文件大小？5.hdfs如何合并文件？6.如何显示当前路径下的所有文件夹和文件7.rm删除文件失败的原因什么？8.如何查看文件的创建时间9.查看文件命令的内容有哪些？能否说出三种？10.如何判断文件是否存在？11.如何创建0字节文件对于命令，我们一

命令

shell

hadoop

转载 2017-09-18 09:19:37 1628 阅读

hive 数据存储格式详解

Hive的三种文件格式：TEXTFILE、SEQUENCEFILE、RCFILE中，TEXTFILE和SEQUENCEFILE的存储格式都是基于行存储的，RCFILE是基于行列混合的思想，先按行把数据划分成N个row group，在row group中对每个列分别进行存储。另：hive能支持自定义格式，详情见：Hive文件存储格式基于HDFS的行存储具备快速数据加载和动态负载的高适应能力，因为行存

数据存储

文件格式

hive

转载 2017-08-24 10:44:50 784 阅读 1点赞

MapReduce过程详细分析

Shuffle产生的意义是什么？Shuffle过程的期望可以有：完整地从map task端拉取数据到reduce 端。在跨节点拉取数据时，尽可能地减少对带宽的不必要消耗。减少磁盘IO对task执行的影响。每个map task都有一个内存缓冲区，存储着map的输出结果，当缓冲区快满的时候需要将缓冲区的数据该如何处理？每个map task都有一个内存缓冲区，存储着map的输出结果，当缓冲区

mapreduce shuffle

转载 2017-07-27 20:02:26 828 阅读

spark 入门及集群环境搭建

软件环境: VMware workstation 11.0linux ：CentOS 6.7hadoop-2.7.3jdk-1.0.7_67spark-2.1.0-bin-hadoop2.7/安装虚拟机和jdk就不再此赘述。直接讲解安装hadoop和spark的安装。一。下载hadoop源码包。点击此处下载: http://hadoop.apache.org/ 1

集群

Hadoop

spark

原创 2017-07-13 19:51:31 602 阅读

kafka权威指南第三章第3节创建Producer

问题导读：1 如何创建Kafka的生产者？2 发送数据都有哪几种方式？向Kafka中写入数据的第一步就是创建生产者对象，创建生产者对象需要三个主要的配置：bootstrap.servers是Kafka的Broker的连接地址，格式为 host:port。这里不要填写所有的broker配置，生产者会查询这些broker的信息，然后添加额外的broker。但是推荐至少填写两个，以免有一个broker离

topic

kafka

producer

转载 2017-06-19 18:53:09 878 阅读

HBase 与Hive数据交互整合过程详解

Hive和Hbase整合理论1、为什么hive要和hbase整合2、整合的优缺点优点：(1).Hive方便地提供了Hive QL的接口来简化MapReduce的使用，而HBase提供了低延迟的数据库访问。如果两者结合，可以利用MapReduce的优势针对HBase存储的大量内容进行离线的计算和分析。(2).操作方便，hive提供了大量系统功能缺点：性能的损

整合

hbase

hive

原创 2017-06-16 17:14:23 4396 阅读

HBase API 操作范例

package com.test.hbase.api;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.*;import org.apache.hadoop.hbase.client.*;import org.apache.hadoop.hbase.util.Bytes;import java.io

过滤器

api

hbase

原创 2017-06-15 18:09:24 1273 阅读 1点赞

Hbase Shell 基础和常用命令

HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。HBase是Google Bigtable的开源实现，它利用hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。　　1. 简介　　HBase是一个分布式的、面向列的开源数据

命令

shell

hadoop

hbase

转载 2017-06-14 11:18:47 699 阅读

HBase 报错 ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing

学hbase的时候，搭建好环境启动hbase，jps查看进程发现hmaster和hregionserevr可以正常出现。终端下输入hbase shell后也可以进入hbase的shell，输入List后就报错；错误提示：ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing查看错误日志发现：如图发现有一

hadoop

hbase

zookeeper

原创 2017-06-13 11:57:16 10000+阅读 2点赞 2评论

通过javaAPI上传文件到HDFS文件系统

import java.io.BufferedInputStream;import java.io.FileInputStream;import java.io.InputStream;import java.io.OutputStream;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apac

hadoop

HDFS

原创 2017-03-07 17:04:26 2501 阅读 1点赞

hadoop集群环境搭建

hadoop大数据集群环境搭建步骤----安装伪分布式所需软件: vmware workstation 11.0 jdk1.7.0_67 hadoop-2.7.3 filezilla F

环境

集群

hadoop

原创 2017-02-20 11:12:46 670 阅读 1点赞

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

脚踏实地前行者

Hadoop的MapReduce执行流程图

大数据flume日志采集系统详解

hadoop shell命令字典详解

hive 数据存储格式详解

MapReduce过程详细分析

spark 入门及集群环境搭建

kafka权威指南第三章第3节创建Producer

HBase 与Hive数据交互整合过程详解

HBase API 操作范例

Hbase Shell 基础和常用命令

HBase 报错 ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing

通过javaAPI上传文件到HDFS文件系统

hadoop集群环境搭建