我们hadoop2,4集群默认不支持snappy压缩，可是近期有业务方说他们的部分数据是snappy压缩的（这部分数据由另外一个集群提供给他们时就是snappy压缩格式的）想迁移到到我们集群上面来进行计算。可是直接执行时报错： Failed with exception java.io.IOExce
转载
2021-08-06 13:55:48
1024阅读
编译前的准备: 首先安装ANT、ECLIPSE 、HADOOP.使用的的HADOOP版本是2.4。 1、安装ANT 解压： tar -zxvf apache-ant-1.9.4-bin.tar.gz &n
原创
2014-12-21 21:39:45
747阅读
一 、新建用户和用户组 注明：（这个步骤事实上能够不用的。只是单独使用一个不同的用户好一些） 1.新建用户组 sudo addgroup hadoop 2.新建用户sudo adduser -ingroup hadoop hadoop 3.加入hadoop用户权限 sudo gedit /etc...
转载
2015-12-28 10:40:00
103阅读
2评论
4.4 Reduce类
4.4.1 Reduce介绍
整完了Map，接下来就是Reduce了。YarnChild.main()—>ReduceTask.run()。ReduceTask.run方法開始和MapTask类似，包含initialize()初始化，依据情况看是否调用runJobCleanupTask()，runTaskCleanupTask()等。之后进入正式的工作，主要有
转载
2014-10-19 11:20:00
59阅读
2评论
使用hadoop进行MapReduce编程的时候。我们都希望使用IDE进行开发。本文主要介绍怎样使用Eclipse进行hadoop编程。
假设你的集群还没搭好，能够參考我的前一篇文章Ubuntu下用hadoop2.4搭建集群（伪分布式）
一、安装Eclipse
方法一：直接在Ubuntu的软件中心进行下载，例如以下图所看到的。
方法二：先下载Eclispe压缩文件后，使用命令
转载
2017-06-28 16:49:00
54阅读
2评论
要真正的学习hadoop，就必需要使用集群，可是对于普通开发人员来说，没有大规模的集群用来測试，所以仅仅能使用伪分布式了。以下介绍怎样搭建一个伪分布式集群。 为了节省时间和篇幅，前面一些步骤不再叙述。本文是在基于单机模式的前提下进行得搭建。若不会搭建单机模式。请看我的前一篇文章。Ubuntu下用ha
转载
2017-07-06 11:01:00
95阅读
2评论
经过前边的积累，今天最终实现了集群环境下部署Hadoop。并成功执行了官方的样例。工作例如以下：两台机器：NameNode：上网小本，3G内存。机器名：YP-X100e，IP：192.168.101.130。DataNode：虚拟机，Win7下载VMWare10中虚拟Ubuntu14，虚拟机器名：p...
转载
2016-01-17 13:29:00
62阅读
2评论
一、hadoop2.4编译方法可参考：Linux64位操作系统（CentOS6.6）上如何编译hadoop2.4.0。二、准备工具1.部署准备两个机器test1为Master，test2为Slave。 在两个机器上分别vim /etc/hosts，加入如下内容： 192.168.1.100 test1
192.168.1.200 t
原创
2015-07-28 13:38:17
441阅读
点赞
任务目的掌握启动 HDFS 集群和 YARN 集群的方式 进一步熟悉 HDFS 和 YARN 的 Web UI 界面 熟悉执
转载
2022-08-02 14:35:55
655阅读
Hive介绍Hadoop开发存在的问题只能用java语言开发，如果是c语言或其他语言的程序员用Hadoop，存 在语言门槛。 需要对Hadoop底层原理，api比较了解才能做开发。Hive概述Hive是基于Hadoop的一个数据仓库工具。可以将结构化的数据文件映射为 一张表，并提供完整的sql查询功能，可以将 sql语句转换为 MapReduce任 务进行运行。其优点是学习成本低，可以通过类 SQ
转载
2023-07-13 16:35:38
114阅读
Hadoop集群搭建之Hive安装1. 准备工作准备好已经安装了Hadoop的集群服务器之后，需要在其中一台中安装MySQL数据库，安装可以参考CentOS7安装MySQL5.7这篇文章。下载Hive的安装包并上传至其中一台服务器中，下载地址2. Hive本地安装1. 安装目录规划统一安装路径：/opt/modules
统一软件存放路径：/opt/software2. 上传压缩包1. 将压缩包上传
转载
2023-09-08 20:32:19
34阅读
Hadoop是一个开发和运行处理大规模数据的平台，实现在多台计算机组成的集群中对海量数据进行分布式计算。hadoop框架最核心的部分是hdfs和mapreduce。hdfs提供了海量数据的存储，mapreduce提供了对数据的计算。hadoop处理海量数据，需要hbase做数据库，hbase是面向列的分布式数据库，使用集群环境的内存做处理，但是不支持sql语句，所以操作和计算数据非常不方便，于是整
转载
2023-05-23 10:18:18
70阅读
前言文本已收录至我的GitHub仓库，欢迎Star：https://github.com/bin392328206/six-finger种一棵树最好的时间是十年前，其次是现在叨絮hadoop 完成之后，就是hive了。。今天我们就来看看hive小六六学大数据之 Hadoop(一)小六六学大数据之 Hadoop(二)什么是 HiveHive：由 Facebook 开源用于解决海量结构化日志的数据统计
转载
2023-09-08 19:09:54
68阅读
文章目录1 Apache Hive概述1.1 为什么使用Hive：1.2 Hive和hadoop的关系2 如何实现Hive功能3 Apache Hive架构、组件4 Apache Hive数据模型4.1 Data Model4.2 Databases 数据库4.3 Tables 表4.4 Partitions 分区4.5 Buckets 分桶4.6 Hive和Mysql比较5 Hive安装部署5
转载
2024-06-04 08:52:03
49阅读
**一、Hive介绍Hive官网：https://hive.apache.org/1.1 hive简介 Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上，总归为大数据，并使得查询和分析方便。并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。最初，Hive是由Facebook开发，后来由Apache软件基金会开发，并作为进一步
转载
2023-08-18 21:12:13
59阅读
大数据四个特点 ：4VVolume（大量），Velocity（高速），Variety（多样），Value（低价值密度）Hadoop是一种分布式系统基础架构，主要解决海量数据的存储和分析计算的问题。广义上说Hadoop是指包含其本身和其它组件（如HDFS）的一个Hadoop生态圈一、Hadoop的概念1.Hadoop思想来源谷歌大数据三大论文2.Hadoop优势（4高）高可靠性：Hadoop底层维护
转载
2023-07-12 11:16:30
86阅读
Hive详解一、Hive简介二、Hive总体架构hive架构图如下：Hive基本组成三、Hive特点优点缺点四、Hive基本语法1、Hive DDL语法2、Hive DML语法五、总结 一、Hive简介hive是什么？ “懒人改变世界”，这是我一直坚信的理念。并不是提倡大家偷懒，而是要有懒人的思想，要想尽一切办法来减少自己的工作量，减少重复劳动力，提高生产效率。没有hive之前，作为程序猿需要对
转载
2023-07-12 11:15:36
78阅读
Hadoop是什么？Hadoop是一个由Apache基金会所开发的分布式系统基础架构。主要解决，海量数据的存储和海量数据的分析计算问题。广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈。Hadoop 发展历史（了解）Hadoop创始人Doug Cutting，为了实现与Google类似的全文搜索功能，他在Lucene框架基础上进行优化升级，查询引擎和索引引擎。2001年年底L
转载
2023-07-23 17:15:45
60阅读
一、Hive基本概念1、概念
Hive：由Facebook开源用于解决海量结构化日志的数据统计。
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将HQL转化成MapReduce程序 HQL转化成MapReduce （1）Hive处理的数据存储在HDFS（2）Hive分析数据底层的实
转载
2023-08-30 19:26:13
106阅读
目录标题1、Hadoop是什么2、Hadoop发展历史3、Hadoop优势4、Hadoop组成4.1 HDFS4.2 YARN4.3 MapReduce架构概述4.4 HDFS、YARN、MapReduce 三者关系5、大数据技术生态系统6、推荐系统的框架图 1、Hadoop是什么1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 2）主要解决，海量数据的存储和海量数据的分析
转载
2023-07-12 11:15:50
68阅读
