Linux是一种基于UNIX的操作系统，开源、免费、稳定、安全是其最大的特点。而Hadoop是一个处理大规模数据的分布式计算框架，可以将大量数据分布式存储在集群中，进行并行处理，为用户提供高性能的数据处理能力。在Hadoop2.2版本中，引入了一些新的特性和优化，使得其更加强大和稳定。
红帽是一家知名的Linux发行版提供商，其产品Red Hat Enterprise Linux（RHEL）是企
原创
2024-04-11 10:08:11
56阅读
这里就介绍CentOS的安装了，直接进入Hadoop2.2伪分布模式安装。 1.安装包下载 1.1.下载JDK1.7 眼下JDK的版本号是jdk1.8.0_25。这里下载的是jdk1.7.0_67。 下载页面：http://www.oracle.com/technetwork/java/javase
转载
2017-07-23 16:28:00
260阅读
2评论
Hadoop2.2 伪分布式配置
转载
精选
2014-04-22 23:31:43
692阅读
环境准备1、操作系统:centos6.0 64位2、hadoop版本：hahadoop-2.2.0安装和配置步骤具体如下：1、主机和ip分配如下ip地址 主机名 用途 192.168.1.112 hadoop1 namenode 192.168.1.113 hadoop2datanode192.16...
转载
2014-04-14 11:50:00
70阅读
2评论
从hadoop取出文件写入hbase表中package example2;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.KeyVa
原创
2022-07-28 16:05:31
69阅读
本文主要介绍了在64位centos6.4系统上进行hadoop2.2的完全分布式集群安装过程。
原创
2014-03-07 13:34:40
2206阅读
点赞
1评论
集群环境3台机器，一主两从：192.168.41.100 master192.168.41.101 slave1192.168.41.102 slave2系统为CentOS 6.42.安装步骤：① 安装前准备（1）3台机器全部修改hosts文件和hostname后重启vim /etc/hosts（2）配置节点之间SSH免密码登陆(可参考博文hadoop
原创
精选
2014-08-14 23:53:08
1118阅读
配置安装Hadoop2.2.0 部署spark 1.0的流程 一、环境描写叙述 本实验在一台Windows7-64下安装Vmware。在Vmware里安装两分别例如以下 主机名spark1（192.168.232.147），RHEL6.2-64 操作系统，usernameRoot 从机名spa
原创
2022-01-12 10:17:29
115阅读
本文主要介绍通过ambari方式安装hadoop2.2完全分布式集群后的NameNode高可用性HA设置，以及hadoop的管理命令介绍。
原创
2014-03-07 14:12:17
3523阅读
点赞
（1）HBase集群安装前准备安装jdkhadoop2.x集群准备(参考上一篇博文hadoop2.2集群安装)ssh集群的时间要保持基本一致（2）HBase集群安装解压HBase# tar zvxf hbase-0.96.0.tar.gz -C /usr2.配置conf/hbase-env.sh# cd /usr/hbase/c
原创
精选
2014-08-15 15:56:26
912阅读
Apache Hadoop: 是Apache开源组织的一个分布式计算开源框架，提供了一个分布式文件系统子项目(HDFS)和支持MapReduce分布式计算的软件架构。
Apache Hive: 是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapRed
转载
2024-01-11 15:51:57
34阅读
一、什么是hive 如下图所示，hive在Hadoop生态中处于比较高层的位置，其本质上就是将mapreduce转换成了sql的写法。 却也sql不尽然相同，毕竟mysql等关系型数据的sql则是服务于web、应用等，是为了让数据更面向对象、更稳定、更原子性操作。而hive的目的则是数据分析，
转载
2023-08-18 19:23:47
123阅读
大概说一些这三个框架各自是什么，解决了什么问题。HadoopHadoop是一个开源框架，允许使用简单的编程模型在跨计算机集群的分布式环境中存储和处理大数据。它的设计是从单个服务器扩展到数千个机器，每个都提供本地计算和存储。hadoop的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理狭义上的Hadoop是指框架本身；hadoop生态系统，不仅包含hadoop，还包括保证ha
转载
2023-07-20 23:59:53
95阅读
一、Hive是什么？Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 QL，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reduce
转载
2023-07-20 17:22:46
11阅读
Hive简介Hive最初是Facebook为了满足对海量社交网络数据的管理和机器学习的需求而产生和发展的。互联网现在进入了大数据时代，大数据是现在互联网的趋势，而hadoop就是大数据时代里的核心技术，但是hadoop的mapreduce操作专业性太强，所以facebook在这些基础上开发了hive框架，毕竟世界上会sql的人比会java的人多的多，hive可以说是学习hadoop相关技术的一个突
转载
2024-04-19 13:34:21
28阅读
目录一、Hive到底是什么1. 如何理解Hive2. Hive中SQL-MapReduce原理图解3. 为什么说Hive是基于Hadoop的呢？二、Hive的优缺点1. 优点2. 缺点三、Hive的架构原理1. 两种客户端2. 四种驱动Driver3. 元数据库Meta store四、Hive和数据库的区别（1）数据存储位置不同（2）数据更新（3）执行机制（4）执行延迟（5）可扩展性一、Hive到
转载
2023-08-18 20:44:14
126阅读
HIVE简介Hive是Hadoop生态系统中必不可少的一个工具，它提供了一种SQL方言，可以查询存储在Hadoop分布式文件系统（HDFS）中的数据或其它和hadoop集成的文件系统，如果MapR-FS，Amazon S3和像HBase（Hadoop数据库）和Cassandra这样的数据库中的项目。大多数数据仓库应用程序都是使用关系型数据库进行实现的，并使用SQL作为查询语言。Hive降低了将这些
转载
2023-09-20 22:47:36
123阅读
1.show databases 查看有那些数据库2.创建park数据库,实际上hadoop的HDFS文件系统里创建一个目录节点,统一存在/usr/hive/wareshouse目录下3.进入数据库4.查看当前数据库下的所有表5.创建stu表,以及相关的两个字段 在hive中,用的是string,不用char和varchar,此外,所创建的表,也是HDFS里的一个目录节点。 在hive里面有一个d
转载
2023-07-20 19:37:15
73阅读
hadoop、hive、hbase的区别最近开始自学大数据，肯定免不了hadoop、hive、hbase这些东西。此处把自己对这3个的理解记录一下：1、hadoop：它是一个分布式计算+分布式文件系统，前者其实就是MapReduce，后者是HDFS。后者可以独立运行，前者可以选择性使用，也可以不使用2、hive：通俗的说是一个数据仓库，仓库中的数据是被hdfs管理的数据文件，它支持类似sql语句的
转载
2023-08-16 18:29:20
93阅读
标签（空格分隔）： Hadoop Hive hwi1.Hive简介 之前我一直在Maxcompute上进行大数据开发，所以对数仓这块还算比较了解，在接受Hive的时候基本上没什么大的障碍。所以，有需求用到hive的同学，应该对数据仓库相关概念以及数仓设计模型有了大致的了解了。简单来说，Hive是一个基于Hadoop文件系统智商的数据仓库架构(数据存储还是HDFS)，它为数仓的管理提供了：ETL工
转载
2024-07-27 13:26:37
18阅读
