Hive简介Hive基于hadoop一个数据仓库,可以将sql语句转化为MapReduce任务进行运行,不必要专门开发MapReduce,Hive定义了简单类SQL,即HQL,可以用来对数据进行ETL(提取转化加载)操作。一 . 安装前准备Hive基于hadoop,所以首先要安装hadoop集群,至于安装hadoop可以参考,如和选择版本,在官网上http://hive.apache.
转载 2023-07-24 08:56:15
52阅读
HiveHadoop集群安装 文章目录HiveHadoop集群安装一、hive安装前必备步骤二、安装Hive三、配置Hive环境变量四、测试连接 一、hive安装前必备步骤Hadoop集群能正常运行安装参考MySql安装 安装参考 需要增加以下步骤: 1)输入 :my -uroot -pok 启动数据库 2)输入:use mysql创建用户:create user 'bigdata'
转载 2023-07-04 10:58:12
58阅读
Hive目前底层还是用MapReduce,以后可能会用Spark,Tez。Hive差不多是一个查询接口,你SQL语句还是会翻译成MapReduce任务,你用explain就可以看到这些任务执行计划。下面介绍下hive基础安装过程以及简单使用。环境信息:虚拟机数量:3台 操作系统:Ubuntu 14.04 实验环境及版本: HadoopHadoop 2.2.0 Java:java ver
Hive mysqlmetastore安装准备(***掌握***) 在nameNode1机子上实践: 把hive-0.12.0.tar.gz解压到/itcast/ # tar -zxvf hive-0.12.0.tar.gz -C /itcast 修改/etc/profile文件,将hive加入环境变量 # vim /etc/profile export JAVA_HOME=/usr/java/...
原创 2021-07-29 10:44:38
872阅读
安装数据仓库Hive实验目的要求实验环境软件版本实验步骤步骤一:Hive工具安装配置步骤二:开启zookeeper集群Hadoop集群以及HBase集群步骤三:创建hive元数据数据库步骤五:Hive工具启动和验证 实验目的要求目的: 1、数据仓库工具Hive安装和配置 2、掌握数据仓库工具Hive安装和配置 要求: 1、完成Hive工具安装和配置 2、Hive工具能够正常启动运行 3、
转载 2023-07-13 17:28:08
81阅读
Windows10下Linux子系统UbuntuJDK环境、Hadoop环境配置以及Scala安装中出现问题 安装前提: 平台:Windows10电脑,预先下载好Ubuntu子系统,不会下载见教程:Windows10使用Linux子系统 这里我使用是Ubuntu18.04.2我们要开始学习大数据相关内容,老师要求我们自行安装好Linux系统下Scala软件并且配置好它所需要JDK
转载 2023-09-22 12:57:36
45阅读
Hadoop安装指南 / Hive安装指南 Hadoop集群需要一个机器作为Master节点,其余
原创 2023-04-28 09:33:44
87阅读
作为一个多年DBA,hadoop家族中,最亲切产品就是hive了。毕竟SQL使用还是很熟悉。再也不用担心编写Mapreducer痛苦了。 简单来说,Hive就是在Hadoop上架了一层SQL接口,可以将SQL翻译成MapReduce去Hadoop上执行,这样就使得数据开发和分析人员很方便使用SQL来完成海量数据统计和分析,而不必使用编程语言开发MapReduce那么麻烦。
原创 精选 2017-12-24 16:53:44
10000+阅读
4点赞
安装前说明:安装hive前提是要先安装hadoop集群,并且hive只需要在hadoopnamenode节点集群安装即可(需要再所有namenode上安装),而不需要在datanode节点机器上安装。另外还需要说明是,虽然修改配置文件并不需要你已经把hadoop跑起来,但是本文中用到了hadoop命令(创建文件夹时使用过),在执行这些命令前你必须确保hadoop是在正常跑着,而且启动hi
原创 2018-10-02 22:51:40
3935阅读
一、Hive安装环境装备安装JDK 安装hadoop集群 二、下载Hive安装包 根据需要下载相应版本,这里以hive-1.2.2为例。 三、Hive安装包解压 1.根据hadoop集群系统资源消耗情况,选择进程消耗比较小进行安装。这里以node2节点为例。hive安装包通过xshell中xftp工具上传到node2上。 2.解压hive安装包 #1.把hive压缩安装包解压到/opt/
1、集群安装与配置以centos为例,首先创建4台虚拟机,分别命名为hp001、hp002、hp003、hp004。安装成功后,然后分别修改主机名(hp002、hp003、hp004同hp001)。vim /etc/sysconfig/network # 编辑network文件修改hostname hadoop1cat /etc/sysconfig/network cat /etc/
ubuntu安装(这里我就不一一捉图了,只引用一个网址, 相信大家能力)ubuntu安装参考教程:  http://jingyan.baidu.com/article/14bd256e0ca52ebb6d26129c.html注意下面几点:1、设置虚拟机IP, 点击虚拟机右下角网络连接图标, 选择”桥接模式“, 这样才能分配到你局域网IP, 这个很重要因为后面hadoop要用到局域
转载 2023-10-17 21:25:46
59阅读
本文介绍Hadoop在两个节点上安装与配置即一个master和一个slave,安装版本为2.2.0,该版本及以上版本安装方式几乎一致。需要注意hadoop使用Java语言编写,所以在安装Hadoop之前需要在机器上安装好Java运行环境(JDK),配置好环境变量。此外,每个节点都需要配置好静态ip地址以及设置好主机名,并将主机名写入hosts文件中。以及设置防火墙,或者直接关闭防火墙。一、
软件环境操作系统:Ubuntu14.04JDK版本:jdk1.7.0_51Hadoop版本:Hadoop-2.2.0Hive可以理解为在Hadoop和HDFS之上为用户封装一层便于用户使用接口。Hive需要将元数据存储在RDBMS中,这对于Hive运行是非常重要。(1)安装Hadoop-2.2.0集群(2)下载Hive安装包tar -zxvf apache-hive-0.13.1-bin.t
# Ubuntu安装Hadoop集群Hive 在大数据领域,Hadoop是一个非常重要工具,用于分布式存储和分析大规模数据。而Hive则是一个建立在Hadoop之上数据仓库工具,用于进行数据查询和分析。本文将介绍如何在Ubuntu系统上安装Hadoop集群Hive,以便进行大数据处理和分析。 ## 准备工作 在开始安装HadoopHive之前,我们需要进行一些准备工作。首先,确保你
原创 4月前
78阅读
# 在Hadoop集群之外安装Hive步骤指南 Hive是一个数据仓库软件,它用于提供数据抽象、数据总结和查询等功能。本文将指导你如何在Hadoop集群之外安装Hive。尽管Hive通常是在Hadoop集群内部署,但在某些情况下,可能需要在单独机器或环境中进行安装。让我们来看看整个流程。 ## 安装Hive步骤 | 步骤 | 说明 | | ---- | ---- | | 1 | 下载
原创 1月前
17阅读
HiveHadoop生态中一个重要组成部分,主要用于数据仓库。前面的文章中我们已经搭建好了Hadoop群集,下面我们在这个群集上再搭建Hive群集。1.安装MySQL1.1安装MySQL Server在Ubuntu下面安装MySQLServer很简单,只需要运行: sudo apt-get install mysql-server 系统会把MySQL下载并安装好。这里我们可以把MyS
写在前边的话:       hadoop2.7完全分布式安装请参考:继任该篇博客之后,诞生了下面的这一篇博客       基本环境:               Hadoop 2.7        &
   Hive 安装依赖 Hadoop 集群,它是运行在 Hadoop 基础上。 所以在安装 Hive 之前,保证 Hadoop 集群能够成功运行。  同时,比如我这里master、slave1和slave2组成hadoop集群hive安装可以安装在任一一个节点上,当然,也可以安装集群之外,取名为client。只需要ssh免密码通信即可。 1、 下载Hive  这
上一节介绍了Hadoop 集群部署过程,这一节我们来用Python创建一个map/reduces过程来分析IIS日志日志文件为附件:map脚本advanceiislog.py 内容为:#!/usr/bin/python2.4#coding=utf8import fileinputimport globimport stringimport sys#for line in fileinput.in
原创 2013-07-05 17:36:25
766阅读
  • 1
  • 2
  • 3
  • 4
  • 5