一、简介hive是基于hadoop的一种数据仓库工具,可以将结构化的文件映射成为数据库的一张表,并提供简单sql查询功能,底层实现是转化为MapReduce任务计算。二、安装(1)下载从cdh下载页下载http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.11.1.tar.gz下载好后上传至服务器的/home/hadoop/software,
转载 2023-07-08 15:58:15
123阅读
目录 一、简介:二、安装装备二、开始安装三、添加和启动spark2服务一、简介:在我的CDH5.16集群中,默认安装的spark是1.6版本,这里需要将其升级为spark2.x版本。经查阅官方文档,发现spark1.6和2.x是可以并行安装的,也就是说可以不用删除默认的1.6版本,可以直接安装2.x版本,它们各自用的端口也是不一样的。我尝试了安装spark2.0版本和spark2.1版本
转载 2023-11-22 22:00:05
107阅读
# CDH 安装 Hive 在大数据领域,Hive 是一个用于数据仓库和分析的数据仓库基础设施。它允许用户通过类SQL查询语言(HiveQL)来查询和管理存储在 Hadoop 分布式文件系统(HDFS)中的数据。在本文中,我将向您展示如何在 CDH安装和配置 Hive。 ## 步骤一:准备环境 在开始安装 Hive 之前,您需要确保已经完成以下准备工作: 1. 安装 CDH:在集群中的
原创 2023-09-27 00:07:01
121阅读
记录一下Hive安装和常用的三种交互方式的使用,参考文末博文和老王,需要提前安装好MySQL和配置好Hadoop集群。使用版本:(1)MySQL:5.7.28(2)Hadoop:2.6.0-cdh5.14.2(3)Hive:1.1.0-cdh5.14.2Hive安装Hive安装,需要完成MySQL的安装、Hadoop的配置、Hive中conf文件的配置、Hive中日志路径的配置。MySQL的
转载 2023-07-31 18:02:49
106阅读
# CDH安装Hive Kerberos教程 ## 1. 简介 在CDH集群中安装Hive Kerberos是一项比较复杂的任务,需要一定的经验和技术知识。本篇文章将指导您如何实现CDH安装Hive Kerberos,并帮助您了解整个过程。 ## 2. 整体流程 下面是安装Hive Kerberos的整体流程: | 步骤 | 操作 | | ---- | ---- | | 步骤一:安装Kerb
原创 2024-07-04 06:31:23
46阅读
之前的文章中我们提到了Hive是Hadoop生态系统中的重要的成员之一,允许用户使用类似SQL的方式,很方便地进行离线数据的统计分析。本节我们就在Hadoop集群的基础上进行Hive安装与配置。环境和软件版本说明系统:MacOS终端:iterms2 + zshHadoop: hadoop-2.6.0-cdh5.7.0.tar.gz        下载地址:
转载 2023-09-25 12:10:38
128阅读
前言本文隶属于专栏《100个问题搞定大数据安装部署》,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢!本专栏目录结构和参考文献请见100个问题搞定大数据安装部署正文1. 准备 Hive 安装Hive 3.x 版本需要搭配 Hadoop 3.x 环境自行按照教程提示下载 Hive 安装包 或者使用笔者提供的 Hive 安装包——Hive3.1.2安装包下载hive下载地址
转载 2023-08-31 20:35:47
209阅读
既然我们要安装部署hive,那么首先我们要下载一个hive的压缩包吧,这个我们统一使用cdh5.7.0版本的,因为我们的hadoop是cdh5.7.0版本的,当我们在是用这些apache组件时请大家务必将后面的尾号对其,都是使用cdh的版本。我们使用的是hive-1.1.0-cdh5.7.0.tar.gz这个包,需要的可以向我要(毕竟下载实在太慢了,国外的源),qq:340518941。然后,我们
转载 2024-05-17 15:14:24
45阅读
文章目录前言一、Hive安装包下载二、Hive安装三、mysql驱动配置四、Hive配置文件修改1.修改hive-env.sh2.修改默认日志存放路径3.使用mysql数据库为默认元数据库五、启动Hive1.在HDFS上创建目录2.启动hive 前言提示:在开始之前请先确保你已经进行了Hadoop环境搭建,详情请见CDH5.3.6下搭建hadoop伪分布式环境教程!一、Hive安装包下载进入c
转载 2023-07-04 11:08:51
255阅读
CDH 是hadoop的发行版,是hadoop分支中的一种,由cloudera维护,基于稳定版的hadoop构建,提供hadoop核心 CDH3:是最早版本,对应hadoop1.x版本 开始免费版只支持50个机器 CDH4,CDH5,对应hadoop2.X版 安装方式: clouder Manager 是一个管理CDH端到端的应用,管理监控,诊断,集成
Hive安装和基本操作一,Hive的安裝(Mac)首先從官網 http://archive.apache.org/dist/hive/ 下載hive版本,解壓到 /usr/local目錄下1.1環境配置先通過 .bash_profile添加環境變量sudo vim ~/.bash_profileexport HIVE_HOME=/usr/local/hive-2.2.0 export PATH=$
转载 2023-07-04 11:08:40
237阅读
1.背景Hive是建立在Hadoop之上的数据仓库基础构架、是为了减少MapReduce编写工作的批处理系统,Hive本身不存储和计算数据,它完全依赖于HDFS和MapReduce。Hive可以理解为一个客户端工具,将我们的sql操作转换为相应的MapReduce jobs,然后在Hadoop上面运行。 HBase全称为Hadoop Database,即HBase是Hadoop的数据库,是一个分布
转载 2023-08-28 13:32:08
122阅读
Hive JDBC连接hive(2.1.1)(java)
转载 2023-05-21 15:06:58
163阅读
关于CDH和Cloudera ManagerCDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境。Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的
为什么选择CDHCDH 是cloudera 公司的产品(各种组件的各个版本比较兼容的安装包),提供Hadoop 生态系统各个工具的统一安装和管理Cloudera Manager,同时还有一家对应的公司是hortonworks,对应的提供Ambari安装包和对应的管理工具。关于这两种产品选择的详细对比,我会选择单独的博客来说明,现在这里的选择就是随机选一个了。安装前说明这里是列表文本安装前,当然是
转载 2024-08-06 19:03:58
25阅读
目录Centos7下Hadoop完全分布式集群Hive安装第一步:安装软件(1)上传文件(2)解压文件第二步:配置环境变量第三步:修改配置文件(1)修改文件名称(2)配置hive-env.sh文件(3)在HDFS上创建Hive的目录第四步:启动测试第五步:Hive与MySQL集成(1)配置hive-site.xml文件(2)设置用户的链接(3)拷贝驱动包到hive的lib目录下(4)启动测试 C
转载 2023-08-01 16:34:19
90阅读
实现CDH Hive的流程和步骤 作为一名经验丰富的开发者,让我们来教一位刚入行的小白如何实现"CDH Hive"。下面是整个流程的步骤概览: | 步骤 | 描述 | | --- | --- | | 1 | 安装CDH | | 2 | 安装Hive | | 3 | 配置Hive | | 4 | 启动Hive服务 | | 5 | 使用Hive | 下面我们将详细介绍每个步骤需要做什么,并提供相
原创 2023-12-21 08:42:51
27阅读
文章目录Hive安装Oozie安装Hue安装Hive安装选择服务–>选择hive–>设置选择默认测试成功–>继续设置hive支持LZO压缩在配置中搜索"Hive 辅助"/opt/cloudera/parcels/HADOOP_LZO/lib/hadoop/lib/重启服务Oozie安装选择服务–>选择Oozie–>选择带hive的hdfs...
原创 2021-06-01 16:39:49
409阅读
hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。 1.安装前提hive必须在已经安装了hadoop、jdk才能安装,由于hive作为
原创 精选 2022-10-12 10:07:26
296阅读
hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。1.安装前提hive必须在已经安装了hadoop、jdk才能安装,由于hive作为h
原创 精选 2022-10-27 08:20:21
283阅读
  • 1
  • 2
  • 3
  • 4
  • 5