Spark SQLSpark SQL精华及与Hive的集成一、Spark SQL简介1、SQL on Hadoop2、Spark SQL前身3、Spark SQL架构4、Spark SQL运行原理5、Catalyst优化器二、Spark Dataset API1、创建2、Dataset3、演练三、Spark DataFrame API1、介绍2、对比3、创建4、常用操作5、RDD和DataFra
转载
2024-09-06 10:19:15
36阅读
首先检查系统安装的mysql版本，使用命令 rpm -qa | grep mysql若要安装自己的版本，则先执行删除操作 rpm -e xxxxx.rpm --nodeps然后安装自己的版本， &n
转载
2023-07-12 09:31:14
64阅读
Hive环境搭建 环境准备，之前的linux和hadoop伪分布式系统 1 在linux系统里装mysql数据库，hive的元数据存储在mysql中 RMP安装MySql①下载MySql http://dev.mysql.com/downloads/mysql/；打开页面之后，在Select Platform:下选择linux Generic，如果没有出现Linux的选项，请换一个浏览器试试。我用
原创
2020-04-16 15:19:25
676阅读
一.安装hive包1、将课程提供的apache-hive-0.13.1-bin.tar.gz使用WinSCP上传到spark1的/usr/local目录下。2、解压缩hive安装包：tar -zxvf apache-hive-0.13.1-bin.tar.gz。3、重命名hive目录：mv apache-hive-0.13.1-bin hive4、配置hive相关的环境变量 vi ...
原创
2022-01-17 14:27:44
210阅读
hive数据仓库的搭建的详细图文教程
原创
精选
2023-10-23 14:45:07
326阅读
目录一、删除原版本5.7MySQL二、安装5.8版本MySQL1、准备以下mysql包2、新建mysql文件夹 3、上传安装包4、rpm下载5、启动mysql服务 6、修改密码 三、配置Hive元数据保存到MySQL1、删除原版本mysql驱动2、上传新版本驱动 3、修改$HIVE_HOME/conf/hive-site.xml4、登录mqsql，创建元数据
转载
2024-02-20 13:54:48
133阅读
1、Hive基本概念1.1Hive简介Hive本质是将SQL转换为MapReduce的任务进行运算，底层由HDFS来提供数据存储，说白了hive可以理解为一个将SQL转换为MapReduce的任务的工具，甚至更近一步说hive就是一个MapReduce客户端。 为什么使用Hive?如果直接使用hadoop的话，人员学
转载
2023-07-12 21:20:42
67阅读
记录一下使用docker快速搭建部署hive环境
记录一下使用docker快速搭建部署hive环境目录写在前面步骤安装docker安装docker安装docker-compose配置docker国内镜像源（可选）安装git & 配置github部署Hivedocker-hive开始部署使用Hive命令行收尾工作安装vi、lrzsz关闭相关命令EN
转载
2023-07-18 18:45:35
114阅读
Hive环境搭建一、准备工作1.安装包下载2.虚拟机需先安装好hadoop3.安装mysql二、安装hive三、配置环境变量1.配置环境变量2.修改hive配置文件四、启动hive1.需先初始化数据库2.启动hive（该打开的服务要打开）3.启动第三方插件beeline 一、准备工作1.安装包下载因为Hive默认的数据库是derby，不支持同时开启两个./hive的命令终端， 而将Hive的默认
转载
2023-09-15 21:24:18
53阅读
# 搭建Hive环境教程
在大数据领域，Hive是一个很重要的工具，它提供了类似于SQL的查询语言来分析大规模数据。本文将介绍如何搭建Hive环境，让你快速上手使用Hive进行数据分析。
## 环境准备
在开始搭建Hive环境之前，你需要确保已经安装好Hadoop，并且Hadoop集群正常运行。接下来我们将按照以下步骤进行Hive环境的搭建。
1. 下载Hive
首先，你需要从Apach
原创
2024-04-21 06:37:59
89阅读
因为hive是基于hadoop的，所以一定要有hadoop的平台支撑：hadoop分布式集群搭建：http://blog.51cto.com/14048416/23414911.内嵌Derby版本:安装步骤：上传安装包：apache-hive-2.3.2-bin.tar.gz解压安装包：tar-zxvfapache-hive-2.3.2-bin.tar.gz-C/application进入进入到b
原创
2019-01-13 21:23:50
1236阅读
一、环境介绍： elasticsearch：2.3.1 hive：0.12 二、环境搭建 2.1 首先获取elasticsearc-hadoop的jar包 链接地址：
原创
2021-08-24 16:04:36
433阅读
生产环境hive集群架构
原创
2023-05-11 15:23:14
135阅读
1. 版本的选择建议使用 1.x 版本只需要在一个节点上安装（Master节点）2. 步骤下载(hive.apache.org) 右侧目录 download -->选择 hive-1.2.2 版本
wget https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-1.2.2/apache-hive-1.2.2
原创
2023-09-19 15:40:10
87阅读
# 使用Docker搭建Hive环境
Apache Hive 是一个数据仓库工具，可以在Hadoop中进行数据分析。它提供了数据摘要、查询和报告功能。Hive使用类SQL语言（HiveQL）来操作数据，并能够处理结构化数据。近年来，Docker已成为构建和部署应用程序的流行工具，提供了轻量级的虚拟化环境。本文将介绍如何使用Docker快速搭建一个Hive环境。
## 环境准备
在开始之前，请
一.Hive介绍 Hive包含用户接口、元数据库、解析器和数据仓库等组件组成，其中用户接口包含shell客户端、JDBC、ODBC、Web接口等。元数据库主要是指定义在hive中的表结构信息，一般保存到关系型数据库中，默认是derby，一般使用mysql进行保存。解析器主要功能是将HQL语句转换为m
原创
2021-06-03 18:08:14
347阅读
前面一路从hadoop、spark、zookeeper、kafka等集群搭建而来，大数据生态环境已经初步形成，下面要继续来搭建大数据生态中很重要的Hive集群。 一、Hive简介 Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的 SQL 查询功能，将类 SQL 语句转换为 MapReduce 任务执行。 二、环境准备 hadoop-
转载
2023-07-14 12:57:41
105阅读
1. Hive1.1 Hive 是什么Hive 是基于 Hadoop 的一个数据仓库工具，用于解决海量结构化数据的统计，可以将结构化的数据映射为一张数据库表，并提供类SQL查询功能本质：Hive 将 HQL（Hive Query Language）转换为 MapReduce 程序！1.2 Hive 特点可扩展：Hive 可自由的扩展到集群的规模，一般不用重启服务延展性：Hive 支持自定义函数，用
转载
2024-05-29 10:29:37
41阅读
1、Hive安装和配置1、通过XFTP工具将Hive的压缩包远程传输到Linux的/opt/software目录下2、解压apache-hive-1.2.1-bin.tar.gz到/opt/module/目录下面[zhukun@hadoop102 software]$ tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /opt/module/3、修改/opt/mo
转载
2023-08-25 18:20:13
37阅读
一、实验要求根据课本上的Hadoop的章节的内容，熟悉从系统下载、安装、命令使用，到MapReduce的简单编程实验。二、实验内容2.1 部署方式Hadoop主要有两种安装方式，即传统解压包方式和Linux标准方式。安装Hadoop的同时，还要明确工作环境的构建模式。Hadoop部署环境分为单机模式、伪分布模式和分布式模式三种。2.2 部署步骤(简述)步骤1：制定部署规划；步骤2：部署前工作；步骤
转载
2023-06-14 22:22:44
1758阅读
