Hive1.基本概念Hive本质上是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并 提供类 SQL 查询功能。通俗一点就是Hive相当于一个hadoop的客户端，利用hdfs存储数据，利用mapreduce计算框架来进行计算任务，好处就是可以将人从繁琐的mapreduce程序中解放出来，通过编写简单的HQL语句从而实现对复杂逻辑的运算。2.优缺点优点采用类sql的语
转载
2023-07-12 16:15:08
87阅读
1.定义 Apache Hive数据仓库软件便于读，写和管理大型数据集驻留在分布式存储使用SQL。 结构可以投影到存储中的数据上。 客户端的连接方式可采用：command line 和 JDBC Driver。注意：Hive实质就是客户端，不存在主从结构，搭建过程没有集群概念。2.搭建Hive 前提： a.Hadoop集群搭建完成！
转载
2023-07-03 21:22:08
71阅读
大数据技术之 Hive第 1 章 Hive 基本概念1.1 什么是 Hive1） hive 简介Hive：由 Facebook 开源用于解决海量结构化日志的数据统计工具。Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并 提供类 SQL 查询功能。2） Hive 本质：将 HQL 转化成 MapReduce 程序SQL—Mapreduce（1）Hive 处理
转载
2023-07-21 16:24:13
120阅读
1、搭建环境部署节点操作系统为CentOS，防火墙和SElinux禁用，创建了一个shiyanlou用户并在系统根目录下创建/app目录，用于存放Hadoop等组件运行包。因为该目录用于安装hadoop等组件程序，用户对shiyanlou必须赋予rwx权限(一般做法是root用户在根目录下创建/app目录，并修改该目录拥有者为shiyanlou(chown –R shiyanlou:shiyanl
转载
2024-07-23 09:40:04
204阅读
用户画像系统搭建项目 Hive
在当前数据驱动的时代，用户画像系统的搭建越来越成为企业的刚需。本文将详细介绍如何搭建一个基于Hive的用户画像系统，从环境准备到扩展应用，全面覆盖整个过程。
## 环境准备
首先，我们需要确保环境的准备就绪，包括前置依赖的安装和硬件资源的评估。
### 前置依赖安装
我们需要安装以下依赖：
- Java 8
- Hadoop 2.x
- Hive 2.x
前面一路从hadoop、spark、zookeeper、kafka等集群搭建而来，大数据生态环境已经初步形成，下面要继续来搭建大数据生态中很重要的Hive集群。 一、Hive简介 Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的 SQL 查询功能，将类 SQL 语句转换为 MapReduce 任务执行。 二、环境准备 hadoop-
转载
2023-07-14 12:57:41
105阅读
目录导读Hadoop、Hive 是什么运行环境hive-env.shhive-site.xmlcore-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xmlhadoop-env.cmdJava 环境Mysql下载 Hadoop、Hive 和 驱动安装 Hadoop启动 Hadoop安装 Hive配置 Hive运行 Hive连接到 Hive导读最近一个数
转载
2024-07-22 10:43:28
37阅读
因为hive是基于hadoop的，所以一定要有hadoop的平台支撑：hadoop分布式集群搭建：http://blog.51cto.com/14048416/23414911.内嵌Derby版本:安装步骤：上传安装包：apache-hive-2.3.2-bin.tar.gz解压安装包：tar-zxvfapache-hive-2.3.2-bin.tar.gz-C/application进入进入到b
原创
2019-01-13 21:23:50
1236阅读
目录1、Hive描述2、Hive下载安装1、Hive描述Hive是什么？由facebook开源，最初用于解决海量结构化的日志数据统计问题； ETL （Extraction-Transformation-Loading ）工具 构建在Hadoop之上的数据仓库； 数据计算使用MR ，数据存储使用HDFS&nbs
转载
2024-04-19 11:09:16
53阅读
Hive hive是简历再hadoop上的数据库仓库基础架构，它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储，查询和分析存储再hadoop种的大规模数据机制，hive定义了简单的类sql查询语音，称为QL，它允许熟悉sql的用户查询数据，同时， 这个语言也允许熟悉ma
原创
2021-07-27 16:45:21
148阅读
前提条件：
下载：https://mirrors.cnnic.cn/apache/hive/
安装了hadoop集群，
1．解压缩hive的软件包，使用命令：
tar -zxvf hive-3.1.0-bin.tar.gz
**2．进入hive的配置目录. 编辑/usr/local/data/hive-3.1.0/conf/hive-site.xml **
添加配置文件：
<?xml
原创
2024-04-22 09:48:53
21阅读
目录一、删除原版本5.7MySQL二、安装5.8版本MySQL1、准备以下mysql包2、新建mysql文件夹 3、上传安装包4、rpm下载5、启动mysql服务 6、修改密码 三、配置Hive元数据保存到MySQL1、删除原版本mysql驱动2、上传新版本驱动 3、修改$HIVE_HOME/conf/hive-site.xml4、登录mqsql，创建元数据
转载
2024-02-20 13:54:48
133阅读
1、Hive基本概念1.1Hive简介Hive本质是将SQL转换为MapReduce的任务进行运算，底层由HDFS来提供数据存储，说白了hive可以理解为一个将SQL转换为MapReduce的任务的工具，甚至更近一步说hive就是一个MapReduce客户端。 为什么使用Hive?如果直接使用hadoop的话，人员学
转载
2023-07-12 21:20:42
67阅读
作者：姑婆
谈到“用户画像”，很多伙伴都不陌生，什么用户属性、用户行为张嘴就来，但是你真的弄懂了用户画像的意义与构建方法吗？用户画像有什么用？用户画像包括哪些方面？在做用户画像的时候我们应该注意些什么？今天就让姑婆来为你答疑解惑。
一、首先，咱们还是来看看用户画像的定义
用户画像是根据用户社会属性、生活习惯和消费行为等信息而抽象出的一个标签化的用
转载
2023-11-13 21:21:08
96阅读
2021SC@SDUSC 目录安装HadoopLinux虚拟机XShell和XftpJDKHadoop安装Hadoop配置安装HiveHive总体流程与任务分配 到写这篇博客为止，我己经初步装好了hadoop和hive，hive已经可以运行了，且已经有了源码，但是没有截图，只能尽量配图了。 安装Hadoophive要运行在hadoop上，那么使用hive的必要前提就是安装hadoop了。Linu
转载
2023-07-20 20:06:29
66阅读
# 查看搭建的 Hive 版本
在大数据领域中，Hive 是一个非常受欢迎的数据仓库工具，它提供了用于分析和查询大规模数据集的 SQL 接口。了解你所使用的 Hive 版本是非常重要的，因为不同版本可能会有不兼容的特性或者 bug。本文将介绍如何查看已搭建的 Hive 版本，并提供相关代码示例。
## 1. 查看 Hive 版本的命令
要查看已搭建的 Hive 版本，可以使用以下命令：
`
原创
2023-12-01 08:00:58
382阅读
一.前述Hive中搭建分为三中方式 a)内嵌Derby方式 b)Local方式 c)Remote方式 三种方式归根到底就是元数据的存储位
原创
2022-12-30 16:53:36
213阅读
环境宿主机：Windows 10 64bit虚拟机：VMware 15 pro
CentOS 7.5 64bit 3个（1个master、2个slaves）Hadoop-2.6.5jdk1.8.0_211MySQL-5.7.26Hive-1.2.2ssh工具：SecureCRT 7.3（MySQL、Hive目前都只在master节点上安装了）目录0、准备工作1、新建配置文件hive-site
转载
2023-07-12 15:42:16
143阅读
hive是什么？由facebook开源，用于解决海量结构化日志的数据统计；基于hadoop的一个数据仓库工具，使用HDFS进行存储并将结构化数据文件映射成一张表，并提供类sql查询的功能，其底层采用MR进行计算；本质是将HQL转化成MR程序。hive架构图安装前的准备Java 1.7 (preferred)Hadoop 2.x (preferred), 1.x (not supported by
转载
2023-07-20 18:53:17
82阅读
记录一下使用docker快速搭建部署hive环境
记录一下使用docker快速搭建部署hive环境目录写在前面步骤安装docker安装docker安装docker-compose配置docker国内镜像源（可选）安装git & 配置github部署Hivedocker-hive开始部署使用Hive命令行收尾工作安装vi、lrzsz关闭相关命令EN
转载
2023-07-18 18:45:35
114阅读
