文章目录Hive基本概念一、Hive介绍1、什么是Hive2、Hive的优缺点3、Hive的特点二、Hive架构1、架构图2、基本组成3、Hive与传统数据库对比 Hive基本概念一、Hive介绍1、什么是HiveHive是一个构建在Hadoop上的数据仓库框架。最初，Hive是由Facebook开发，后来移交由Apache软件基金会开发，并作为一个Apache开源项目。Hive是基于Hadoo
转载
2023-07-24 11:00:06
47阅读
Hadoop是一个开发和运行处理大规模数据的平台，实现在多台计算机组成的集群中对海量数据进行分布式计算。hadoop框架最核心的部分是hdfs和mapreduce。hdfs提供了海量数据的存储，mapreduce提供了对数据的计算。hadoop处理海量数据，需要hbase做数据库，hbase是面向列的分布式数据库，使用集群环境的内存做处理，但是不支持sql语句，所以操作和计算数据非常不方便，于是整
转载
2023-05-23 10:18:18
70阅读
hadoop首先当然是hadoop，不过hadoop不是一门技术，而是一个大数据框架。它的logo是一只黄色的小象，据说是这个项目的创建者用女儿的玩具命名的。经过了很多年的发展，现在hadoop框架已经非常成熟，衍生出了一个庞大的家族。有多庞大呢，我在google里给大家找了一张图，大家可以看看感受一下，这里面有多少是自己知道的，有多少没听说过。当然对于算法工程师来说，hadoop家族并不需要全部
转载
2023-07-12 11:15:43
79阅读
一、Hive基本概念1、概念
Hive：由Facebook开源用于解决海量结构化日志的数据统计。
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将HQL转化成MapReduce程序 HQL转化成MapReduce （1）Hive处理的数据存储在HDFS（2）Hive分析数据底层的实
转载
2023-08-30 19:26:13
106阅读
Hive详解一、Hive简介二、Hive总体架构hive架构图如下：Hive基本组成三、Hive特点优点缺点四、Hive基本语法1、Hive DDL语法2、Hive DML语法五、总结 一、Hive简介hive是什么？ “懒人改变世界”，这是我一直坚信的理念。并不是提倡大家偷懒，而是要有懒人的思想，要想尽一切办法来减少自己的工作量，减少重复劳动力，提高生产效率。没有hive之前，作为程序猿需要对
转载
2023-07-12 11:15:36
78阅读
文章预览：1.Hive简介2.Hive部署（前提是部署好Hadoop） 1.Hive简介1.地址 官网：http://hive.apache.org/ GitHub地址：github.com/apache/hive CDH版本：http://archive.cloudera.com/cdh5/cdh/5/ 中下载hive-1.1.0-cdh5.16.2.tar.gz 软件使用上Hadoop、Hi
转载
2023-10-03 20:05:23
32阅读
一、Hive入门1.1 Hive简介1.1.1 hive出现的原因FaceBook网站每天产生海量的结构化日志数据，为了对这些数据进行管理，并且因为机器学习的需求，产生了hive这门技术，并继续发展成为一个成功的Apache项目。1.1.2 什么是hive hive是一个构建在Hadoop上的数据仓库工具(框架)，可以将hdfs上的结构化的数据文件映射成一张数据表，并可以使用类SQ
转载
2023-09-08 13:04:41
135阅读
引入原因对存在HDFS上的文件或HBase中的表进行查询时，是要手工写一堆MapReduce代码对于统计任务，只能由懂MapReduce的程序员才能搞定 耗时耗力，更多精力没有有效的释放出来什么是HiveHive基于一个统一的查询分析层，通过SQL语句的方式对HDFS上的数据进行询、统计和分析 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查
转载
2023-07-09 12:13:30
68阅读
一、单机模式下Hadoop的安装1.1在VMware虚拟机中安装Ubuntu18操作系统（此处提前完成） 1.2Java安装首先使用sudo su进入root权限，再分别执行： apt-get install openjdk-8-jre apt-get install openjdk-8-jdk安装Java，安装openjdk-8-j
转载
2023-09-01 08:27:48
69阅读
场景 在一个由XCloud150、XCloud151、XCloud152、XCloud153、XCloud154 ,合计5台服务器搭建的hadoop生态圈中，部署Hive。1、简介 Hive：计算框架，本质是将HQL转化为MapReduce程序，是一个
一、Hive的简介和配置 1.简介 Hive是构建在Hadoop之上的数据操作平台l Hive是一个SQL解析引擎，它将SQL转译成MapReduce作业，并在Hadoop上运行Hive表是HDFS的一个文件目录，一个表名对应一个目录名，如果存在分区表的话，则分区值对应子目录名。 2.Hive的体系结构 Hive作为Hadoop的数据仓库处理工具，它所有的数据都存储在Ha
转载
2023-11-22 19:35:06
114阅读
安装部署 Hive主要步骤 :解压并安装 Hive 安装配置 MySQL 配置 Hive 启动 Hive 验证 Hive 环境1.安装部署 Hive该部分的安装需要在 Hadoop 已经成功安装的基础上,并且要求 Hadoop 已经正常启动。 Hadoop 正常启动的验证过程如下： (1)使用下面的命令，看可否正常显示 HDFS 上的目录列表hdfs dfs -ls /(2)使用谷歌浏览器查看相应
转载
2023-11-18 23:20:28
464阅读
用到的安装包有：apache-hive-1.2.1-bin.tar.gzmysql-connector-java-5.1.49.tar.gz 百度网盘链接：链接：https://pan.baidu.com/s/1VU9rBPm9c_LE3llqvp8qZw提取码：zjhz 前提条件 ：搭建好Hadoop集群 建议：初学者初步安装看多看一下文中的建议。一．MySQL安装
转载
2023-06-30 14:36:54
209阅读
Hive3.1.2的搭建Hive3.1.2的搭建 文章目录Hive3.1.2的搭建一、安装Hive（一）、解压`apache-hive-3.1.2-bin.tar.gz`(二)、将`apache-hive-3.1.2-bin` 名字改为hive（三）、添加环境变量二、安装MySQL——元数据存储（一）、`mysql-connector-java-5.1.12.jar`移动到`$HIVE_HOME/
转载
2023-07-14 11:32:25
267阅读
1.准备hive安装包自行按照1.1教程提示下载hive的安装包1.1 下载hive下载地址 打开下载地址后，如下图点击apache-hive-1.2.2-bin.tar.gz 下载1.2 上传hvie安装包基于我们之前的环境安装情况已经可以了解到我们已经在node1上部署了namenode，resourcemanager，secondarynamenode等比较重要的进程；node3上呢我们已经
转载
2023-07-04 13:09:56
323阅读
Hive目前底层还是用MapReduce，以后可能会用Spark,Tez。Hive差不多是一个查询接口，你的SQL语句还是会翻译成MapReduce任务的，你用explain就可以看到这些任务的执行计划。下面介绍下hive的基础安装过程以及简单的使用。环境信息：虚拟机数量：3台
操作系统：Ubuntu 14.04
实验环境及版本：
Hadoop：Hadoop 2.2.0
Java：java ver
转载
2023-07-24 10:59:56
104阅读
Hive的安装部署以及使用方式安装部署Derby版hive直接使用cd /export/softwares将上传的hive软件包解压：tar -zxvf hive-1.1.0-cdh5.14.0.tar.gz -C ../servers/cd /export/servers/hive-1.1.0-cdh5.14.0/启动：bin/hive缺点：多个地方安装hive后，每一个hive是拥有一套自己的
转载
2024-06-05 15:36:02
29阅读
Hive介绍Hadoop开发存在的问题只能用java语言开发，如果是c语言或其他语言的程序员用Hadoop，存 在语言门槛。 需要对Hadoop底层原理，api比较了解才能做开发。Hive概述Hive是基于Hadoop的一个数据仓库工具。可以将结构化的数据文件映射为 一张表，并提供完整的sql查询功能，可以将 sql语句转换为 MapReduce任 务进行运行。其优点是学习成本低，可以通过类 SQ
转载
2023-07-13 16:35:38
114阅读
Hadoop平台的搭建流程之单机/伪分布配置所需工具：VMware Workstation / Virtual Box 虚拟机; Hadoop安装文件；实验环境：Ubuntu 32位或64位系统 / CentOS系统；ps:该实验教程采用Ubuntu 64位系统进行讲解。 Ubuntu安装系统：请参考http://dblab.xmu.edu.cn/blog/337-2/ 如果使用CentO
转载
2024-02-05 15:03:47
55阅读
2014-3-10【需求】接受的工作需要处理海量数据，第一步先用工具做一些运营数据的产出，考虑采用hadoop方便以后跟随数据量变大可以补充机器，而不用动统计逻辑。当前的hadoop社区非常活跃，hadoop周边工具不断出新，以下是部分热门工具的初步了解：数据存储 hadoop，包含hdfs和mapreduce hbase，支持大表，需要zk zookeeper，分布式集群管理，简称zk数据传输
转载
2024-06-21 06:26:32
37阅读
