一、前言什么是hive？Hive 数据仓库工具，可以把hadoop下原始结构化数据变成hive中表看成sql->Map-Reduce的映射器，提供shell，jdbc/odbc接口他为数据仓库的管理提供了多功能：数据ETL工具，数据存储管理和大型数据集查询和分析能力二、Hive 数据存储hive 的数据存储建立在hadoop 的hdfs 基础上,hive 的每个对应的分区对应 的数据库中的相
转载
2024-05-16 21:40:58
64阅读
Hive介绍Hive环境搭建Hive实现wordcount Hive介绍产生背景MapReduce编程的不便性 HDFS上的文件缺少Schema，无法使用SQL方式查询What?Facebook于2007年开源，最初用于解决海量结构化的日志数据统计问题 是一个构建在Hadoop之上的数据仓库 定义了一种类SQL查询语言：HQL 通常用于进行离线数据处理 底层支持多种不同的执行引擎（MR
转载
2024-09-09 17:26:23
98阅读
hive是一个数据仓库工具，建立在hadoop之上，它的存在是为了让大数据的查询和分析更加的方便。hive提供简单的sql查询功能，并最终转换为mapreduce任务执行。一、环境JDK1.8+官方推荐新版JDK，否则可能存在不同版本不兼容问题hadoop采用2.0+版本，否则hive2.0+将不支持hadoop1.0+Linux环境和window皆可作为生产环境，但是macos的话一般作为开发环
转载
2024-04-11 20:46:38
198阅读
互联网大数据框架介绍（二）Hive，HBase继续上一节的hadoop，HDFS，yarn，MapReduce。这节继续想下讲，将数据仓库Hive，和大数据的数据库HBaseHive首先，我们要明确什么是Hive，Hive是构建于Hadoop的HDFS和MapReduce上，的用于管理和查询结构化/非结构化数据的数据仓库。Hive分别有三个部分组成： 1）使用HQL作为查询接口 2）使用HDF
转载
2023-09-18 19:08:59
69阅读
Hive1.Hive入门1.1 什么是Hive？1） hive 简介2） Hive 本质1.2 Hive 的优缺点1.2.1 优点1.2.2 缺点1.3 Hive的架构1.4 Hive的运行机制1.5 Hive 和数据库比较1.5.1 查询语言1.5.2 数据更新1.5.3 执行延迟1.5.4 数据规模2.Hive的安装2.1 Hive 安装地址2.2Hive 安装部署2.2.1 安装 Hive
Hadoop简介Hadoop是一个开源框架来存储和处理大型数据在分布式环境中。包含两个模块，一个是MapReduce，另一个是Hadoop分布式文件系统（HDFS）。MapReduce：是一种并行编程模型，在大型集群普通硬件可用于处理大型结构化，半结构化和非结构化数据。HDFS：Hadoop分布式文件系统是Hadoop框架的一部分，用于存储和处理数据集。提供了一个容错文件系统在普通硬件上运行。Ha
1. 准备工作1) 版本选择Hadoop+Hbase+Hive一般设计大数据业务的必选组件，首先选择兼容的组件进行搭建至关重要，环境搭建好不会轻易的换版本，选择一个兼容性强，稳定的版本。本文选择组件hadoop2.6.0,Hbase0.96.2,Hive1.13.1,现阶段此种组合算是比较新的。0.98.8版本兼容性不好，以至于遗弃而选择0.96.2.软件官方下载地址：http
转载
2024-02-29 10:32:49
1398阅读
今天在开发过程中发现老师给的一个spark实验中大量用到了hive，甚至不用spark也可以完成，于是我就对这两个东西之间的关系去查了一些资料，在这里汇总下大数据本身是个很宽泛的概念，Hadoop生态圈（或者泛生态圈）基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆，各有各的用处，互相之间又有重合。你可以用汤锅直接当碗吃饭喝汤，你可以用小刀或者刨
转载
2023-07-14 19:57:53
13阅读
最近看了某大神的博客，非常详细地描述了关于Hadoop 1.x与Hadoop 2.x的区别和改进，博客原文链接如下：看了博客之后，自己简单总结概述了一下两者之间的区别，与Hadoop 1.x相比，Hadoop 2.x的改进主要在以下两个方面：（1）HDFS的改进HDFS的NameNode可以以集群的方式布署，增强了NameNodes的水平扩展能力和高可用性，分别体现在HDFS Federatio
===文章采用Google Translator=====Google翻译：建议先看原文。在这个例子中，我们将探讨Apache Zookeeper，从简介开始，然后是设置Zookeeper并使其运行的步骤。1.介绍Apache Zookeeper是分布式系统的构建块。当设计分布式系统时，总是需要开发和部署可以通过集群协调的东西。这是Zookeeper进入图片。它是一个由Apache维护的开源项目，
Hive基础背景：我们在学习一门知识时需要先了解其背景。在过去的时间中传统的Hadoop构架在时代的检验中学者们也逐渐发现其中存在的一些问题。MapReduce编程的不便Hadoop中的MapReduce计算模型虽然能将计算任务切分成多个小单元，发布到各个节点去运行，从而降低计算机成本并提高扩展性，但使用MapReduce进行数据处理必须掌握Java编程，门槛比较高。HDFS没有Schema，不能
转载
2024-09-24 07:03:41
33阅读
# Apache Hive与Apache Hadoop版本兼容性分析
在大数据生态系统中，Apache Hive和Apache Hadoop是两个重要的组成部分。Hive为Hadoop提供了一个数据仓库的框架，使得用户可以通过SQL-like的查询语言（HiveQL）来访问和操作存储在Hadoop中的数据。然而，不同版本的Hive与Hadoop之间的兼容性问题常常令开发者感到困惑。本文将针对Hi
数据仓库和Hive的基本概念数据仓库概述数据仓库英文全称为 Data Warehouse，一般简称为DW。主要目的是构建面向分析的集成化数据环境，主要职责是对仓库中的数据进行分析，支持我们做决策。主要特征面向主题（Subject-Oriented）：数据分析有一定的范围，需要选取一定的主题进行分析。集成性（Integrated）：集成各个其他方面关联的数据，比如分析订单购买人的情况，就涉及到用户信
转载
2024-06-01 20:25:20
18阅读
hadoop、hive、hbase的区别最近开始自学大数据，肯定免不了hadoop、hive、hbase这些东西。此处把自己对这3个的理解记录一下：1、hadoop：它是一个分布式计算+分布式文件系统，前者其实就是MapReduce，后者是HDFS。后者可以独立运行，前者可以选择性使用，也可以不使用2、hive：通俗的说是一个数据仓库，仓库中的数据是被hdfs管理的数据文件，它支持类似sql语句的
转载
2023-08-16 18:29:20
90阅读
一、hive相关知识复习复习一下hadoop的数据仓库hive，它的元数据存储在第三方数据库中，实际数据存储在hadoop的hdfs上，所以hive不能脱离hadoop与第三方数据库单独存在，我们前面已经安装好了hadoop2.7.3版本，只要安装一个第三方数据库即可满足hive安装的依赖环境，这里我选择安装的是mysql5.5.46，hive选择安装的是1.2.1版本。hive将结构化的数据文件
转载
2023-08-06 23:28:18
1154阅读
本文将介绍“数据计算”环节中常用的三种分布式计算组件——Hadoop、Storm以及Spark。 当前的高性能PC机、中型机等机器在处理海量数据时，其计算能力、内存容量等指标都远远无法达到要求。在大数据时代，工程师采用廉价的PC机组成分布式集群，以集群协作的方式完成海量数据的处理，从而解决单台机器在计算与存储上的瓶颈。Hadoop、Storm以及Spark是常用的分布式计算组件，其中Had
转载
2024-07-08 17:40:35
27阅读
sqoop数据迁移1、简介 sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。 导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统； 导出数据：从Hadoop的文件系统中导出数据到关系数据库2、工作机制 将导入或导出命令翻译成mapreduce程序来实现 在翻译出的mapreduce中主要是
转载
2023-07-12 15:26:44
250阅读
# Spark与Hive的兼容版本实现流程
## 1. 背景介绍
Spark是一种快速且通用的集群计算系统，可以用于大规模数据处理。Hive是基于Hadoop的数据仓库基础设施，提供了类似于SQL的查询语言来查询和分析数据。为了在Spark中使用Hive的元数据和查询功能，需要确保Spark与Hive的兼容版本。
## 2. 实现流程
下面是实现“Spark与Hive的兼容版本”的流程：
|
原创
2023-12-11 10:18:42
509阅读
云原生大数据组件研究（Hive+Hadoop）前言网上的找的文档大多残缺不靠谱，所以我整理了一份安装最新版本的hive4..0.0+hadoop3.3.4的学习环境，可以提供大家安装一个完整的hive+hadoop的环境供学习。由于在公司担任大数据的培训工作后续还会更新一些基础的文章,希望能帮助到大家。
一、安装Hadoop3.3.4
前置：集群规划机器信息Hostnamek8s-master
转载
2023-08-16 21:22:02
481阅读
什么是ETL：即extract：提取transform：转换load：加载ETL其实是数据清洗后的数据 什么是数据中台：从抽取数据开始，到最终用户看到，这一系列过程都是数据中台；指的是一套数据应用和工具，包括分布式ETL、数据资产管理、数据标签管理、数据沙箱、自助分析平台、元数据管理、数据质量管理等等，底层则已现有的数仓、大数据平台等为数据源，为企业提供数据资产管理的能力，并持续挖掘数据
转载
2023-07-11 22:42:02
204阅读
