1.hive的简介：
hive不是分布式，只是hadoop的一个客户端工具，是大数据行业中数据仓库建设的工具之一。
hive是基于hadoop的。hive是以表的形式存在，存储是放在hdfs上，计算用的是MapReduce，调度用的是yarn,查询语言用的是hive-sql.
sql解析器：试用mysql的驱动。
在查询的时候，将sql语言解析成mapreduce任务进行执行。
hive
转载
2023-07-12 22:31:29
35阅读
我们通过hive shell去操作hive，本文我们以Java代码的示例去对hive执行加载数据和查询数据来演示JavaAPI如何通过JDBC来操作hive的一、依赖 由于hive的服务端基于1.2.2版本，所以这里采用jdbc1.2.2，否则你可能报一些奇怪的错误（下载依赖需要一点时间）<dependency>
<groupId>
转载
2023-07-05 15:39:16
96阅读
Hive提供了jdbc驱动，使得我们可以用java代码来连接Hive并进行一些类关系型数据库的sql语句查询等操作。首先，我们必须将Hive的服务，也就是HiveServe打开。在Hive 0.11.0版本前，只有HiveServer服务可用，但是HiveServer本身存在很多问题（比如：安全性、并发性等）；针对这些问题，Hive-0.11.0版本后提供了一
转载
2023-07-21 16:51:49
64阅读
在之前的学习和实践Hive中，使用的都是CLI或者hive –e的方式，该方式仅允许使用HiveQL执行查询、更新等操作，并且该方式比较笨拙单一。幸好Hive提供了轻客户端的实现，通过HiveServer或者HiveServer2，客户端可以在不启动CLI的情况下对Hive中的数据进行操作，两者都允许远程客户端使用多种编程语言如Java、Python向Hive提交请求，取回结果。HiveServe
转载
2024-01-27 16:27:21
237阅读
一、java操作hive1、启动服务:hiveserver2，让hive开启与外部连接的服务nohup hiveserver2 1>/dev/null 2>/dev/null &2、加入hive的依赖包 <dependency>
<groupId>org.apache.hive</groupId>
转载
2023-06-27 07:44:32
249阅读
一、Fetch抓取Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT * FROM EMP;在这种情况下，Hive可以简单地读取EMP对应的存储目录下的文件，然后输出查询结果到控制台。在hive-default.xml.template文件中hive.fetch.task.conversion默认是more，老版本Hive默认是minimal，该属
转载
2024-09-21 14:34:29
25阅读
秦子帅
明确目标，每天进步一点点.....
作者 | 前行的乌龟
前言Flutter 以 Widget 数量多著称，所以 Flutter 中的动画 API 那是一个多啊，我觉得有必要梳理一下，大家看的舒服一些。本文不是详细介绍 API，而是帮大家顺利以下其中脉络，给大家归归类，细数都有具体的 API，详细的我有专门的文章去介绍，大家点链接看我
转载
2023-07-28 17:22:46
117阅读
jdbc远程连接hiveserver22016-04-26 15:59 本站整理 浏览(425) 在之前的学习和实践Hive中，使用的都是CLI或者hive –e的方式，该方式仅允许使用HiveQL执行查询、更新等操作，并且该方式比较笨拙单一。幸好Hive提供了轻客户端的实现，通过HiveServer或者HiveServer2，客户端可以在不启动CLI的情
转载
2023-12-25 12:53:27
124阅读
# 使用Java API创建Hive表
## 引言
作为一名经验丰富的开发者，要教会一位刚入行的小白如何使用Java API创建Hive表，我们需要先了解整个流程，并提供每个步骤所需的代码和解释。
## 流程
下表展示了使用Java API创建Hive表的整个流程：
| 步骤 | 描述 |
| --- | --- |
| 步骤1 | 创建Hive表的连接 |
| 步骤2 | 创建Hive表
原创
2023-12-01 13:41:56
150阅读
# 使用 SQLAlchemy 连接 Hive 的指南
在大数据时代，Hive 是一个广泛使用的数据仓库系统，它允许用户使用类 SQL 语言（HiveQL）来查询存储在分布式存储中的大规模数据。为了方便开发人员与 Hive 进行交互，SQLAlchemy 提供了一个简单易用的接口，允许我们以 Python 的方式操作 Hive 数据。
## 什么是 SQLAlchemy？
SQLAlchem
原创
2024-09-11 06:26:38
81阅读
1.Hive简介1.1什么是HiveHive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能（HQL）。其本质是将SQL转换为MapReduce的任务进行运算，底层由HDFS来提供数据的存储，说白了hive可以理解为一个将SQL转换为MapReduce的任务的工具，甚至更进一步可以说hive就是一个MapReduce的客户端。1.2为什么使用H
转载
2023-09-04 15:57:32
2阅读
Hive的Java API1、基于JDBC的方式（推荐）(*) 使用的驱动private static String driver = "org.apache.hive.jdbc.HiveDriver";(*) 启动HIve的serverhiveserver2 & ----> 表示后台启动(*) 错误Caused by: java.lang.RuntimeException: org
转载
2023-07-27 20:43:36
104阅读
目录1 概述2 Hive元数据表结构1、存储Hive版本的元数据表(VERSION)2、Hive数据库相关的元数据表(DBS、DATABASE_PARAMS)3、Hive表和视图相关的元数据表 4、Hive文件存储信息相关的元数据表 5、Hive表字段相关的元数据表 6、Hive表分分区相关的元数据表3、获取所有的库+表+字段名+分区名1 概述本文我们介绍Hive的原
转载
2023-06-16 22:53:03
280阅读
1，前言书接上回，接着对上一个hive安装后环境下的hive使用。
转载
2023-06-14 21:50:09
73阅读
# 如何实现 Hive OrcDump API
在大数据处理的过程中，会有各种各样的数据格式需要处理。使用 Hive 管理数据是其中之一，而 Orc 数据存储格式则是常用的列式存储格式。当我们需要从 Hive 中导出 ORC 格式的数据时，`orcdump` API 提供了方便的方法。本文将指导你如何实现 Hive 的 OrcDump API，适合刚入行的小白进行参考和学习。
## 流程概述
原创
2024-08-24 03:41:05
29阅读
文章目录1. 前言2. HDFS中的主要涉及到的类2.1 Configuration类2.2 FileSystem类2.3 FSDataInputStream和FSDataOutputStream3. 可能出现的BUG提前说3.1 not supported in state standby3.2 hadoop:supergroup:drwxr-xr-x3.3 nativeComputeChun
转载
2023-07-03 20:26:02
155阅读
Orc是Hive特有的一种列式存储的文件格式，它有着非常高的压缩比和读取效率，因此很快取代了之前的RCFile，成为Hive中非常常用的一种文件格式。在实际业务场景中，可能需要使用Java API，或者MapReduce读写Orc文件。本文先介绍使用Java API读取Hive Orc文件。在Hive中已有一张Orc格式存储的表lxw1234:该表有四个字段：url
转载
2022-06-17 09:25:09
1009阅读
# 如何用 Java 调用 Hive 建表的实现
在大数据处理的环境中，Hive 是一个非常重要的框架，它允许用户使用类似 SQL 的语言对大数据进行查询。通过 Java API 调用 Hive，您可以动态地创建表、插入数据以及管理元数据。本文，将带领您逐步学习如何用 Java API 调用 Hive 创建数据库表。
## 整体流程
在开始之前，我们先来了解一下整个流程，以下是一份简洁的步骤
下面的代码将三行数据：张三,20李四,22王五,30
转载
2022-06-18 00:50:34
581阅读
Hive的用处，就是把hdfs里的文件建立映射转化成数据库的表但hive里的sql语句都是转化成了mapruduce来对hdfs里的数据进行处理，并不是真正的在数据库里进行了操作。而那些表的定义则是储存在了mysql数据库中，他只是记录相应表的定义所以你的集群中要有一台机器装了mysql装hive，装到哪都行然后解压tar –zxvf xxxxx –C apps然后进入到这个目录里下的conf里创
转载
2024-06-12 00:21:26
32阅读
