基本概念MyBatis 流式查询接口但构建 Cursor 的过程不简单方案一：SqlSessionFactory方案二：TransactionTemplate方案三：@Transactional 注解基本概念流式查询 指的是查询成功后不是返回一个集合而是返回一个迭代器，应用每次从迭代器取一条查询结果。流式查询的好处是能够降低内存使用。如果没有流式查询，我们想要从数据库取 1000 万条记录而又没有
contentImpala简介Impala系统架构Impala核心组件Impala查询执行过程Impala的优缺点Impala与Hive的比较 Impala简介Impala是由Cloudera公司开发的新型查询系统Imapla提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据Impala基于MPP （Massively Parall
转载
2023-07-12 13:25:31
85阅读
在《第二篇|Spark Core编程指南》一文中，对Spark的核心模块进行了讲解。本文将讨论Spark的另外一个重要模块--Spark SQL，Spark SQL是在Shark的基础之上构建的，于2014年5月发布。从名称上可以看出，该模块是Spark提供的关系型操作API，实现了SQL-on-Spark的功能。对于一些熟悉SQL的用户，可以直接使用SQL在Spark上进行复杂的数
## 实现Java流式读Hive的步骤
为了帮助你理解如何实现Java流式读Hive，我将为你展示整个流程，并提供每一步需要做的事情以及需要使用的代码。
### 步骤概览
下面的表格展示了实现Java流式读Hive的步骤以及每个步骤需要做的事情：
| 步骤 | 描述 |
| ---- | ---- |
| 步骤1 | 创建Hive连接 |
| 步骤2 | 创建一个执行Hive查询的会话 |
原创
2023-10-14 08:26:45
129阅读
创建表并加载数据hive>create table UserTest(
user_id string,
card_id string,
type string,
`timestamp` bigint
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';
hive>load data local
转载
2023-07-12 13:25:26
287阅读
「有状态的流式处理」概念解析1. 传统批处理 传统批处理方法是持续收取数据，以时间作为划分多个批次的依据，再周期性地执行批次运算。 但假设需要计算每小时出现事件转换的次数，如果事件转换跨越了所定义的时间划分，传统批处理会将中间运算结果带到下一个批次进行计算；除此之外，当出现接收到的事件顺序颠倒情况下，传统批处理仍会将中间状态带到下一批次的运算结果中，这种处理方式也不尽如人意。2. 理想方法 第一点
转载
2023-12-25 12:39:19
121阅读
一、概述storm最大的特点是快，它的实时性非常好（毫秒级延迟）。为了低延迟它牺牲了高吞吐，并且不能保证exactly once语义。在低延迟和高吞吐的流处理中，维持良好的容错是非常困难的，但为了得到有保障的准确状态，人们想到一种替代方法：将连续时间中的流数据分割成一系列微小的批量作业（微批次处理）。如果分割得足够小，计算几乎可以实现真正的流处理。因为存在延迟，所以不可能做到完全实时，但是每个简单
转载
2023-08-03 19:02:45
87阅读
在进行多事务，并发读写的管理时，Mysql的InnoDB引擎采用的是Multiversion Concurrency Control机制，MVCC机制也被其他数据库所采用。每种引擎实现MVCC机制的具体细节不同，但大体思想类似。因此了解其思想，结合场景去应用。 1、MVCC机制是行级锁的一种妥协，多线程事务读取时，避免使用锁，而是采用一种更小的开销，允许非阻塞读取，
转载
2024-09-21 13:38:12
13阅读
# 使用 Presto 查询 Hive 数据的完整指南
在大数据处理和分析中，Hive 作为一种数据仓库工具，广泛应用于存储和查询海量数据。而 Presto 则是一种高性能的分布式 SQL 查询引擎，能够实时分析数据。将 Presto 和 Hive 结合使用，能够让我们更高效地进行数据查询。接下来，我们将探讨如何使用 Presto 查询 Hive 数据，并提供相关的代码示例、流程图以及数据可视化
# 如何实现“hive 查参数”
## 一、流程
下面是实现“hive 查参数”的整个流程，可以用表格展示步骤：
| 步骤 | 操作 |
| ------ | -------------- |
| Step 1 | 登录hive终端 |
| Step 2 | 查看hive参数 |
## 二、步骤及代码
### Step 1：登录hive终端
首先需要打开终端并登录到
原创
2024-05-16 05:46:18
9阅读
## 查hive版本的流程
| 步骤 | 操作 |
| ------ | ------ |
| 步骤一 | 连接到Hive |
| 步骤二 | 查看Hive版本 |
### 步骤一：连接到Hive
在开始查看Hive版本之前，我们首先需要连接到Hive。以下是连接到Hive的代码示例：
```python
from pyhive import hive
# 创建Hive连接
conn =
原创
2023-09-29 17:23:05
82阅读
我们知道，HBase 为我们提供了 hbase-mapreduce 工程包含了读取 HBase 表的 InputFormat、OutputFormat 等类。这个工程的描述如下：This module contains implementations of InputFormat, OutputFormat, Mapper, Reducer, etc which are needed
一、hive介绍
------------------------------------------
1.在hadoop上处理结构化数据的一种数据仓库 2.用于总结，查询和分析大数据
3.不是关系型数据库，不适用在线事务处理OLTP，不支持实时查询和行级更新
4.运行在hadoop上
二、hive特点
----------------------------
转载
2024-05-17 10:56:45
37阅读
1. 絮絮叨叨Apache ORC官网，把ORC文件的结构讲的那么精妙，甚至让人云里雾里如果不借助工具查看ORC文件的元数据或者阅读源码，你可能无法在脑海中形成ORC文件结构本文将基于一张前10列加密、后10列不加密的Hive表test.tmp_hgs_orc_xxx，介绍如何查看ORC文件的元数据，以帮助大家更好地理解ORC文件的存储结构很多方式都可以查看ORC文件的元数据，本文将介绍hive命
转载
2024-01-18 14:30:28
136阅读
# 用Flink实现流式写入Hive避免小文件问题
在大数据领域中，很多时候需要将流数据实时写入Hive表中进行持久化存储。然而，由于流数据的实时性和Hive表的分区结构，很容易导致小文件问题，影响查询性能和存储效率。为了解决这一问题，可以使用Apache Flink来实现流式写入Hive，并采用合并小文件的策略，从而提高系统的性能和稳定性。
## 为什么会出现小文件问题
在传统的数据处理过
原创
2024-03-09 05:29:21
453阅读
## Hive查某月天数的方法
在Hive中，有时我们需要根据月份来获取该月的天数。这在进行一些日期相关的计算时非常有用。下面将介绍如何使用Hive来查找某个月份的天数。
### 方法一：使用Hive内置函数
Hive提供了一些内置函数来处理日期和时间相关的操作。其中，函数`last_day()`可以用来获取某个日期对应月份的最后一天。通过获取某月最后一天的日期，我们可以计算出该月的天数。
原创
2024-06-01 05:05:27
262阅读
# 查hive的用户
Hive是一种基于Hadoop的数据仓库工具，它提供了类似SQL的查询语言，允许用户通过HiveQL来查询和分析大规模的数据。在使用Hive的过程中，需要对用户进行管理和控制，以确保数据的安全性和可靠性。本文将介绍如何在Hive中查看用户信息，并通过代码示例演示具体操作。
## 查看用户信息
在Hive中，可以通过`SHOW ALL USERS;`命令来查看所有用户的信
原创
2024-06-10 04:02:22
61阅读
# 使用Hive SQL实现分页查询
在日常的数据分析工作中，经常会遇到需要对大量数据进行分页展示的情况。而对于使用Hive SQL进行数据处理的用户来说，如何实现分页查询是一个常见的需求。本文将介绍如何使用Hive SQL来实现分页查询，并通过代码示例来演示具体的操作步骤。
## 什么是Hive SQL
Hive是一个建立在Hadoop之上的数据仓库工具，它提供了类似于SQL的查询语言Hi
原创
2024-06-26 03:37:51
132阅读
# Hive 怎么查 null
## 简介
在 Hive 中，我们经常需要对数据进行查询和分析。有时候我们需要查找数据中的空值（null），以便进行进一步的处理。本文将介绍在 Hive 中如何查询空值以及如何处理空值的示例代码。
## 查询空值
在 Hive 中，可以使用 `IS NULL` 和 `IS NOT NULL` 来查询空值。下面是一个示例代码，演示如何在 Hive 中查询空值：
原创
2024-01-16 09:32:13
131阅读
# 项目方案：用Shell查询Hive数据
## 背景介绍
在大数据领域，Apache Hive 是一个基于 Hadoop 的数据仓库工具，它提供了数据摘要、查询和分析功能。通常，数据科学家和分析人员需要通过 Hive 从大数据中提取关键信息。如果能够通过 Shell 脚本自动化这一过程，将极大提高工作效率。因此，本项目旨在实现一个基于 Shell 的 Hive 查询自动化方案，帮助用户高效地
