查询语句基本语法：sql查询的基本结构：
select * 要查询的列
from tablename 要查询的表
join on 连接的表
where 查询条件
group by 分组查询
order by 字段排序
sort by 结果排序
limit 限制结果数
union/union all 合并表hql的执行顺序：from
on
join
where
group by
having
转载
2023-07-12 19:42:17
8阅读
一：什么是Hive（数据仓库）？ 1、Hive 由 Facebook 实现并开源 2、是基于 Hadoop 的一个数据仓库工具 3、可以将结构化的数据映射为一张数据库表 4、并提供 HQL(Hive SQL)查询功能 5、底层数据是存储在 HDFS 上 6、Hive的本质是将 SQL 语句转换为 MapReduce 任务运行 7、使不熟悉 Ma
转载
2023-07-05 21:24:26
300阅读
分类： 1）插入排序（直接插入排序、希尔排序） 2）选择排序（直接选择排序、堆排序）3）交换排序（冒泡排序、快速排序） 4）归并排序 5）分配排序（桶排序、基数排序） 所需辅助空间最多：归并排序 所需辅助空间最少：堆排序 平均速度最快：快速排序 不稳定：快速排序，希尔排序，堆排序。1、插入排序1）直接插入排序直接插入排序算法是一个对少量元素进行排序的有效算法。其工作原理与打牌时整理手中的牌的做法类
转载
2023-07-20 17:22:31
41阅读
Java排序算法：import java.util.ArrayList;
import java.util.List;
/**
* 不稳定的排序算法：选择排序、快速排序、希尔排序、堆排序
* 稳定的排序算法：冒泡排序、插入排序、归并排序、基数排序
*/
public class Sort {
public static void main(String[] args) {
int
转载
2023-09-24 19:14:43
35阅读
Hive 是什么? 1.Hive 是基于 Hadoop处理结构化数据的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类 SQL 查询功能。 2.Hive 利用 HDFS 存储数据，利用MapReduce 查询分析数据。本质是将 SQL 转换为 MapReduce 程序,比直接用 MapReduce 开发效率更高。 Hive通常是存储在关系数据库如
转载
2024-04-09 10:47:13
104阅读
喜欢的排序方法：1.选择排序
•思想：每趟从待排序的记录序列中选择关键字最小的记录放置到已排序表的最前位置，直到全部排完。
•关键问题：在剩余的待排序记录序列中找到最小关键码记录。
•方法：
–直接选择排序
–堆排序
①简单的选择排序
转载
2023-07-24 15:55:20
46阅读
作者：大数据学习与分享Apache Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供一种HQL语言进行查询，具有扩展性好、延展性好、高容错等特点，多应用于离线数仓建设。1. Hive架构<span><span ><img src="https://pic2.zhimg.com/v2-c0179a43f1f627f4
转载
2023-07-20 19:16:29
36阅读
ORC文件格式是从Hive-0.11版本开始的。关于ORC文件格式的官方文档，以及基于官方文档的翻译内容这里就不赘述了，有兴趣的可以仔细研究了解一下。本文接下来根据论文《Major Technical Advancements in Apache Hive》中的内容进行深入的研究。一、ORC文件格式 ORC的全称是(Optimized Record Columnar)，使用ORC文件格式可以提
转载
2023-09-08 10:36:55
66阅读
文件存储格式 Hive 支持的存储数据的格式主要有：TEXTFILE 行式存储、SEQUENCEFILE行式存储、ORC列式存储、PARQUET列式存储。 TextFile
格式 默认格式，数据不做压缩，磁盘开销大，数据解析开销大。 Orc 格式
(Optimized Row Columnar) 每个 Orc 文件由 1 个或多个 stripe 组成,每个 stripe 一般
转载
2023-07-13 16:26:30
59阅读
一、最小堆排序(MinHeapSort)基本原理：对于给定的n个记录，初始时把这些记录看作一颗顺序存储的二叉树，然后将其调整为一个小顶堆，然后将堆的最后一个元素与堆顶元素进行交换后，堆的最后一个元素即为最小记录；接着讲前(n-1)个元素重新调整为一个小顶堆，再将堆顶元素与当前堆的最后一个元素进行交换后得到次小的记录，重复该过程直到调整的堆中只剩一个元素时为止，该元素即为最大记录，此时可
转载
2023-07-17 22:33:12
158阅读
文章目录Java——排序算法一、概览二、复杂度三、冒泡排序N2四、选择排序N2五、插入排序N2六、希尔排序nlogn七、堆排序nlogn八、归并排序nlogn九、快速排序 Java——排序算法一、概览二、复杂度三、冒泡排序N2 两层循环，N2复杂度，外层i从头到尾，当i=1时，内层从头到尾-i，如果j大于j+1，交换j与j+1的元素，依次将最大的向后扔。class MaoPao{
public
转载
2023-08-30 15:41:07
149阅读
Java 常用排序算法/程序员必须掌握的 8大排序算法分类： 1）插入排序（直接插入排序、希尔排序）2）交换排序（冒泡排序、快速排序）3）选择排序（直接选择排序、堆排序）4）归并排序5）分配排序（基数排序）所需辅助空间最多：归并排序 所需辅助空间最少：堆排序 平均速度最快：快速排序 不稳定：快速排序，希尔排序，堆排序。 1.直接插入排序 （1）基本思想：在要排序的一组数中，假
转载
2023-07-24 16:34:08
78阅读
# 深入理解 Hive 的底层架构
Apache Hive 是一个构建于 Hadoop 之上的数据仓库工具，旨在提供对大量数据的查询和分析能力。Hive 提供了一种类似 SQL 的查询语言（HiveQL），使用户可以方便地执行复杂的数据分析任务。尽管 Hive 隐藏了许多底层复杂性，但了解其底层架构对于更加高效地使用 Hive 尤其重要。
## Hive 的底层架构概述
Hive 的底层架构
## Hive底层框架
Hive是一个基于Hadoop的数据仓库工具，它提供了一种类似于SQL的查询语言，使得开发人员可以使用类似于SQL的查询方式在Hadoop集群上进行大规模数据分析。Hive将SQL查询转换为一系列的MapReduce任务，并将结果存储在Hadoop分布式文件系统（HDFS）中。
Hive底层框架包括了以下几个组件：Metastore、解析器、编译器、优化器、执行引擎和存
原创
2023-09-08 12:22:32
117阅读
hive的库、表等数据实际是hdfs系统中的目录和文件，让开发者可以通过sql语句， 像操作关系数据库一样操作文件内容， 比如执行查询，统计，插入等操作。一直很好奇hive是如何做到这些的。通过参考网上几篇不错的文档， 有点小心得分享出来。主要的参考链接 http://tech.meituan.com/hive-sql-to-mapreduce.html http://www.
转载
2023-07-21 16:21:41
32阅读
4、Hive查询语法(DQL)SELECT [ALL | DISTINCT] select_expr, select_expr, ...
FROM table_reference
[WHERE where_condition]
[GROUP BY col_list]
[ORDER BY col_list]
[CLUSTER BY col_list
| [DISTRIBUTE BY col_list
转载
2023-08-14 12:42:05
391阅读
hive行列转换方法具体思路需要根据数据来定，常见的解决方法如下：行转列： 多行转多列1、使用case when 查询出多列即可，即可增加列。 或者 2.转成数组或者集合后 一个一个的取值 不就变成一列了 一个字段 多个取值 变成多列 多列变一列 select concat(str1,str2,str3) from 表; – concat可以带多个参数列转行: 字段 多行转一行 一行转多行1、la
转载
2023-05-27 15:06:13
629阅读
一、Hive的原理 1）Hive简介 hive是基于Hadoop的一个数据仓库工具，底层封装得的是HDFS和MapReduce可以将结构化的数据文件映射为一张数据库表，并提供sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现
转载
2023-09-08 15:08:56
204阅读
order by、sort by、distribute by、cluster by
1、全局排序（Order by） 功能：全局排序，只有1个reducer（用1个Reduce Task完成全局排序，与设置的Reduce Task个数无关）参数：ASC：升序（默认） DESC：降序使用：order by放在select语句的结尾例如： --
转载
2023-05-22 13:20:06
93阅读
一、排序算法基本概念排序算法分为内部排序和外部排序，内部排序把数据记录放在内存中进行排序，而外部排序因排序的数据量大，内存不能一次容纳全部的排序记录，所以在排序过程中需要访问外存。八大基本排序算法都是内部排序。 &nbs
转载
2024-01-08 14:08:47
119阅读
