1.基本查询语法1. * 代表所有
select * from ....... 查询出了所有字段
2. distinct 去重查询 关键字在字段名字的前面
select distinct department from teacher;
3. between ... and ... 在什么之间 >.. and ... < 在什么.
转载
2023-07-12 13:58:06
39阅读
## 用Flink代替Hive进行数据处理的探索
### 背景介绍
在大数据处理领域，Hive一直是一种非常流行的工具，用于对大规模数据进行查询和分析。但是随着数据量的不断增加和数据处理需求的提升，Hive在一些场景下已经显得力不从心。因此，一些公司开始尝试使用Flink代替Hive进行数据处理，以满足更高效率和更快速的处理需求。
### Flink简介
Apache Flink是一个流式
原创
2024-03-05 06:41:26
79阅读
1.Hadoop 和 Hive 都是用 UTF-8 编码的，所以, 所有中文必须是 UTF-8 编码, 才能正常使用 备注：中文数据 load 到表里面, 如果字符集不同，很有可能全是乱码需要做转码的, 但是 hive 本身没有函数来做这个2.hive.exec.compress.output 这个参数, 默认是 false，但是很多时候貌似要单独显式设置一遍否则会对结果做压缩的，如果你的这个文件
转载
2023-10-18 09:12:37
73阅读
修改hive配置案例讲解引入相关的pom构造hive catalog创建hive表将流数据插入hive，遇到的坑问题详解修改方案修改hive配置上一篇介绍了使用sql将流式数据写入文件系统，这次我们来介绍下使用sql将文件写入hive,对于如果想写入已经存在的hive表，则至少需要添加以下两个属性. 写入hive底层还是和写入文件系统一样的，所以对于其他具体的配置参考上一篇.alter
转载
2023-08-24 08:40:05
121阅读
首先介绍一下ping 指令的基本过程：（这部分摘自网络）我们以下面一个网络为例：有A、B、C、D四台机子，一台路由RA，子网掩码均为255.255.255.0，默认路由为192.168.0.1 1.在同一网段内在主机A上运行“Ping 192.168.0.5”后，都发生了些什么呢？ （1）首先，Ping命令会构建一个固定格式的ICMP请求数据包，//构建ICMP的数
## 替代to_char的MySQL函数
在MySQL中，to_char函数在Oracle中非常常见，用于将日期和数值类型数据转换为字符串类型。然而，在MySQL中，并没有提供to_char函数。那么在MySQL中，我们该如何代替to_char函数呢？本文将介绍如何使用MySQL的date_format和cast函数来实现类似to_char的功能。
### date_format函数
在My
原创
2024-05-03 03:40:59
705阅读
查询（二）Join语句一、等值JoinHive支持通常的SQL JOIN语句，但是只支持等值连接，不支持非等值连接。案例实操：根据员工表和部门表中的部门编号相等，查询员工编号、员工名称和部门编号；hive (default)> select e.empno, e.ename, d.deptno, d.dname from emp e join dept d on&nbs
转载
2024-04-24 14:25:24
51阅读
为了应对大数据处理不断增长的需求，轻量化 Hive 的代替方案正在成为数据工程领域的重要趋势。在这个过程中，我们面临着诸多初始技术痛点。随着以 Hive 为核心的数据分析架构逐渐显露出性能瓶颈和资源浪费等问题，亟需寻找更加高效灵活的解决方案。
#### 初始技术痛点
对数据处理的需求不断增长，但 Hive 的性能和资源占用却成为瓶颈。以下是当前技术债务的分布，基于四象限图可见，许多问题集中在性
# Hive优化：用`map`代替`join`
在数据处理和分析的世界中，Hive作为一种数据仓库基础设施，常用于在Hadoop上执行SQL查询。尽管`JOIN`操作在数据整合中非常常见，但在处理大规模数据集时，`JOIN`也可能成为性能瓶颈。本文将探讨如何使用`map`操作作为`JOIN`的替代方案，以优化Hive查询效率。
## 何为JOIN操作？
`JOIN`是将两个或多个表的数据通过
原创
2024-10-10 06:27:50
48阅读
注：MaxCompute原名ODPS，是阿里云自研的大数据计算平台，文中出现的MaxCompute与ODPS都指代同一平台，不做区分什么是HiveHive是一款经典的hadoop技术栈的数仓软件，可以让用户采用SQL来完成大数据量的计算分析。如果你对Hive还不熟悉，请移步Apache Hive官网获取进一步了解。MaxCompute在很多功能上与Hive相近，所以大部分MaxCompute的用户
转载
2024-08-14 21:46:44
38阅读
背景Elasticsearch是一个强大的分布式全文检索和数据分析引擎，也是日志分析系统经常使用的一种实现方案，但近年来随着ClickHouse的发展，Elasticsearch在日志分析领域的地位逐渐被取代，许多公司已经将自己的日志分析解决方案从ES迁移到了ClickHouse，比如阿里、bilibili、快手等公司，公司内部有一些团队的数据分析业务也从ES迁移到了ClickHouse。为什么C
转载
2023-09-27 09:01:22
387阅读
# 替代Hive中collect_list函数的使用方法
在Hive中，collect_list函数用于将分组后的数据合并为一个数组，并返回一个包含所有值的列表。然而，有时候我们可能需要在其他环境或使用其他工具时代替这个函数。本文将介绍一些替代方法，用于在没有Hive环境或不想使用Hive的情况下实现相同的功能。
## 使用Python中的pandas库
在Python中，我们可以使用pan
原创
2024-05-17 06:45:56
169阅读
今天看了一篇文章,讲述了使用in在某些情况下的缺陷,然后作者通过union生成临时表解决了这个问题,感觉这个优化特别好,和大家分享一下由于分库分表的原因，和开发规定了不能使用 表表JOIN 语句。因此，我们要将 JOIN 语句的转化成使用 IN 来做。如现在有 表 A(a_id, c_a)c_a有普通索引,表 B(b_id, c_a) 这两个表要关联, 应该转化为以下步骤处理:先查询B中的 a_i
转载
2023-07-01 13:57:11
141阅读
# Hive里的Map在PostgreSQL里是什么？
作为一名经验丰富的开发者，我将教你如何在PostgreSQL中实现Hive里的Map数据类型。首先，我们需要了解Hive和PostgreSQL的基本概念。
Hive是一个基于Hadoop的数据仓库工具，它提供了一种SQL-like查询语言（HiveQL），用于在Hadoop上执行数据查询和管理。在Hive中，Map是一种复杂的数据类型，它
原创
2024-07-21 06:36:24
71阅读
# 从 Hive 迁移到 Doris：一步一步教你实现
在数据处理的行业中，尤其是数据分析领域，我们经常需要使用不同的工具和框架来存储和分析数据。Apache Hive 和 ClickHouse 是两个常用的数据处理工具，而 Apache Doris 在性能和易用性上表现出色。本文将帮助你将 Hive 中的数据迁移到 Doris，同时用 Doris 代替 ClickHouse，主要关注于如何实现
之所以要用类函数代替API，是因为VCL对它做了一些包装，好在API起作用之前和之后做一些额外的事情：通知和判断等等。之所以类函数要包装一个CM_消息，是因为这样方便程序员（在调用类函数的基础上）截断和改写这个处理过程举例：procedure TWinControl.Invalidate;begin... Read More
转载
2014-11-17 00:08:00
180阅读
2评论
补充：Hive最关键的两个服务HiveServer2和Hive Metastore（存元数据的地方）可以在ambari的localhost:8080里查看 第一节课 1. Hive Views：听课总结viewe的特点1. 位置：纯元数据，只存在metastore，不会在hdfs2. 类似快捷方式：存到metastore之后，不会自动更新，数据的修改不会影响view
转载
2023-07-20 20:54:08
145阅读
用IN写出来的SQL的优点是比较容易写及清晰易懂，这比较适合现代软件开发的风格。
但是用IN的SQL性能总是比较低的，从SQL执行的步骤来分析用IN的SQL与不用IN的SQL有以下区别：
SQL试图将其转换成多个表的连接，如果转换不成功则先执行IN里面的子查询，再查询外层的表记录，如果转换成功则直接采用多个表的连接方式查询。由此可见用IN的SQL至少多了一个转换的过程。一般的SQL都可以转换成
转载
2023-06-26 16:05:44
132阅读
[b]一、join优化[/b]
Join查找操作的基本原则：应该将条目少的表/子查询放在 Join 操作符的左边。原因是在 Join 操作的 Reduce 阶段，位于 Join 操作符左边的表的内容会被加载进内存，将条目少的表放在左边，可以有效减少发生内存溢出错误的几率。
Join查找操作中如果存在多个join，且所有参与join的表中其参与joi
转载
2023-10-12 20:38:55
112阅读
EXISTS表示存在，指至少存在一处，这个条件由EXISTS子查询来完成，但是在这里EXISTS子查询返回的结果却不再是一个结果集，而是一个布尔值(true或false)，其实这个挺好理解的，EXISTS就表示如果子查询能查到值则返回true，则执行EXISTS之前的语句。
转载
2023-07-13 07:15:52
72阅读
