作者简介英明，携程数据研发专家，负责支付离线数据仓库建设及BI业务需求，对并行计算、大数据处理及建模等有浓厚兴趣。一、背景支付中心作为携程集团公共部门，主要负责的业务包括交易、实名绑卡、账户、收单等，由于涉及到交易相关的资金流转以及用户实名认证，部分用户操作环节的中间数据应内控/审计要求需要长时间保存。当前研发应用多，日志量大、格式各异，对于日志的存储和使用产生较大的挑战，故支付数据与研发团队群策
目录Hive是什么... 1hadoop是什么... 1hadoop、hive两者关系... 2hive的优缺点... 2hive的存在意义... 2hive常用命令... 2一些相关命令... 2创建表... 3创建分区partition_table.dt. 3加载数据到分区... 4删除表&n
转载
2024-09-29 10:43:13
43阅读
# Hive分区字段模糊匹配实战指南
## 导言
在大数据处理中，Hive 是一个重要的工具，它利用 SQL 查询语言对水量巨大的数据进行分析。而分区是 Hive 中一个非常有用的特性，可以帮助优化数据的查询性能。但是，当你希望通过模糊匹配来查询分区字段时，可能会感到困惑。本文将详细介绍如何在 Hive 中实现分区字段的模糊匹配，希望能够帮助到刚入门的小白。
## 整体流程
下面是实现 H
原创
2024-10-26 04:16:20
61阅读
今天去面试，这个公司的业务需要模糊查询数据，之前他们通过mongodb来存储数据，但他们说会有丢数据的问题，我从业务上了解到，显然对他们公司而言，丢数是绝对不能允许的。 另外，他们说之前也用过SQL Server的全文检索，但速度不够快，不如用mongodb快，当然我不太清楚他们所谓快的具体定义，比如查询只需要1秒，还是1分钟。他们的系统现在采用的是SQL Server，通过复制来实现高
转载
2023-08-23 21:12:47
129阅读
### Hive SQL 模糊匹配字段名
#### 简介
Hive是一种基于Hadoop的数据仓库工具，它提供了类似于SQL的查询语言来处理大规模数据。在Hive中，通常需要对字段名进行匹配操作，以便快速找到需要的数据。有时候可能需要进行模糊匹配，即通过模糊的字段名来查询数据。本文将介绍如何在Hive SQL中进行模糊匹配字段名操作。
#### 模糊匹配字段名
在Hive SQL中，可以使
原创
2024-03-10 06:06:30
157阅读
三歪最近发现我一直在写MySQL的文章，然后就跟我说他有sql用到like的时候就没办法用到索引了，问我怎么办。我让他坐在我腿上，摸着他的手说道：傻瓜，这样这样，你看这不是好了？顺手刮了一下他的鼻子。三歪小脸一红，说：你真讨厌，然后娇羞的走了。玩笑归玩笑哈，其实在开发过程中，经常会碰到一些业务场景，需要以完全模糊匹配的方式查找数据，就会想到用 like %xxx% 或者 like %xxx 的方式
1.hive模糊搜索表
show tables like '*name*';
2.查看表结构信息
desc formatted table_name;
desc table_name;
3.查看分区信息
show partitions table_name;
4.根据分区查询数据
select table_coulm from table_name where
转载
2024-06-27 08:28:32
87阅读
存储引擎：不同类型的数据拥有不同的处理机制。mysql存储引擎 Innodb:默认的存储引擎 查询速度较myisam慢 但是更安全 myisam:mysql老版本用的存储引擎，比较innodb memory:内存引擎(数据全部存在内存中) blackhole:无论存什么 都立马消失(黑洞)研究一下每个存储引擎存取数据的特点 show engines;数据类型整型浮点型字符类型日期类型
转载
2024-07-05 11:42:30
60阅读
# Hive模糊匹配两个字段实现流程
## 1. 概述
在Hive中，我们可以使用模糊匹配来比较两个字段，以确定它们是否相似或包含某些特定的模式。本文将介绍如何在Hive中实现模糊匹配两个字段的方法，帮助刚入行的开发者快速上手。
## 2. 流程图
```mermaid
flowchart TD
start[开始] --> input[输入字段名和模式]
input -->
原创
2023-10-06 16:12:15
799阅读
# Hive 模糊匹配分区字段效率低
## 引言
在使用Hive进行数据分析时，我们通常需要对数据进行分区，以提高查询效率。然而，当我们需要进行模糊匹配时，Hive的分区字段匹配效率会变得非常低下。本文将介绍Hive模糊匹配分区字段效率低的原因，并提供一些优化方法。
## 问题描述
在Hive中，我们可以通过定义分区字段来将数据进行分区，以便更加高效地查询数据。例如，我们可以将数据按照日期进行
原创
2023-10-11 15:57:52
199阅读
# 模糊匹配表字段的Hive技巧
在Hive中，当需要进行模糊匹配表字段时，我们可以通过一些技巧来实现这一目的。模糊匹配是指根据某种规则或模式来匹配表中的字段，而不是精确匹配。在实际应用中，模糊匹配可以帮助我们快速定位需要的数据，提高数据分析的效率。
## 使用LIKE关键字
在Hive中，我们可以使用`LIKE`关键字来进行模糊匹配。`LIKE`关键字后面跟着一个匹配模式，可以使用通配符`
原创
2024-03-26 05:48:24
202阅读
首先看下SQL的查询有关的通配符 打开菜鸟教程模糊查询举个例子，在sql server中 比如“一元天”这些字的顺序可以是任意的，而且也可以不相邻，把所有的情况都查询出来： 。。。一。。。元。。。天。。。” “天；；；；元。。。一。。。”等好多情况SELECT * FROM OneTable WHERE CHARINDEX(N'一', Field)>0 AND CHARINDEX(N'
转载
2023-11-13 14:00:29
296阅读
SQL模糊查询详解 在进行数据库查询时，有两种：完整查询和模糊查询，模糊查询语句如下：SELECT 字段 from 表 WHERE 某字段 Like 条件 其中关于查询的条件，SQL提供了四种匹配模式：%、 _、 []、 [^] 1 % 表示任意0个或多个字符可匹配任意类型和长度的字符，有些情况下若是中文，请使用两个百分号（%%）表示。SELECT * from [user]
转载
2023-10-03 19:09:42
274阅读
SELECT count(1), count(DISTINCT xx)from xxx.xxxwhere dt = '2020-10-11' and length(regexp_extract(goods_tag_name, '易方达蓝筹|张坤|蔡徐坤', 0)) > 0; ...
转载
2021-08-05 15:11:00
1599阅读
2评论
# Hive双向模糊匹配指南
在数据分析和处理的过程中，模糊匹配是一项常用的技术，它能帮助我们找到不完全一致的数据。Hive作为一个大数据处理工具，也能用于实现双向模糊匹配。本文将指导你如何在Hive中实现这一功能。
## 流程步骤
首先，我们需要了解实现双向模糊匹配的流程。以下是主要步骤的整理：
| 步骤 | 描述
原创
2024-10-22 04:10:11
81阅读
# 在Hive中实现“rep”模糊匹配
在大数据处理领域，Apache Hive是一种用于管理和查询大规模数据仓库的工具。如果你想在Hive中实现“rep”的模糊匹配，下面的方法将会帮助你一步步完成这个任务。
## 整体流程
我们可以将实现“rep”模糊匹配的过程分为以下几个步骤：
| 步骤 | 操作 | 备注
# Hive On条件模糊匹配
在Hive中，我们经常需要根据条件进行模糊查询，以便更精准地获取需要的数据。在Hive中，我们可以使用LIKE、RLIKE和REGEXP关键字来进行条件模糊匹配，从而实现我们的查询需求。
## LIKE操作符
在Hive中，我们可以使用LIKE操作符进行简单的字符串模糊匹配。LIKE操作符支持使用通配符“%”和“_”来匹配任意字符和单个字符。
下面是一个使用
原创
2024-04-18 06:47:37
129阅读
# 实现 Hive 模糊匹配字母
作为一名经验丰富的开发者，你可能遇到过需要实现 Hive 模糊匹配字母的需求。现在，我将教会你如何实现这一需求。
## 流程概述
首先，让我们通过一个表格简要展示整个流程的步骤：
| 步骤 | 描述 |
|---|---|
| 步骤 1 | 创建一个 Hive 表 |
| 步骤 2 | 导入需要匹配的数据 |
| 步骤 3 | 使用模糊匹配查询数据 |
原创
2023-07-17 19:36:36
184阅读
# Hive ON语句模糊匹配的实现
在数据湖和大数据管理中，Hive是一种广泛使用的大数据仓库系统，它允许用户以类似SQL的方式查询和分析数据。对于刚入行的小白，理解如何在Hive中使用ON语句进行模糊匹配是一个关键的技能。本文将指导你完成这一过程，并提供清晰的步骤和代码示例。
## 流程概述
以下是实现Hive ON语句模糊匹配的主要步骤：
| 步骤 | 描述 |
|------|--
# Hive 模糊匹配与通配符使用指南
在数据处理和分析中，Hive 是一个非常强大的工具，它允许我们在大数据集上执行 SQL 查询。今天，我们将学习如何在 Hive 中进行模糊匹配，尤其是通配符的使用。本文将通过一系列步骤逐步引导你掌握这一技能。
## 实现流程
我们可以将操作流程分为以下几个步骤：
| 步骤 | 描述 |
|------
