一、序列化 1.正则表达式 创建表//在加载文件时可以通过正则表达式来区分字段,字段名必须和文件中的字段名一致
create table reg_table(
id int,
name string
) row format serde 'org.apache.hadoop.hive.serde2.RegexSerDe'
with serdeproperties('input
“冒泡排序法”可以将一个无序的数组按照从小到大的顺序或者是从大到小的顺序进行排序，是一种较为常见的排序算法，因为数据从小到大或者从大到小地到数列头或者数列末的过程称为“冒泡”。对于冒泡排序我觉得最重要的两点就是：（1）需要重新排序的次数，即循环的次数，这个是根据数组的序列的大小来定的，比如数组的大小为n的话，需要循环的次数就为（n - 1）次；（2）另外一个就是每次循环需要进行数据之间比较的次
转载
2023-06-30 22:06:26
140阅读
这一部分先简单描述一下数组的特性以及对数组的增删查等操作。数组的大小固定，所以对于增加元素，只要数组空间中有空的位置就可以将要添加的元素添加进去。对于数组元素的删除，删除对应位置的元素后，要将删除位用后面的元素填充。 一、无序数组无序数组是只在数组空间中，元素是按照插入顺序排列的，而不是按照元素之间的大小来排列。无序数组相对于有序数组而言，在插入的效率上要高，但是在查找的效率上要低。代码
转载
2023-07-14 22:21:15
67阅读
数据结构是通过某种方式（例对元素进行编号）组织在一起数据元素的集合。python中最基本的数据结构是序列，序列中被分配的序列号又称为索引。python中列表、元组、字符串、range对象都是有序数据结构python中字典和集合属于无序序列结构，但可以遍历，字典还可以通过键来索引引用。序列概览Python中有6种内建的序列。其中列表和元组是最常见的类型。其他包括字符串、Unicode字符串、buff
转载
2023-08-10 19:07:38
246阅读
测试表以及测试数据+----------------------------------------------------+
| createtab_stmt |
+----------------------------------------------------+
| CREATE TABLE `data
这里写目录标题一、去重1、去重有两种操作：二、合理设置Reduce数1、调整reduce个数方法一2、调整reduce个数方法二二、Hive可以通过设置防止一些危险操作：三、 列出每个部门薪水前两名最高的人员名称以及薪水。四、连续登录问题五、设备异常需求：1、将每个设备的违法时间进行排列2、计算机上下两行之间时间差是多少 得到时间差以后 需要对时间差进行过滤 对时间差进行排序3、通过箱线图进行异
转载
2023-09-04 16:10:45
146阅读
目录python优点python缺点python应用场景Python数据类型字符串（string）列表 (list)元组 (tuple) 不可变数据 (1,2,3)set 集合 {1,2,3} 无序，自动去重dict字典 {key：value} python语言：定义成能快速完成工作的小工具python优点• 简洁、优雅、灵活 • 入门非常简单，但真正精通较为困难 • python可以编写服务器
转载
2023-08-09 19:04:58
782阅读
最近准备系统学习python，为了以后能及时查找到，先记录下.先说下啥叫序列，之前在用，感觉这个概念有个模糊，今天特意看了下，序列是python中最基本的数据结构，序列中的每一个元素都被分配一个序号，即元素的位置，也成为索引。类似于“数组”。python中包含6种内建序列，即列表，元组，字符串，Unicode字符串，buffer对象和xrange对象。1.列表的内容是可变的（相对于元组），一般使用
Given a sorted array, remove the duplicates in-place such that each element appear only once and return the new length.Do not allocate extra space for another array, you must do this by modifying the
原创
2023-06-01 17:25:44
90阅读
删除无序单链表中值重复出现的节点 给定一个无序单链表的头节点head，删除其中值重复的节点 例如： 1->2->3->3->4->4->2->1->1->null 删除之后变为 1->2->3->4->null 方法1：如果链表长度为N，时间复杂度达到O(N) 方法2：如果要求空间复杂度为O(1)，应该怎样实
转载
2023-05-31 20:56:15
138阅读
作为Hadoop生态圈中的重要组件，Hive在数据分析、处理方面扮演着异常重要的角色。另外，Hive作为大数据组件，处理的数据量往往很大，合适的优化技巧在运行效率方面往往可以起到非常好的效果。1、筛选重复记录这是在业务中经常遇到的一个问题，主要场景往往是，同一条记录被多次插入，或者同一个id对应多条记录，但是只需要其中一条就足矣。（1）对于重复记录，如果是数据去重，自然是可以使用distinct关
转载
2023-07-12 11:20:24
247阅读
hive的很多表中或在执行表的join命令后，有可能在若干字段上存在重复现象，为了后续业务的需要，减少计算量，需要对表的重复记录去重，最近几天，在学习使用HQL的应用，也尝试着处理表的重复记录问题。1.group by(不推荐使用在去重场景) 最开始不熟悉HQL的其他命令，所以采用了该命令用来去重，在某些场景下group by可以用来去重，但更
有时需要将NSArray中去除重复的元素，而存在NSArray中的元素不一定都是NSString类型。今天想了想，加上朋友的帮助，想到两种解决办法，先分述如下。1.利用NSDictionary的AllKeys（AllValues）方法可以将NSArray中的元素存入一个字典，然后利用AllKeys或者AllValues取得字典的所有键或值，这些键或值都是去重的。示例代码： NSArray *
转载
2015-01-17 15:12:00
268阅读
2评论
hive 原理Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
Hvie是建立在Hadoop上的
去重：以id进行分组，然后取出每组的第一个select * from (select *,row_number() over (partition by id) num from t_link) t where t.num=1;以id进行分组，按照create_time降序排序后，然后取出每组的第一个select * from (select *,row_number() over (partit
转载
2023-06-27 16:34:04
84阅读
文章目录1. 去重技巧—用group by替换distinct2. 聚合技巧–利用窗口函数grouping sets、cube、rollup3. 换个思路解题4. union all时可以开启并发执行5. 利用lateral view进行行转列6. 表连接优化7. 如何解决数据倾斜8. 如何计算按月累计去重9. 综合练习 1. 去重技巧—用group by替换distinct取出user_trad
无眠：数据分析面试必备——SQL你准备好了吗？一、最基本1.选择某列select a from table_1;2.表连接：多张表中，想选取多个字段？select a.id,a.age,b.sexfrom (select id,age from table-1)ajoin(select id , sex from table_2) bon a.id=b.id;知识点：join知识点：union和j
转载
2023-07-21 16:25:54
246阅读
# 累计去重 hive 实现流程
## 简介
在 Hive 中实现累计去重操作，可以通过使用 Hive 内置的函数和语句来实现。本文将详细介绍累计去重 hive 的实现流程，并提供相应的代码和注释。
## 流程图
```mermaid
stateDiagram
[*] --> 创建目标表
创建目标表 --> 导入数据
导入数据 --> 创建临时表
创建临时表
原创
2023-09-15 05:00:14
184阅读
一、Hive的特点以及和RDBMS的异同：1、hive是一个数据仓库的工具，可以将结构化的数据完全映射成一张表，优点是学习成本低，底层是转化为MR的程序，它是不支持事务，不支持实时查询，具体和RDBMS区别如下：(转载)二、Hive中的数据倾斜：1、数据倾斜的原因：(1)、key分布不均匀。(2)、业务数据本身的原因。(3)、建表考虑不周。(4)、某些SQL本身就有数据倾斜。2、如何避免数据的倾斜
转载
2023-08-22 19:34:14
236阅读
目录方法一、最常使用，也最容易想到的思路（ ES5 ）:方法二、ES6 Set() 去重（ ES6 中最常用）方法三、使用 indexOf 去重方法四、使用 sort() 排序去重方法五、使用 includes() 去重方法六、利用 hasOwnProperty() 去重方法七、利用 filter() + indexOf() 去重方法八、利用 Map 数据结构去重 方
转载
2023-10-02 09:32:43
606阅读
