[toc]hive增量分析背景：每天上传到服务器的日志，经过 每日增量分析得到当天的结果，然后合并更新到总结果集。并且只把更新的数据导入到mongodb结果数据库。sh portal_use file_month day 2015-09-071、初始化创建一个结果集表res_portal_use，以用户ID和维度分区。LAST_UPDATE表示该行数据 最后更新时间。CREATE TABLE IF
转载
2023-07-19 13:23:43
106阅读
1、代码中尽量避免group by函数，如果需要数据聚合，group形式的为rdd.map(x=>(x.chatAt(0),x)).groupbyKey().mapValues((x=>x.toSet.size)).collection() 改为 rdd.map(x=>(x.chatAt(0）,x)).countByKey();或进行reduceByKey,效率会提高3倍。2、p
1.什么是协程协程：是单线程下的并发，又称微线程，纤程。协程是一种用户态的轻量级线程，协程是由用户程序自己控制调度的。2.需要注意的点： 需要强调的是：
#1. python的线程属于内核级别的，即由操作系统控制调度（如单线程遇到io或执行时间过长就会被迫交出cpu执行权限，切换其他线程运行）
#2. 单线程内开启协程，一旦遇到io，就会从应用程序级别（而非操作系统）控制切换，以此来提升效率（
编者按：Nginx是目前比较重要的开源性负载均衡技术，新浪、网易、六间房等很多网站都将Nginx部署进自己的网站系统架构，并解决部分问题。本文是作者长期的实战经验，很有参考价值。本文是我撰写的关于搭建“Nginx + PHP（FastCGI）”Web服务器的第4篇文章。本系列文章作为国内最早详细介绍 Nginx + PHP 安装、配置、使用的资料之一，为推动 Nginx 在国内的发展产
Hive 大查询报警
背景在知乎内部，Hive 主要被应用与两个场景：1. ETL 核心链路任务 2. Adhoc 即席查询。在 ETL 场景下，Hive SQL 任务都比较固定而且稳定，但是在 Adhoc 场景下，用户提交的 Hive SQL 比较随机多变。在用户对 SQL 没有做好优化的情况下，启动的 MapReduce 任务会扫描过多的数据，不仅使得任务运行较慢，还会对 HDFS 造成巨大压
转载
2023-09-16 15:07:37
145阅读
一、调整hive作业中的map数1.通常情况下，作业会通过input的目录产生一个或者多个map任务。主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义修改)
原创
2021-08-06 16:25:31
1082阅读
linux可通过五元组唯一确定一个链接：源IP，源端口，目的IP，目的端口，传输层协议。而一个端口不允许被两个及以上进程占用（一个进程可同时占用多个端口），据此是否可以推测一台linux服务器最多可以同时处理2^16（65536，或65K）个链接即并发请求呢？ 一台服务器到底能够支持多少TCP并发连
转载
2019-01-05 16:34:00
143阅读
2评论
此图是verctor容器产生并发的一个说明虽然加锁可以防止迭代器抛出 concurentModicationException,但你必须记住对所有共享容器进行迭代的地方都需要进行加锁。经常在迭代集合元素时，会想对集合做修改(add/remove)操作，类似下面这段代码：[java] view plaincopyfor (Iterator<Integer> it = list.iter
转载
2023-12-18 15:45:25
73阅读
首先正确的配置Hive的表锁管理，这需要通过ZooKeeper集群来实现。如果不进行如下配置，HiveServer2无法提供并发的查询操作。
转载
2023-05-27 23:24:33
205阅读
问题的引出当我们从集合中找出某个元素并删除的时候可能出现一种并发修改异常问题。一、哪些问题遍历存在问题?迭代器遍历过程中，通过集合对象修改了集合中元素的长度，造成了迭代器获取元素中判断预期修改值和实际修改至不一致。例如:List<String> list=new ArrayList<>();
list.add("罗兆1");
list.add
转载
2023-12-02 13:29:43
48阅读
# 如何在Hive中查看表的文件数目
## 一、流程概述
在Hive中查看表的文件数目，主要涉及以下步骤：
| 步骤 | 操作 |
| ---- | -------------- |
| 1 | 进入Hive环境 |
| 2 | 使用DESCRIBE命令查看表结构 |
| 3 | 使用HDFS命令查看表文件数目 |
## 二、具体步骤
### 1
原创
2024-03-12 03:34:55
192阅读
1 从调度系统对 HIVE 作业的调度策略聊起大家知道，依托 HIVE 构建数据仓库时，我们一般会通过调度系统精心编排 HIVE SQL 作业，以避免多个作业并发写同一张表或同一个表分区；同时 AD HOC 的数据查询操作，在时间上一般也会尽量避开常规的 ETL 数据写操作，以避免对同一张表或同一个表分区的并发读写操作。调度系统之所以对 HIVE SQL 作业采取上述调度策略，究其原因，是因为多作
转载
2023-10-18 23:11:01
343阅读
第10章 调优
一个hive任务会包含有一个或多个阶段stage，不同的stage间有依赖关系。
一、分析复杂的或者执行效率低的查询时，可以使用explain语句，如
explain select .....;
二、explain extended可以产生更多的输出信息
explain extended select ......;
三、优化limit：对输出结果有影响，慎用
转载
2024-04-19 18:56:29
74阅读
# Hive提升堆内存
在Hadoop生态系统中，Hive是一种基于Hadoop的数据仓库基础架构，用于数据的存储、查询和分析。Hive使用HiveQL查询语言，将数据映射到表，并使用类似于SQL的语法进行查询。然而，在处理大规模数据时，Hive的性能可能会受到限制，特别是在内存管理方面。在本文中，我们将探讨如何通过提升Hive的堆内存来提高其性能。
## 为什么要提升堆内存？
Hive在执
原创
2023-12-20 13:08:38
58阅读
# Hive并发Insert操作的深入探讨
Hive是一个基于Hadoop的大数据处理工具，可以用来处理和查询存储在Hadoop文件系统中的大型数据集。随着大数据应用的日益增多，Hive的性能优化变得尤为重要。并发插入（Concurrent Insert）是一个关键的优化方向，本文将探讨Hive的并发插入策略以及相应的示例代码。
## 1. 什么是并发插入
并发插入指的是多个插入操作能够同时
原创
2024-09-26 04:03:38
79阅读
1-请详细描述将一个有结构的文本文件student.txt导入到一个hive表中的步骤，及其关键字 •假设student.txt 有以下几列：id,name,gender三列 •1-创建数据库 create database student_info; •2-创建hive表 studentcreate external table student_info.student(
id string c
保持较低的GC开销的一些最有用的技巧是什么？ 随着Java 9的一次再次延迟发布，G1（“ Garbage First”）垃圾收集器将设置为HotSpot JVM的默认收集器。 从串行垃圾收集器一直到CMS收集器，JVM在其整个生命周期中都见证了许多GC实现，而G1收集器紧随其后。 随着垃圾收集器的发展，每一代（没有双关语）都会带来比以前更高的进步和改进。 串行收集器之后的并行GC利用多核计
转载
2024-08-13 11:08:44
40阅读
前言使用hive，我们很多情况下会并发调用hive程序，将sql任务转换成mapreuce提交到hadoop集群中，而在本人使用hive的过程中，发现并发调用hive有几个问题,在这个和大家分享下.正文默认安装hive，hive是使用derby内存数据库保存hive的元数据，这样是不可以并发调用hive的，需要配置为使用mysql保存hive的元数据。 运行hive，可以有以下访问方式:
转载
2023-10-31 14:30:49
39阅读
首先hive本质就是mapreduce，那么优化就从mapreduce开始入手。然而mapreduce的执行快慢又和map和reduce的个数有关，所以我们先从这里下手，调整并发度。关于map的优化： 1.调整block 作业会通过input的目录产生一个或者多个map任务。set dfs.block.size 因为没份数据都是block，而block的大小直接影响了split切分的
转载
2024-02-29 16:02:05
77阅读
## 实现并发请求Hive的步骤
### 流程
首先，我们需要准备一个Hive表，然后使用Python编写一个并发请求Hive的脚本。最后，运行这个脚本即可实现并发请求Hive。
### 步骤
1. 创建Hive表
2. 编写Python脚本
3. 运行Python脚本
### 代码示例
#### 创建Hive表
```sql
CREATE TABLE IF NOT EXISTS
原创
2024-04-24 07:49:30
19阅读
