最近对java中File进行了一波复习，进行了一些总结。首先是字段（也就是类的成员变量）File类中的字段一共有4个，都是有关分隔符的，分别是与系统有关的路径分隔符 pathSeparator //String类型此字符用于分隔以路径列表形式给定的文件序列中的文件名。也就是";" pathSeparatorChar //Char类型这个就是上面的Char形式与系统有关的默认名称分隔符 separa
转载
2023-07-11 17:54:17
60阅读
Hive优化与数据倾斜a.优化：
1.使用mapJoin功能，默认为打开状态
2.创建表的时候，采用分区表和分桶表，可以避免全表扫描，加快速度
3.采用行列过滤，join where 改为 先where再join
4.小文件方向：
-- JVM重用，重用次数10~20次
-- conbineHiveInputformat合并小文件，可以减少mapTask数量
--
转载
2023-10-24 08:14:16
157阅读
# Hive File Merge 教程
在大数据处理环境中，Hive 是非常常用的数据仓库工具。由于 Hive 在处理数据时会生成多个小文件，尤其是在执行了大批量的数据插入或更新操作后，这些小文件会影响查询性能。因此，合并这些小文件（即文件合并）是非常有必要的。本文将介绍如何在 Hive 中实现文件合并，并提供详细的步骤和代码示例。
## 文件合并流程
以下是Hive文件合并的基本流程概述
环境宿主机：Windows 10 64_bit虚拟机：VMware pro 12
CentOS 7.5 64_bit（3台：1个master、2个slave）Hadoop-2.6.5MariaDB-5.5.60Hive 1.2.2ssh工具：SecureCRT 7.3目录0、DML----0.0 load-加载文件到表中----0.1 insert-插入数据----|----0.1.0 从查
# 如何实现Python文件合并
## 概述
在Python中，我们可以通过一些简单的操作来合并多个文件，使其合并成一个文件。这个过程需要一些基本的Python知识和操作。下面我将为你详细介绍如何实现Python文件合并的方法。
## 流程
首先，让我们通过一个表格展示整个流程：
| 步骤 | 操作 |
| --- | --- |
| 1 | 打开所有需要合并的文件 |
| 2 | 读取每个
原创
2024-03-05 04:02:10
51阅读
数据仓库建设中的数据抽取环节，常常需要增量抽取业务库数据。但业务库数据不是一层不变的，会根据时间发生状态变更，那么就需要同步更新变化数据到HIVE中。过去在Oracle上做数据仓库时，可以使用merge的方法合并新老数据。但hive中没有该功能，本文旨在通过sqoop抽取后，自动实现数据合并。
转载
2020-04-07 18:00:00
117阅读
Hive 已是目前业界最为通用、廉价的构建大数据时代数据仓库的解决方案了，虽然也有 Impala 等后起之秀，但目前从功能、稳定性等方面来说，Hive 的地位尚不可撼动。其实这篇博文主要是想聊聊 SMB join 的，Join 是整个 MR/Hive 最为核心的部分之一，是每个 Hadoop/Hive/DW RD 必须掌握的部分，之前也有几篇文章聊到过 MR/Hive 中的 join，其实底层都是
转载
2023-08-01 18:28:03
68阅读
# Hive Merge: 将数据的合并处理与分析简化
