文章目录输入数据期望结果需求分析自定义PhoneFlowBean自定义MyPartitionerMapper类Reducer类Driver类执行结果输入数据1 13736230513 192.196.100.1 www.hadoop.com 2481 24681 2002 13846544121 192.196.100.2 264 0 2003 13956435636 192.196.100.3 132 1512 2004 13966251146 192.168.100.1 240
原创
2021-07-09 17:25:56
339阅读
0、整理表空间碎片optimize table tablename
1、表分区按年分区，季度子分区
alter table key_part
partition by range(year(create_time))
subpartition by hash(quarter(create_time))
subpartitions 4 (
partition p0 values less
转载
2018-06-02 21:37:00
140阅读
2评论
分区（分区实战案例）、Combiner、Shuffer1 分区2 根据部门号建立分区3 Combiner4 Shuffer手动反
原创
2022-07-12 13:54:17
309阅读
第一部分 分区简述(比如国家由省市来划分) 分区：map的输出经过partitioner分区进行下一步的reducer。一个分区对应一个reducer，就会使得reducer并行化处理任务。默认为1 1. Partitioner是partitioner的基类，如果需要定制partitioner也需要继承该类。 2. HashPartitioner是mapr
之前杨老师的两篇文章《MySQL时间类分区写SQL的一些注意事项》、《MySQL时间分区的实现》，介绍了在MySQL中时间分区的基础知识，这篇文章《MySQL分区表案例分享》给了一个实际的案例，这个是某家互联网公司数据库系统的表调优过程，从实践层面，了解一下。问题与背景：1. 单张表数据量太大，每天会产生 10W 条记录，一年就是 3650W 条记录。2. 对这张表的查询95%都是在某一天或者几天
转载
2023-06-19 11:17:17
104阅读
1、实验案例mysql5.5 关于 range分区
2.要求，有一个员工表有（money,date）,现在根据date字段进行分区
3.创建分区表
CREATE TABLE staff(
money INT NOT NULL DEFAULT 1000,
date_time DATE
)
PARTITION BY RANGE COLUMNS (date_ti
原创
2013-09-11 14:24:14
1214阅读
实验环境公司原来安装的CentOS服务器采用了自动分区的方案，随着使用服务器的系统用户数量不断增多，根分区经常面临磁盘空间耗尽的情况，甚至有几次还导致系统无法启动。为了解决这些问题，现需要为服务器新增加一块SCSI硬盘，并将用户目录/home中的数据迁移到该硬盘中，要求迁移后不能影响原有用户账号的使用。需求描述在虚拟机中添加一块80GB的scsi磁盘在新硬盘中你建立一个20GB的分区，用于存放所有
原创
2022-07-04 16:11:24
174阅读
公司原来安装的CentOS服务器采用了自动分区的方案，随着使用服务器的系统用户数量不断增多，根分区经常面临磁盘空间耗尽的情况，甚至有几次还导致系统无法启动。为了解决这些问题，现需要为服务器新增加一块SCSI硬盘，并将用户目录／ｈｏｍｅ中的数据迁移到该硬盘中，要求迁移后不能影响原有用户账号的使用。需求描述在虚拟机中添加一块80GB的SCSI磁盘在新硬盘中建立一个20GB的分区，用于存放所有普通用户的
原创
2022-07-04 16:07:18
102阅读
PostgreSQL分区表案例实战1、什么是分区表2、传统分区表2.1.1 创建分区表2.1.2 使用分区表i 父表插入数据ii 查看数据iii 分区表
原创
2022-12-21 11:32:01
236阅读
一.查看新添加磁盘 [root@localhost /]# fdisk -l 磁盘 /dev/sda：53.7 GB, 53687091200 字节，104857600 个扇区 Units = 扇区 of 1 * 512 = 512 bytes 扇区大小(逻辑/物理)：512 字节 / 512 字节 I/O 大小(最小/最佳)：512 字节 / 512 字节 磁盘标签类型：dos 磁
原创
2016-06-12 17:18:05
511阅读
# Hive动态分区严格模式案例实现教程
## 1. 概述
本文将教你如何在Hive中实现动态分区严格模式。动态分区严格模式是Hive中的一种高级特性，它允许我们在插入数据时自动创建和管理分区。通过使用动态分区严格模式，我们可以更加方便地处理分区数据。
## 2. 流程图
以下是实现“Hive动态分区严格模式”的整个流程图：
```mermaid
stateDiagram
[*]
实验案例一：迁移/home分区（一）实验环境公司原来安装的RHEL6服务器采用了自动分区的方案，随着使用服务器的系统用户数量不断增多，根据分区经常面临磁盘空间耗尽的情况，偶尔有几次还导致系统无法启动。为了解决这些问题，现需要为服务器新增加一块SCSI硬盘，并将用户目录“/home”中的数据迁移到该硬盘中，要求迁移不能影响原有用户账号的使用。（二）需求描述在虚拟机中添加一块80G的SCSI磁盘。在新
原创
2016-06-17 09:45:52
825阅读
实验环境：公司原来安装的CentOS服务器采自分的方案，随着使用服务器的系统用户数量不断根分区经常面临磁盘空间耗尽的情况，甚至有几次还导致系统无法启动。为了解决这些问题现需要为服务器新增加一块SCSI硬盘，并将用户目录/home中的数据迁移到该硬盘中，要求迁移后不能影响原有用户账号的使用。需求描述在虚拟机中添加一块80GB的SCSI磁盘。在新硬盘中建立一个20GB的分区，用于存放所有普通用户的宿主
原创
2022-07-04 16:24:57
544阅读
# Hive数仓月分区案例教程
在大数据处理中，Hive作为一个数据仓库工具，可以将结构化数据映射为一张数据库表。通过分区的方式，可以显著提高查询性能。本文将引导你完成一个Hive数仓的月分区案例。我们会分步骤进行讲解，并且每一步将附上必要的代码和注释。
## 工作流程
以下是整个操作的流程表：
| 步骤 | 描述 | 操作
kafka一直在大数据中承受着数据的压力也扮演着对数据维护转换的角色，下面重点介绍kafka大致组成及其partition副本的分配原则： Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedi
通过上述步骤，你可以创建一个分区表，并使用一个辅助列来存储id字段的整数部分，并将其作为分区键。这
Partition1.用户需求 将不同的数据放到不同的文件中。 2.概念 partition是在map阶段完成后执行的。然后将分好区的数
MySQL时间分区表
原创
精选
2022-03-15 22:46:22
4433阅读
美的金融——供应链金融
以核心企业“美的”为信用背书的可流转企业信用，打通各级供应商和经销商的信用链条，实现资产穿透，为供应链上各级企业提供数据保真、业务增信，提升企业融资效率，降低企业融资成本。基于区块链技术打造的美的供应链金融平台，强化美的供应链体系，实现基于核心企业的稳固金融服务自生态。
国家电网——积分系统
国家电网——积分系统
通过引入区块链技术，改造国家电网积
原创
2021-07-19 16:58:53
248阅读
