好久没有动博客了，今天有时间把前段时间问题的解决思路总结一下。欢迎一起讨论。
[b]应用端：[/b]
1.在多线程计算情况下汇总计算结果，必免不了要去重。比较常见的方法是重写hashCode和equals方法，其计算速度取决于hashCode方法的逻辑，需要根据业务逻辑，尽量使hashCode的值从不同的业务维度来累加。比如去重对象Object有四个
对于百万千万量级别的数据进行查询，如果查询方式不合理的话，会严重影响系统的运行性能及服
转载
2022-12-09 14:58:09
60阅读
问题描述：涉及到大数据量，多循环查询的时候，往往查询的速度会变慢，影响系统的使用性能。该问题，在测试环境尚不明显，因为测试环境的数据量毕竟是有限的。但是，一旦将代码更新到线上的真实系统，因为数据量一下子增大，会造成数据查询的缓慢，所造成的严重迟滞，就不能被忽略了。业务场景：云计算系统。底层会将采集过来的宿主机流量数据，进行保存。后台管理系统，需要定时计算从底层传递过来的宿主机的带宽的总体实际使用量
当MySQL单表记录数过大时，增删改查性能都会急剧下降，可以参考以下步骤来优化：单表优化除非单表数据未来会一直不断上涨，否则不要一开始就考虑拆分，拆分会带来逻辑、部署、运维的各种复杂度，一般以整型值为主的表在 千万级以下，字符串为主的表在 五百万以下是没有太大问题的。而事实上很多时候MySQL单表的性能依然有不少优化空间，甚至能正常支撑千万级以上的数据量： 字段尽量使用TINYINT、SMA
转载
2023-06-18 15:45:42
235阅读
# 大数据工程（一） ## Java基础 程序设计语言Java每一句执行语句后面有；回车换行不表明结束，；才表示。 编译的过程：编译以后会生成一个或多个字节码文件。字节码文件的文件名与java源文件中的类名相同。运行只运行含main的文件。 计算机系统硬件：cpu内存：8bit单元=byte单元kb mb gb eb zb yb软件：一系列按照特定顺序组织的
目录大数据之kafka第一章 kafka概述1.1 定义1.2 消息队列1.2.1 传统消息队列的应用场景1.2.2 消息队列的两种模式1.3 kafka基础架构1.3.1 Broker1.3.2 Topic1.3.3 partition1.3.4 Leader1.3.5 Follower1.3.6 replication第二章 kafka快速入门2.1 安装部署2.1.1 集群规划2.1.2 j
随着业务规模的不断扩大，需要选择合适的方案去应对数据规模的增长，以应对逐渐增长的访问压力和数据量。关于数据库的扩展主要包括：业务拆分
原创
2018-09-26 20:50:32
60阅读
主要是对于CDH平台上的大数据组件优化，后续再添加。目录1. HDFS2. Yarn3. Flume4. Kafka5. Hive6. Sqoop7. 其他优化：1. HDFS1. 设置HDFS多个存储目录原理：将数据分不到多个磁盘，不会只占用某个磁盘，导致某些磁盘频繁使用，某些磁盘空闲。优化：dfs.datanode.data.dir...
转载
2021-09-01 11:50:00
566阅读
目录1 History Server性能优化2 序列化3 复用对象4 数据倾斜 1 History Server性能优化flink的HistoryServer主要是用来存储和查看任务的历史记录，具体信息可以看官网 https://ci.apache.org/projects/flink/flink-docs-release- 1.12/deployment/adva
原创
2021-09-13 23:06:36
535阅读
# Java 大数据 Group By 优化
在大数据处理领域，`Group By` 是一种常见的操作，广泛应用于统计、聚合和数据分析等任务。但在处理大规模数据时，`Group By` 的性能可能会受到影响。本文将介绍几种优化 `Group By` 操作的策略，并给出相应的代码示例。
## 1. Group By 的基本概念
在 Java 中，`Group By` 通常使用集合或流的 API
## MySQL 大数据还原优化
MySQL 是一种常用的关系型数据库管理系统，用于存储和管理大量的结构化数据。在处理大数据量时，为了提高查询和操作的效率，我们需要进行一些优化措施。本文将介绍如何在 MySQL 中实现大数据还原优化，以提高数据恢复的速度和效果。
### 流程概述
下面是实现 MySQL 大数据还原优化的一般流程：
| 步骤 | 描述 |
| --- | --- |
| 1
写在建库前：在确定数据库业务后、建立数据库表格时，就应对一些常见问题有所考虑，以避免在数据增长一段时间后再做应对，可能造成时间及维护成本增加：数据的月增量，年增量数据的快速增长点是否需要触发器或事件等查询业务需求服务器访问量以上的考虑项，对数据库的类型、表的结构、表间关系的定义及数据库配置都有非常重要的影响。 运行后优化：优化顺序第一，优化你的sql和索引； 想实现一个查询，可以写出很
转载
2023-07-05 22:13:34
51阅读
Oracle的分页查询语句基本上可以按照本文给出的格式来进行套用。
（一）
分页查询格式：
SELECT * FROM
(
SELECT A.*, ROWNUM RN
FROM (SELECT * FROM TABLE_NAME) A
WHERE&n
转载
2023-08-03 15:52:12
323阅读
1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：select id from t where num is null可以在num上设置默认值0，确保表中num列没有null值，然后这样查询：select id from t
转载
2023-07-13 16:40:08
298阅读
# Mysql SUM大数据优化
在MySQL中，SUM函数是用于计算指定列的总和的聚合函数。当处理大量数据时，对SUM函数进行优化是十分重要的，可以提高查询性能和减少资源消耗。本文将介绍一些优化SUM函数的方法和技巧，并提供相应的代码示例。
## 优化方法
### 1. 使用索引
在使用SUM函数时，可以为涉及的列创建索引。索引可以大大加快SUM函数的计算速度。可以使用下面的代码示例为某
原创
2023-10-19 07:52:47
325阅读
# 如何实现Redis大数据获取优化
## 一、流程
下面是实现"redis大数据获取优化"的流程表格：
| 步骤 | 描述 |
| ---- | ---- |
| 步骤一 | 连接Redis数据库 |
| 步骤二 | 从Redis中获取数据 |
| 步骤三 | 对数据进行处理 |
| 步骤四 | 返回处理后的数据 |
## 二、具体步骤与代码示例
### 步骤一：连接Redis数据库
写SQL要先了解数据本身的特点，如果有join ,group操作的话，要注意是否会有数据倾斜一、数据倾斜处理方法如果出现数据倾斜，应当做如下处理：set hive.exec.reducers.max=200;
set mapred.reduce.tasks= 200; #增大Reduce个数
set hive.groupby.mapaggr.checkinter
转载
2023-07-12 20:02:35
62阅读
完全优化MySQL数据库性能的八大方法 1、选取最适用的字段属性 MySQL可以很好的支持大数据量的存取，但是一般说来，数据库中的表越小，在它上面执行的查询也就会越快。因此，在创建表的时候，为了获得更好的性能，我们可以将表中字段的宽度设得尽可能小。例如，在定义邮政编码这个字段时，如果将其设置为CHAR(255),显然给数据库增加了不必要的空间，甚至使用VARCHAR这种类型也是多余的，因为
转载
2023-08-20 22:33:10
94阅读
文章目录1. 数据倾斜2.hive的优化:1）排序的选择：2）尽量避免使用笛卡尔积3）使用join替代in/exists4）多重查询| 数据插入5）jvm重用:通过参数配置一个container中重复运行的task数量6）小文件合并：多个文件进行逻辑合并7）reducetask的个数8）合理设计分桶9）合理设计分区10）join:能使用mapjoin 尽量使用mapjoin11）group by
转载
2023-07-12 22:48:28
88阅读
1. 简介1.1.什么是SpringDataElasticsearchSpringDataElasticsearch（以后简称SDE）是Spring Data项目下的一个子模块。查看 Spring Data的官网：http://projects.spring.io/spring-data/Spring Data 的使命是给各种数据访问提供统一的编程接口，不管是关系型数据库（如MySQL），还是非关
