Web 应用程序中经常使用数据分页技术，该技术是提高海量数据访问性能的主要手段。实现web数据分页有多种方案，本文通过实际项目的测试，对多种数据分页方案深入分析和比较，找到了一种更优的数据分页方案Row_number()二分法。它依靠二分思想，将整个待查询记录分为2部分，使扫描的记录量减少一半
转载
2019-10-10 17:09:00
135阅读
2评论
第一章 Spark 性能调优1.1 常规性能调优1.1.1 常规性能调优一：最优资源配置Spark性能调优的第一步，就是为任务分配更多的资源，在一定范围内，增加资源的分配与性能的提升是成正比的，实现了最优的资源配置后，在此基础上再考虑进行后面论述的性能调优策略。资源的分配在使用脚本提交Spark任务时进行指定，标准的Spark任务提交脚本如代码清单2-1所示
好久没有动博客了，今天有时间把前段时间问题的解决思路总结一下。欢迎一起讨论。
[b]应用端：[/b]
1.在多线程计算情况下汇总计算结果，必免不了要去重。比较常见的方法是重写hashCode和equals方法，其计算速度取决于hashCode方法的逻辑，需要根据业务逻辑，尽量使hashCode的值从不同的业务维度来累加。比如去重对象Object有四个
Web 应用程序中经常使用数据分页技术，该技术是提高海量数据访问性能的主要手段。实现web数据分页有多种方案，本文通过实际项目的测试，对多种数据分页方案深入分析和比较，找到了一种更优的数据分页方案Row_number()二分法。它依靠二分思想，将整个待查询记录分为2部分，使扫描的记录量减少一半
转载
2014-09-26 08:52:00
108阅读
对于百万千万量级别的数据进行查询，如果查询方式不合理的话，会严重影响系统的运行性能及服
转载
2022-12-09 14:58:09
60阅读
问题描述：涉及到大数据量，多循环查询的时候，往往查询的速度会变慢，影响系统的使用性能。该问题，在测试环境尚不明显，因为测试环境的数据量毕竟是有限的。但是，一旦将代码更新到线上的真实系统，因为数据量一下子增大，会造成数据查询的缓慢，所造成的严重迟滞，就不能被忽略了。业务场景：云计算系统。底层会将采集过来的宿主机流量数据，进行保存。后台管理系统，需要定时计算从底层传递过来的宿主机的带宽的总体实际使用量
数值优化有哪些数值优化的方法在三维数据处理的算法里，绝大部分都可以归结为优化一个能量E = Edata + Eregular。Edata为数
主要是指大规模地利用大数据的相关信息技术与审计思路相辅相成的审计模式，主要特点可归纳为如“剑”、如“链”、如“网”。其构建路径可分为三个步骤：第一步是利用基础支撑技术对结构化数据进行归集整理，然后分别作用于总体分析技术和疑点分析技术。第二步是通过基础支撑技术进行审计数据在线监测，可以利用SAS Base等工具对实时数据进行归集整理，数据将用于构建审计大数据管理系统，同时也作用于审计及时预警和趋势分
转载
2023-10-28 11:11:28
58阅读
大数据与物流：优化运输和库存管理随着大数据技术的快速发展，物流行业也开始利用大数据技术来优化运输和库存管理。大数据在物流中的应用不仅可以提高运输效率，降低成本，还可以提供更准确的库存预测，帮助企业更好地规划供应链。大数据在运输优化中的应用运输是物流过程中不可或缺的环节，而大数据技术的应用使得运输过程变得更加高效和可持续。通过实时监测和分析交通状况、路线偏好以及货物运输情况，物流公司能够更好地规划最
原创
2023-10-29 17:29:16
308阅读
大数值 如果基本的整数和浮点数精度不能够满足需求，那么可以使用java.math包中的两个很有用的分类：BigInteger和BigDecimal。这两个类可以处理包含任意长度数字序列的数值。BigInteger类实现了任意精度的整数运算，BigDecimal实现了任意精度的浮点数运算。 使用静态的valueOf方法可以将普通的数值转化为大数值： ...
原创
2021-09-03 16:44:24
225阅读
高可用 在HBase中Hmaster负责监控RegionServer的生命周期，均衡RegionServer的负载，如果Hmaster挂掉了，那么整个HBase集群将陷入不健康的状态，并且此时的工作状态并不会维持太久。所以HBase支持对Hmaster的高可用配置。 关闭HBase集群（如果没有开启 ...
转载
2021-08-06 11:16:00
86阅读
2评论
今天听了一场报告会，是清华计算机系60周年系列讲座之一，主讲人是哈工大软院院长李建中教授，主题《计算和数据资源受限的大数据计算的复杂性理论与高效算法研究》，李老师介绍的大数据计算理论体系很...
原创
2022-04-29 22:22:20
1990阅读
大数据量高并发的数据库优化 一、数据库结构的设计 如果不能设计一个合理的数据库模型，不仅会增加客户端和服务器段程序的编程和维护的难度，而且将会影响系统实际运行的性能。所以，在一个系统开始实施之前，完备的数据库模型的设计是必须的。 在一个系统分析、设
转载
精选
2016-03-03 17:20:37
1823阅读
当MySQL单表记录数过大时，增删改查性能都会急剧下降，可以参考以下步骤来优化：单表优化除非单表数据未来会一直不断上涨，否则不要一开始就考虑拆分，拆分会带来逻辑、部署、运维的各种复杂度，一般以整型值为主的表在 千万级以下，字符串为主的表在 五百万以下是没有太大问题的。而事实上很多时候MySQL单表的性能依然有不少优化空间，甚至能正常支撑千万级以上的数据量： 字段尽量使用TINYINT、SMA
转载
2023-06-18 15:45:42
235阅读
# 大数据工程（一） ## Java基础 程序设计语言Java每一句执行语句后面有；回车换行不表明结束，；才表示。 编译的过程：编译以后会生成一个或多个字节码文件。字节码文件的文件名与java源文件中的类名相同。运行只运行含main的文件。 计算机系统硬件：cpu内存：8bit单元=byte单元kb mb gb eb zb yb软件：一系列按照特定顺序组织的
# Java大数据数值比较大小
作为一名经验丰富的开发者，我将帮助你学习如何在Java中比较大数据的大小。本文将介绍整个流程，并提供每一步所需的代码和注释解释。
## 流程图
```mermaid
flowchart TD
A(开始)
B(声明两个大数据)
C(比较大小)
D(输出结果)
E(结束)
A --> B --> C --> D -
目录大数据之kafka第一章 kafka概述1.1 定义1.2 消息队列1.2.1 传统消息队列的应用场景1.2.2 消息队列的两种模式1.3 kafka基础架构1.3.1 Broker1.3.2 Topic1.3.3 partition1.3.4 Leader1.3.5 Follower1.3.6 replication第二章 kafka快速入门2.1 安装部署2.1.1 集群规划2.1.2 j
Hadoop的前世今生
Google发布了3大技术：MapReduce、BigTable、 GFS。这3大技术带来的革命性变化：革命性的变化1: 成本降低，能用PC机，就不用大型机和高端存储。革命性的变化2：软件容错硬件故障视为常态、通过软件保证可靠性革命性的变化3：简化并行分布式计算，无需控制节点同步和数据交换虽然这3大技术带来了巨大的革命性变化，但是Google只发表了相关的技术论文
转载
2023-09-14 13:52:33
57阅读
首先，大数据本身涉及到一个庞大的技术体系，从学科的角度来看，涉及到数学、统计学和计算机三大学科，同时还涉及到社会学、经济学、医学等学科，所以大数据本身的知识量还是非常大的。从当前大数据领域的产业链来看，大数据领域涉及到数据采集、数据存储、数据分析和数据应用等环节，不同的环节需要采用不同的技术，但是这些环节往往都要依赖于大数据平台，而Hadoop则是当前比较流行的大数据平台之一。Hadoop平台经过
转载
2023-09-10 07:57:14
49阅读
数据挖掘是指从数据集合中自动抽取隐藏在数据中的那些有用信息的非平凡过程，这些信息的表现形式为规则、概念、规律及模式等2.1数据挖掘的发展历史.....2.2数据分析与数据挖掘的主要区别相对于传统的统计分析技术，数据挖掘有如下特点：数据挖掘擅长处理大数据（几十几百万行或者更多的数据）数据挖掘在实践应用中一般都会借助数据挖掘工具数据分析应用的趋势是用大型数据库中抓取数据数据挖掘是统计分析技术的延伸和发
转载
2023-08-29 15:35:39
168阅读
