2017年在省公司做一个项目，涉及到一个亿级别的大表操作，过程中遇到了很多坑，走过后记录如下，方便今后回忆。Oracle数据库是一种事务性数据库，对删除、修改、新增操作会产生undo和redo两种日志，当一次提交的数据量过大时，数据库会产生大量的日志写文件IO操作，导致数据库操作性能下降，尤其是对一张记录过亿的表格进行操作时需要注意以下事项： 1、操作大表必须知道表有多大select s
转载
2024-01-02 16:35:16
129阅读
本文介绍BigTable/HBase类NoSQL数据库系统选型策略和schema设计原则。 数据规模 BigTable类数据库系统(HBase,Cassandra等)是为了解决海量数据规模的存储需要设计的。这里说的海量数据规模指的是单个表存储的数据量是在TB或者PB规模，单个表是由千亿行*千亿列这样的规模组成的。提到这个数据规模的问题，不得不说的就是现在在NoSQL市场中，最火的四种NoSQL
转载
2023-12-01 19:35:58
201阅读
最近在忙着优化集团公司的一个报表。优化完成后，报表查询速度有从半小时以上(甚至查不出)到秒查的质变。从修改SQL查询语句逻辑到决定创建存储过程实现，花了我3天多的时间，在此总结一下，希望对朋友们有帮助。数据背景首先项目是西门子中国在我司实施部署的MES项目，由于项目是在产线上运作(3 years+)，数据累积很大。在项目的数据库中，大概上亿条数据的表有5个以上，千万级数据的表10个以上
转载
2024-03-22 15:59:50
33阅读
作者 | 王一鹏无论多么有主见的架构师，在做数据库选型的时候，也可能会犯难。传统 SOL、NoSQL 还是 NewSQL？架构风格是以久经考验的关系型数据库为主，还是偏向所谓原生的分布式架构？如果提及具体产品，那选择就更多了，TiDB、OceanBase、PolarDB、TDSQL、GaussDB、MongoDB…… 现在还有许多服务于新场景的产品，比如处理时序数据的 ，处理图数
转载
2023-12-26 23:15:36
84阅读
# MySQL数据库查询亿级数据
在大数据时代，数据量的增长迅速，处理大规模数据的能力变得至关重要。MySQL作为一种常见的关系型数据库管理系统，如何高效地查询亿级数据成为了一个挑战。本文将介绍在MySQL中查询亿级数据的方法，并提供一些代码示例。
## 数据库设计
在处理亿级数据之前，首先需要进行合理的数据库设计。以下是一个简单的数据库类图示例，展示了一个包含用户信息的数据表。
```m
原创
2023-10-30 07:08:23
93阅读
三级数据库技术知识点总结1 数据字典是对系统种各类数据描述的集合，包括数据项，数据结构，数据流，数据存储和处理过程五个部分 2 数据模型的三要素：数据结构、数据操作和完整性约束 3 数据库系统：一般由数据库、操作系统、数据库管理系统(及其工具)、应用系统、数据库管理人员和用户构成 4 数据模型: 数据模型是数据库系统的数学形式框架，是数据库系统的核心和基础 5 数据模型的分类：概念模型，也称信息模
转载
2024-07-08 19:56:25
11阅读
项目背景这是给某数据中心做的一个项目，项目难度之大令人发指，这个项目真正的让我感觉到了，商场如战场，而我只是其中的一个小兵，太多的战术，太多的高层之间的较量，太多的内幕了。具体这个项目的情况，我有空再写相关的博文出来。这个项目是要求做环境监控，我们暂且把受监控的设备称为采集设备，采集设备的属性称为监控指标。项目要求：系统支持不少于10w个监控指标，每个监控指标的数据更新不大于20秒，存储延迟不超过
转载
2024-07-08 15:58:21
48阅读
数据库技术中采用分级的方法将数据库的结构划分为多个层次。最著名的是美国 ANSI/ SPARC 数据库系统研究组 1975 年提出的三级划分法数据库系统划分为三个抽象级：用户级、概念级、物理级。（1）用户级数据库。用户级数据库对应于外模式，是最接近用户的一级数据库，是用户可以看到和使用的数据库，又称用户视图。用户级数据库主要由外部记录组成，不同的用户视图可以互相重叠，用户的所有操作都是针对用户视图
转载
2024-04-07 17:44:23
128阅读
浅谈时序数据库TDengine最近TDengine很火，本人也一直很早就有关注，其官方给出的测试性能结果很喜人，所以一开源，本人就进行了相关调研，最终发现还是存在着一定的问题，期待后续的完善吧写入问题必须为每个Tag组合起一个表名付出的代价：用户必须要保证每个Tag组合起的表名唯一，并且一旦Tag组合数过多用户很难记住每个Tag组合对应的表名，在查询时基本都是靠超级表STable来查
1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如： select id from t where num is null 可以在num上设置默认值0，确保表中num列没有null值，然后这样查询： select id from t
转载
2024-07-11 09:23:05
68阅读
在信息技术迅猛发展的今天，数据库作为数据存储和管理的核心组件，在各行各业中扮演着至关重要的角色。对于从事IT行业的工作者来说，掌握数据库知识不仅是提升个人技能的关键，也是职业发展的必由之路。在中国，软考（计算机技术与软件专业技术资格（水平）考试）是衡量IT从业人员专业水平的重要标准之一，其中，数据库相关的考试内容尤为受到关注。本文将围绕“软考数据库”与“三级数据库”这两个关键词，探讨软考中数据库知
原创
2024-02-22 13:33:31
55阅读
01前段时间，在网上看到一道面试题：如何用redis存储统计1亿用户一年的登陆情况，并快速检索任意时间窗口内的活跃用户数量。觉得很有意思，就仔细想了下 。并做了一系列实验，自己模拟了下 。还是有点收获的，现整理下来。和大家一起分享。Redis是一个内存数据库，采用单线程和事件驱动的机制来处理网络请求。实际生产的QPS和TPS单台都能达到3,4W，读写性能非常棒。用来存储一些对核心业务弱影响的用户状
转载
2023-06-13 11:59:11
274阅读
在上篇文章给大家介绍了Spring学习笔记1之IOC详解尽量使用注解以及java代码，接下来本文重点给大家介绍Spring学习笔记2之表单数据验证、文件上传实例代码，具体内容，请参考本文吧！一、表单数据验证用户注册时，需要填写账号、密码、邮箱以及手机号，均为必填项，并且需要符合一定的格式。比如账号需要32位以内，邮箱必须符合邮箱格式，手机号必须为11位号码等。可以采用在注册时验证信息，或者专门写一
转载
2023-07-15 15:47:24
77阅读
package com.chen.controller;
import com.chen.utils.BaseDao;
import com.chen.utils.DataImport;
import com.chen.utils.StreamUtil;
import org.junit.Test;
import java.io.File;
import java.sql.Connection
转载
2023-07-16 15:22:23
67阅读
摘要：2021年数据库系统工程师考试时间是什么时候？软考数据库系统工程师每年安排一次考试，准备报名2021年数据库系统工程师考试的考生赶紧来看下考试时间吧！
转载
2023-07-30 21:59:17
53阅读
一）数据库设计方面 1）首先避免全局扫瞄，在where和order by等涉及的列上建立索引。2）尽量避免的where子句中对null进行判断，因为对null值进行判断将导致引擎放弃使用索引，而进行全表的扫描。例如：select id form table where num=null;将num的默认值设置成，这样数据库就会按照索引机制进行查询。 &nb
转载
2023-09-28 22:25:52
644阅读
在信息技术迅猛发展的今天，数据库作为数据存储和管理的核心组件，在各行各业中扮演着至关重要的角色。与此同时，随着信息技术的普及和应用，对于IT专业人才的需求也日益增长。在这样的背景下，软考（计算机软件资格考试）作为国内权威的IT专业认证考试，受到了广泛的关注和认可。本文将围绕“3级数据库”与“软考”这两个关键词，探讨它们在IT领域中的重要性以及相互关系。
首先，我们来谈谈3级数据库。在数据库技术领
原创
2024-04-29 11:49:47
29阅读
前文提到时序数据是一个写多读少的场景，对时序数据库以及数据存储方面做了论述，数据查询和聚合运算同样是时序数据库必不可少的功能之一。如何支持在秒级对上亿数据的查询分组聚合运算成为了时序数据库产品必须要面对的挑战。 本文会从时序数据库的查询以及聚合运算角度展开，最后会从如何解决时序数据的查询问题入手深入分析。 1. 时序数据的查询 原始数据的查询和时序数据聚合运算的查询。 前
转载
2024-03-25 20:38:43
122阅读
# 优化Java循环处理大量数据的方法
在日常的开发工作中，我们经常会遇到需要处理大量数据的情况，而有时我们可能会发现使用Java中的for循环处理10万级数据的效率太低。本文将介绍一些优化Java循环处理大量数据的方法，帮助提高代码的效率。
## 问题分析
在Java中，使用for循环处理大量数据可能会导致性能下降的原因有很多，比如循环内部的逻辑过于复杂、数据访问的方式不合理等。下面我们将
原创
2024-05-21 05:15:14
1061阅读
导读(为什么要优化?):在spark开发中,如果数据量很大的情况下(亿级),即使是基于内存的spark也会吃不消,很可能会发生意想不到的一些异常(堆栈溢出、OOM内存溢出等),这时,如何优化使得我们的程序性能更加的好,速度更加的快就是第一任务了,以下是针对数据结构的一些优化解决方案供大家参考数据结构耗费内存情况:1、每个Java对象,都有一个对象头,会占用16个字节,主要是包括了一些对象的元信息,
