昨天听到IT专家介绍一个名词：PB，是计算机存储容量的一个单位。其实也第一次听说PB，有这个无标准说法尚待证实，但不妨听听这个PB是多大。专家说：“大数据时代已经来临，以后的信息量是以PB为单位的，一个PB是1024TB，现在最大的单位YB是2的80次方个B。” 2的80次方？乍一听，没概念。还是从已有的知识算起把。KB、MB、GB、TB依次往上推：1KB=1024B
转载
2024-03-18 20:06:39
190阅读
1. 数据太多。放在一个表肯定不行。 比如月周期表。一个月1000万，一年就1.2亿，如此累计下去肯定不行的。所以都是基于一个周期数据一个表。甚至一个周期数据就要分几个分表。主要是考虑实际的数据量而定。当你创建一个新表时，可能这个表需要有索引，但是都要先取消索引，或者先建立表，导入数据后，再建立索引。 必要时处理完，统计完后，就备份到磁带或者其他介质。然后清掉。 从问题域来看，一个周期内的数据关联
转载
2024-05-13 08:05:19
110阅读
前言 大家好，我是坤哥，今天我想和大家聊一聊实时索引的构建之道，来自我司 PB 级索引数据的实战经验，相信对大家肯定有帮助。近年来公司业务迅猛发展，数据量爆炸式增长，随之而来的的是海量数据查询等带来的挑战，我们需要数据量在十亿，甚至百亿级别的规模时依然能以秒级甚至毫秒级的速度返回，这样的话显然离不开搜索引擎的帮助，在搜索引擎中，ES（ElasticSearch）毫无疑问是其中的佼佼者，连续多年在
转载
2024-05-21 11:21:42
70阅读
数据库优化--使用索引优化存储过程 现有数据库中有一个存储过程的查询时间为25s，最大的一个表的数据记录在70-80万条记录，感觉还有潜力可以挖掘。 经过一系列的优化最后，这个存储过程的执行时间为3s-4s。下面就讲讲此次优化的过程。 首先是要讲一下，这次主要使用到了索引这一个
转载
2024-03-22 15:44:57
174阅读
第一阶段：
1，一定要正确设计索引
2，一定要避免SQL语句全表扫描，所以SQL一定要走索引（如：一切的 > < != 等等之类的写法都会导致全表扫描）
3，一定要避免 limit 10000000,20 这样的查询
4，一定要避免 LEFT JOIN 之类的查询，不把这样的逻辑处理交给数据库
5，每个表索引不要建太多，大数据时会增加数据库的写入压力
第二阶段：
1，采用分表技术（
转载
2023-07-14 18:37:24
202阅读
为1.7亿记录表创建快速索引 本文讲述了在大表上创建索引需要注意的事项，以及整个过程。 需求：在STAT_SUBMIT_CENTER表的RECORDTIME字段上面创建一索引。 环境：SunOS 5.9 oracle 9204 8 cpu 3G mem 1. 查看表的具体情况 是不是分区表，有多少个分区，分区字段： SQL> col table_name for a
转载
2024-02-29 23:17:26
106阅读
通过索引提高数据的查询速度1.普通索引一种没有任何约束的索引，对表中变量的值不作任何限制，不管变量的值是否存在重复或是否存在缺失（即null）都无关紧要，是使用最频繁的一种索引 ①普通索引#建表示设置索引
create table table_name(
filed1 data_type1 filed_attr1,
filed2 data_type2 filed_attr2,
filed3 dat
转载
2024-04-20 09:17:56
120阅读
引言作者：竹子爱熊猫前面[《分库分表的正确姿势》][《分库分表的后患问题》]两篇中，对数据库的分库分表技术进行了全面阐述，但前两篇大多属于方法论，并不存在具体的实战实操，而只有理论没有实践的技术永远都属纸上谈兵，所以接下来会再开几个单章对分库分表各类方案进行落地。分库分表实战内容基本上很少有人去分享，在网上能够搜出来的也大多属于一些方法论，但大部分技术开发真正缺少的恰恰是这些实操经验，所以后续的内
转载
2024-07-24 15:12:31
76阅读
一、前言数据平台已迭代三个版本，从头开始遇到很多常见的难题，终于有片段时间整理一些已完善的文档，在此分享以供所需朋友的实现参考，少走些弯路，在此篇幅中偏重于ES的优化，关于HBase，Hadoop的设计优化估计有很多文章可以参考，不再赘述。二、需求说明项目背景：在一业务系统中，部分表每天的数据量过亿，已按天分表，但业务上受限于按天查询，并且DB中只能保留3个月的数据(硬件高配)，分库代价较高。改进
转载
2024-05-08 17:24:02
34阅读
单表一亿？还是全库1亿？1.首先可以考虑业务层面优化，即垂直32313133353236313431303231363533e59b9ee7ad9431333363393663分表。垂直分表就是把一个数据量很大的表,可以按某个字段的属性或使用频繁程度分类,拆分为多个表。如有多种业务类型，每种业务类型入不同的表，table1,table2,table3.如果日常业务不需要使用所有数据，可以按时间分表
转载
2023-08-22 21:23:42
241阅读
```mermaid
flowchart TD
A[准备工作] --> B[创建数据库]
B --> C[设计表结构]
C --> D[导入数据]
D --> E[优化索引]
```
作为一名经验丰富的开发者，实现“1亿数据的MySQL”并不难，关键在于合理的设计和优化。现在让我来教你如何实现吧。
### 准备工作
首先，确保你的服务器有足够的硬件资源来支撑这么
原创
2024-04-22 04:07:25
61阅读
字节(B: byte), 兆字节(MB: megabyte), 千兆字节(GB: gigabyte)…… 你大概对这些术语已经非常熟悉了吧，但是，你知道什么是“太字节”(TB: terabyte)、”拍字节“(PB: petabyte)和“艾字节”(EB: exabyte)吗？ 这些比较少见的词是用来描述大
转载
2024-05-22 15:41:54
68阅读
前言随着业务并发量的不断扩张，redis内存数据库也会有处理不过来的情况，故redis也考虑集群来缓解并发的压力。原理Redis 集群原理图 1. Redis集群中总共了16384个Slot 用于存放redis的键值对。这个Slot会平均分配给每一组集群(图中3组就分配成5461，5461，5462)。2. 键值对的键值 经过crc16哈希处理后再除以16384 取余数，然后放入对应编
转载
2023-06-13 15:31:59
389阅读
# MySQL单表1亿数据索引建方案
在大数据量的环境下，数据库的性能优化，尤其是索引的构建，是十分重要的。在本文中，我们将深入探讨如何在MySQL中为单表存储1亿条数据构建索引，并通过代码示例和序列图展示具体的方案。
## 1. 项目背景
在一个电商平台中，用户经常需要搜索商品。假设我们有一个商品表 `products`，包含以下字段：
- id (商品ID)
- name (商品名称)
原创
2024-09-08 05:05:29
267阅读
通过前面五篇文章的解读，Python的基础语法已经介绍的差不多了。光学不练假把式，结合前面学习的内容来次简单的实战，找点继续坚持下去的动力。话不多说，实战开始……数据读写与分析处理假设现在有一份如下图所示的数据(data_project1.csv文件)project_pic1数据来源：网易云课堂《数据分析师(Python)》微专业课程。项目要求：1.读取数据data_project1.csv 2
在以下的文章中，我将以“办公自动化”系统为例，探讨如何在有着1000万条数据的MS SQL SERVER数据库中实现快速的数据提取和数据分页。以下代码说明了我们实例中数据库的“红头文件”一表的部分数据结构：
CREATE TABLE [dbo].[TGongwen] ( --TGongwen是红头文件表名
[Gid] [int] IDENTITY (1, 1) NOT NULL ,
--本表
目录海量数据计算总结海量数据去重总结1. 计算容量在解决问题之前，要先计算一下海量数据需要占多大的容量。常见的单位换算如下：1 byte = 8 bit1 KB = 210 byte = 1024 byte ≈ 103 byte1 MB = 220 byte ≈ 10 6 byte1 GB = 230 byte ≈ 10 9&n
有关mysql索引的创建与管理。1，为出现在where子句的字段建一个索引。首先，创建如下表： 代码示例:CREATE TABLE mytable (
id serial primary key,
category_id int not null default 0,
user_id int not null default 0,
adddate int not null default 0
);
转载
2024-06-28 14:03:23
36阅读
目前的Elasticsearch有两个明显的身份，一个是分布式搜索系统，另一个是分布式NoSQL数据库，对于这两种不同的身份，读写语义基本类似，但也有一点差异。写操作实时性：搜索系统的Index一般都是NRT（Near Real Time），近实时的，比如Elasticsearch中，Index的实时性是由refresh控制的，默认是1s，最快可到100ms，那么也就意味着Index doc成功后
转载
2024-03-22 21:16:52
535阅读
一种做法是我们直接进行一个堆排序，或者快排，然后打印前100个即可，但是这样子比较耗时间； 平均下来快排都在9000多ms，而堆排就更大，32s多；所以我们不能简单粗暴的直接快排或者堆排，要对其进行相对的优化；（这种做法不可取，要优化！！！）下面我们看具体方法：方法一：基于quicksort实现的原理如下（ps:前提是快排是要懂得，不懂得可以请各位移步去看我这一篇博文：快速排序）1. 假设数组为
转载
2023-08-16 10:37:50
53阅读
