2017年在省公司做一个项目，涉及到一个亿级别的大表操作，过程中遇到了很多坑，走过后记录如下，方便今后回忆。Oracle数据库是一种事务性数据库，对删除、修改、新增操作会产生undo和redo两种日志，当一次提交的数据量过大时，数据库会产生大量的日志写文件IO操作，导致数据库操作性能下降，尤其是对一张记录过亿的表格进行操作时需要注意以下事项： 1、操作大表必须知道表有多大select s
转载
2024-01-02 16:35:16
129阅读
本文介绍BigTable/HBase类NoSQL数据库系统选型策略和schema设计原则。 数据规模 BigTable类数据库系统(HBase,Cassandra等)是为了解决海量数据规模的存储需要设计的。这里说的海量数据规模指的是单个表存储的数据量是在TB或者PB规模，单个表是由千亿行*千亿列这样的规模组成的。提到这个数据规模的问题，不得不说的就是现在在NoSQL市场中，最火的四种NoSQL
转载
2023-12-01 19:35:58
201阅读
作者 | 王一鹏无论多么有主见的架构师，在做数据库选型的时候，也可能会犯难。传统 SOL、NoSQL 还是 NewSQL？架构风格是以久经考验的关系型数据库为主，还是偏向所谓原生的分布式架构？如果提及具体产品，那选择就更多了，TiDB、OceanBase、PolarDB、TDSQL、GaussDB、MongoDB…… 现在还有许多服务于新场景的产品，比如处理时序数据的 ，处理图数
转载
2023-12-26 23:15:36
84阅读
最近在忙着优化集团公司的一个报表。优化完成后，报表查询速度有从半小时以上(甚至查不出)到秒查的质变。从修改SQL查询语句逻辑到决定创建存储过程实现，花了我3天多的时间，在此总结一下，希望对朋友们有帮助。数据背景首先项目是西门子中国在我司实施部署的MES项目，由于项目是在产线上运作(3 years+)，数据累积很大。在项目的数据库中，大概上亿条数据的表有5个以上，千万级数据的表10个以上
转载
2024-03-22 15:59:50
33阅读
项目背景这是给某数据中心做的一个项目，项目难度之大令人发指，这个项目真正的让我感觉到了，商场如战场，而我只是其中的一个小兵，太多的战术，太多的高层之间的较量，太多的内幕了。具体这个项目的情况，我有空再写相关的博文出来。这个项目是要求做环境监控，我们暂且把受监控的设备称为采集设备，采集设备的属性称为监控指标。项目要求：系统支持不少于10w个监控指标，每个监控指标的数据更新不大于20秒，存储延迟不超过
转载
2024-07-08 15:58:21
48阅读
1 概述 组合查询为多条件组合查询，在很多场景下都有使用。购物网站中通过勾选类别、价格、销售量范围等属性来对所有的商品进行筛选，筛选出满足客户需要的商品，这是一种典型的组合查询。在小数据量的情况下，后台通过简单的sql语句便能够快速过滤出需要的数据，但随着数据量的增加，继续使用sql语句，查询效率会直线下降。当数据量达到一定的量级，服务器将会不堪重负甚至面临挂掉的危险，并且大数据量的存储也成为了一
转载
2024-04-19 19:13:35
139阅读
一、简介涉及三方面问题，首先是数据库驱动以及类型匹配问题，其次数据表结构初始化脚本（schem-dm.sql），最后是DM数据库模式问题，最后一个问题其实是一个共性问题，所有组件兼容达梦时都会面临此问题，后面会进行详细介绍。二、数据库驱动以及类型匹配适配驱动（Unable to detect database type） 此问题产生的原理是默认的数据库驱动以及类型匹配并不兼容DM（达梦）根据报错信
转载
2024-09-29 08:39:25
144阅读
大家好，我是互联网架构师！场景说明现有一个 10G 文件的数据，里面包含了 18-70 之间的整数，分别表示 18-70 岁的人群数量统计，假设年龄范围分布均匀，分别表示系统中所有用户的年龄数，找出重复次数最多的那个数，现有一台内存为 4G、2 核 CPU 的电脑，请写一个算法实现。23,31,42,19,60,30,36,........模拟数据Java 中一个整数占 4 个字节，模拟 10G
转载
2023-08-28 20:16:24
358阅读
# MySQL数据库查询亿级数据
在大数据时代，数据量的增长迅速，处理大规模数据的能力变得至关重要。MySQL作为一种常见的关系型数据库管理系统，如何高效地查询亿级数据成为了一个挑战。本文将介绍在MySQL中查询亿级数据的方法，并提供一些代码示例。
## 数据库设计
在处理亿级数据之前，首先需要进行合理的数据库设计。以下是一个简单的数据库类图示例，展示了一个包含用户信息的数据表。
```m
原创
2023-10-30 07:08:23
93阅读
在数据分析领域，最热门的莫过于Python和R语言，此前有一篇文章《别老扯什么Hadoop了，你的数据根本不够大》指出：只有在超过5TB数据量的规模下，Hadoop才是一个合理的技术选择。这次拿到近亿条日志数据，千万级数据已经是关系型数据库的查询分析瓶颈，之前使用过Hadoop对大量文本进行分类，这次决定采用Python来处理数据：硬件环境CPU：3.5 GHz Intel Core i7内存：
转载
2022-03-08 13:55:22
1044阅读
一、背景 在单表数据达到千万，过亿级别时，对数据库操作就非常吃力了，分库分表提上日程，目的很简单，减小数据库的压力，缩短表的操作时间。 二、数据切分策略 数据切分(Sharding)就是通过某种特定的条件，将存放在同一个数据库中的数据拆分存放到多个数据库中，从而达到分散单台机器负载的情况，即分库分表。 根据数据切分规则的不同，主要有两种模式， 垂直切分(纵向切分)，即对不同的表进行切分，存储到不同
转载
2023-09-04 20:51:43
621阅读
前言本文紧接着前一篇的入门教程，会介绍一些关于pandas的进阶知识。建议读者在阅读本文之前先看完 pandas入门教程 。同样的，本文的测试数据和源码可以在这里获取： Github：pandas_tutorial 。数据访问在入门教程中，我们已经使用过访问数据的方法。这里我们再集中看一下。注：这里的数据访问方法既适用于 SeriesDataFrame 。基础方法：[]和.这是两种最直观的
亿级数据处理是一个复杂的任务，需要经验丰富的开发者来完成。在本文中，我将向一位刚入行的小白介绍如何使用Python来处理亿级数据。我将按照以下步骤进行说明：
1. 数据准备
2. 数据读取
3. 数据清洗
4. 数据分析
5. 数据存储
下面是整个流程的表格展示：
| 步骤 | 描述 |
| -------- |
原创
2024-01-17 12:31:49
128阅读
1.MySQL架构组成1.1 MySQL逻辑架构学习 MySQL 就好比盖房子，如果想把房子盖的特别高，地基一定要稳，基础一定要牢固。学习 MySQL 数据库前要先了解它的体系结构，这是学好 MySQL 数据库的前提。1.1.1 MySQL架构体系介绍 MySQL 由连接池、SQL 接口、解析器、优化器、
转载
2023-10-27 11:25:16
47阅读
1、背景当需要造千万级数据时，去写sql，用 jmeter跑并发，过程有点繁琐，能不能用一款工具，一次性解决这些需求，并检测磁盘性能。2、原理先往一个临时表PRODUCTS_TEST写入一定量的数据，然后写个存储过程从临时表取数写进目标表PRODUCTS，然后通过多线程执行存储过程。建主表语句create table sysdba.products(
product_no varchar(50)
浅谈时序数据库TDengine最近TDengine很火，本人也一直很早就有关注，其官方给出的测试性能结果很喜人，所以一开源，本人就进行了相关调研，最终发现还是存在着一定的问题，期待后续的完善吧写入问题必须为每个Tag组合起一个表名付出的代价：用户必须要保证每个Tag组合起的表名唯一，并且一旦Tag组合数过多用户很难记住每个Tag组合对应的表名，在查询时基本都是靠超级表STable来查
前文提到时序数据是一个写多读少的场景，对时序数据库以及数据存储方面做了论述，数据查询和聚合运算同样是时序数据库必不可少的功能之一。如何支持在秒级对上亿数据的查询分组聚合运算成为了时序数据库产品必须要面对的挑战。 本文会从时序数据库的查询以及聚合运算角度展开，最后会从如何解决时序数据的查询问题入手深入分析。 1. 时序数据的查询 原始数据的查询和时序数据聚合运算的查询。 前
转载
2024-03-25 20:38:43
122阅读
# Hadoop处理亿级数据入库教程
## 前言
作为一名经验丰富的开发者，你已经掌握了Hadoop在处理大数据方面的强大能力。现在有一位刚入行的小白向你请教如何实现“Hadoop处理亿级数据入库”的问题。在本教程中，我将带领你一步步完成整个流程，并为你详细解释每一个步骤需要做什么以及需要使用的代码。
## 整体流程
首先，让我们来看一下整个“Hadoop处理亿级数据入库”的流程，我们可以用表
原创
2024-06-03 06:03:54
77阅读
# Java亿级数据处理详解
## 概述
在处理大数据量的情况下，我们通常会遇到亿级数据的处理需求。在Java中，实现亿级数据处理需要一定的技巧和经验。本文将详细介绍如何使用Java来处理亿级数据，并将重点放在指导新手开发者如何实现这一任务上。
### 任务流程
首先，让我们来看一下处理亿级数据的整个流程。可以简单地用下表展示：
| 步骤 | 描述 |
| --- | --- |
| 1
原创
2024-03-11 05:59:47
119阅读
一、 海量数据，出现次数最多or前K1、给A，B两个文件，各存放50亿条URL，每条URL占用64个字节，内存限制为4G，找出A，B中相同的URL。【分析】我们先来看如果要把这些URL全部加载到内存中，需要多大的空间。1MB = 2^20 = 10^6 = 100W1GB = 2^30 = 10^9 = 10亿50亿 = 5G * 64 Byte = 320G明显是不可能全部加载到内存中的。我们可
