盖娅广告匹配系统（GaeaAD）用于支撑盖娅互娱全平台实时广告投放系统，需要将广告数据和游戏 SDK 上报的信息进行近实时匹配，本质上来说需要实时的根据各个渠道的广告投放与相应渠道带来的游戏玩家数据进行计算，实现广告转化效果分钟级别的展现及优化。##初期的 MySQL 存储方案在系统设计之初，基于对数据量的预估以及简化实现方案考虑，我们选用了高可用的 MySQL RDS 存储方案，当时的匹配逻
转载
2024-01-17 10:22:24
34阅读
如何使用Hadoop存储千亿级数据
=======================
简介
----
Hadoop是一个分布式计算框架，被广泛应用于海量数据的存储和处理。要实现存储千亿级数据，我们可以使用Hadoop的分布式文件系统HDFS来存储数据，同时使用Hadoop的分布式计算框架MapReduce来进行数据处理。本文将介绍Hadoop存储千亿级数据的流程和具体实施步骤。
整体流程
---
原创
2024-01-28 10:06:06
71阅读
linux内此存储模式由5部分组成,自低向上的顺序: 物理卷,内核块设备驱动,内核文件系统驱动,虚拟文件系统,应用程序数据结构;系统中所有的文件
原创
2021-12-30 16:44:17
169阅读
# MongoDB存储千亿级数据
在大数据时代，数据量的增长速度非常快，传统的关系型数据库已经无法满足处理海量数据的需求。为了解决这个问题，出现了一种非关系型数据库——MongoDB，它能够支持千亿级别的数据存储和处理。
## MongoDB简介
MongoDB是一种面向文档的数据库，以文档的形式存储数据。它采用了BSON（Binary JSON）格式来表示数据，具有高度的可扩展性和灵活性。
原创
2024-02-04 10:15:13
173阅读
# 实现HBase存储千亿级数据的步骤
## 1. 简介
HBase是一个分布式、可扩展的NoSQL数据库，适用于存储大规模数据集。本文将介绍如何使用HBase来存储千亿级数据，并提供每一步的代码示例和解释。
## 2. 流程图
```mermaid
flowchart TD
A[准备环境] --> B[创建HBase表]
B --> C[批量生成数据]
C --> D
原创
2024-01-28 10:04:34
77阅读
# 如何在Redis中存储千万级数据
Redis是一款高性能的内存数据库，非常适合用来存储海量数据。在处理千万级数据时，我们可以通过合理的设计和优化来充分利用Redis的优势。本文将介绍如何在Redis中存储千万级数据，并提供代码示例。
## 1. 数据结构选择
在存储大量数据时，选择合适的数据结构非常重要。Redis提供了多种数据结构，如字符串、列表、哈希、集合和有序集合等。根据实际需求选
原创
2024-04-23 07:13:01
123阅读
随着5G、大数据、人工智能等新兴技术的发展，数据进一步大幅增长，存储的可扩展性、容量等问题逐渐凸显，需要大规模的数据中心来支持，而海量数据存储就成了企业的刚性需求，随着企业业务逐步迁移到云平台中，云环境下的大数据存储成为未来数据存储的发展趋势。 新一代对象存储产品单桶支持百PB容量、百亿级文件实现“双百”跨越超高扩展性最大可支持EB级存储容量规模有效支撑海量数据高吞吐场景下的存储需求在云存储平
转载
2023-07-27 09:34:15
289阅读
01前段时间，在网上看到一道面试题：如何用redis存储统计1亿用户一年的登陆情况，并快速检索任意时间窗口内的活跃用户数量。觉得很有意思，就仔细想了下 。并做了一系列实验，自己模拟了下 。还是有点收获的，现整理下来。和大家一起分享。Redis是一个内存数据库，采用单线程和事件驱动的机制来处理网络请求。实际生产的QPS和TPS单台都能达到3,4W，读写性能非常棒。用来存储一些对核心业务弱影响的用户状
转载
2023-06-13 11:59:11
274阅读
openharmony的轻量级数据存储现有两个版本，但是harmonyOS的官网上只有一个轻量级数据存储。
原创
2022-04-06 14:40:04
1382阅读
前言：缓存设计可谓老生常谈了，早些时候都是采用memcache，现在大家更多倾向使用redis，除了知晓常用的数据存储类型，结合业务场景有针对性选择，好像其他也没有什么大的难点。工程中引入Redis Client二方包，初始化一个Bean实例RedisTemplate ，一切搞定，so easy。如果是几十、几百并发的业务场景，缓存设计可能并不需要考虑那么多，但如果是亿级的系统呢？首先，
转载
2023-09-10 17:53:36
21阅读
分区 将数据库分区可提高其性能并易于维护。通过将一个大表拆分成更小的单个表，只访问一小部分数据的查询可以执行得更快，因为需要扫描的数据较少。而且可以更快地执行维护任务（如重建索引或备份表）。 实现分区操作时可以不拆分表，而将表物理地放置在个别的磁盘驱动器上。例如，将表放在某个物理驱动器上并将相关的表放在与之分离的驱动器上可提高查询性能，因为当执行涉及表之间联接的查询时，多个磁头
转载
2023-12-26 22:19:20
72阅读
1、多级存储器 1）存储层次可以分为三层：寄存器、主存（内存）、辅存（磁盘）； 2）不同层次之间还有相应的缓存以减小不同层次间读写速度不匹配程度；简单来说，主存也即寄存器和辅存之间的高速缓存； 3）不同层次的存储器读写效率不一样，读写速度越快，成本越高。 &
转载
2024-06-16 21:45:41
85阅读
导读：OPPO是一家智能终端制造公司，有着数亿的终端用户，手机 、IoT设备产生的数据源源不断，设备的智能化服务需要我们对这些数据做更深层次的挖掘。海量的数据如何低成本存储、高效利用是大数据部门必须要解决的问题。目前业界流行的解决方案是数据湖，本次Xiaochun He老师介绍的OPPO自研数据湖存储系统CBFS在很大程度上可解决目前的痛点。本文将从以下几点为大家展开介绍：简述数据湖存储技术OPP
转载
2024-04-12 11:42:48
133阅读
上一篇Mysql数据库快速插入亿级数据，介绍了如何造亿级数据。OK，现在数据有了，怎么分区？常见的思路有两个： ①使用ALTER TABLE创建分区； ②先创建一张与原来一样的新表，对新的空表分区，然后将原表数据备份到新表，然后删除原表，将新表改名为原表名。 下面就来实践这两种思路。原表sql：CREATE TABLE `t_send_message_send` (
`id` bigint(2
转载
2023-08-10 13:58:04
349阅读
通用技术 mysql 亿级数据优化一定要正确设计索引一定要避免SQL语句全表扫描，所以SQL一定要走索引（如：一切的 > < != 等等之类的写法都会导致全表扫描）一定要避免 limit 10000000,20 这样的查询一定要避免 LEFT JOIN 之类的查询，不把这样的逻辑处理交给数据库每个表索引不要建太多，大数据时会增加数据库的写入压力应尽量避免在 where 子句中使用!=或
转载
2024-06-21 10:32:55
40阅读
前言业界对系统的高可用有着基本的要求，简单的说，这些要求可以总结为如下所示。系统架构中不存在单点问题。可以最大限度的保障服务的可用性。一般情况下系统的高可用可以用几个9来评估。所谓的几个9就是系统可以保证对外提供的服务的时间达到总时间的百分比。例如如果需要达到99.99的高可用，则系统全年发生故障的总时间不能超过52分钟。系统高可用架构我们既然需要实现系统的高可用架构，那么，我们到底需要搭建一个什
原创
2021-05-23 10:05:00
968阅读
前言业界对系统的高可用有着基本的要求，简单的说，这些要求可以总结为如下所示。系统架构中不存在单点问题。可以最大限度的保障服务的可用性。一般情况下系统的高可用可以用几个9来评估。所谓的几个9就是系统可以保证对外提供的服务的时间达到总时间的百分比。例如如果需要达到99.99的高可用，则系统全年发生故障的总时间不能超过52分钟。系统高可用架构我们既然需要实现系统的高可用架构，那么，我们到底需要搭建一个什
转载
2021-06-08 10:10:27
142阅读
数据库高可用进阶及Redis初识1 数据库高可用实现（二）1.1 当前数据库服务存在问题1.1.1 现在的架构设计1.1.2 主库宕机影响1.1.3 改进策略1.1.4 配置互为主从1.1.5 主从测试1.2 MyCat1.2.1 介绍1.2.2 MyCat安装1.2.3 编辑Server.xml1.2.4 编辑Schemas配置文件1.2.5 上传文件1.2.6 Mycat高可用测试1.3 分
第一种方案：表为两张，一张分类表，一张信息表。 表1： `ID` int(10), `cID` tinyint(3) , `title` varchar(255), 表2：`cID` tinyint(3) , `parentID` tinyint(3)， `order` tinyint(3) , `name` varchar(255),这样可以根据cID = parent
转载
2024-07-23 16:10:25
23阅读
# Java List存储亿级数据
在Java编程中，我们经常需要处理大量的数据。对于列表数据的存储和操作，Java提供了多种集合类，其中最常用的是List。然而，当数据量达到亿级时，普通的List可能会面临性能和内存消耗的问题。本文将介绍如何使用Java中的List存储亿级数据，并提供相应的代码示例。
## 需求分析
在处理亿级数据时，我们可能遇到以下几个需求：
1. 存储：需要一个能够
原创
2023-10-06 08:19:11
272阅读
