又是性能排查优化系列，这次是我们最为熟悉的“in”操作性能问题，虽然网上很多都说使用exists来替代，但本文采用的是union all的解决方式并实质性地解决了问题，希望对各位有用
原创
2022-10-17 09:32:20
426阅读
随着业务数据量的增大,单张表的数据量会越来越大,对表的操作效率会越来越低,因此有必要对数据库的表进行分区处理.这里介绍其一,还有另一种在线重定义表分区也是可以的(ORACLE9之后添加的新功能)思路:
1.查看表大小(确定是否有必要进行分区)
2.对CUS_SUMMARY的表结构和数据进行备份CUS_SUMMARY1和建立分区表之后将数据导入到CUS_SUMMARY2中
3.删除CUS_SUMMA
转载
2024-04-24 19:25:29
407阅读
前言相信大家都知道，说起亿万流量网站高性框架的设计方案，就能想到关键的两点，那就是高可用和高并发。而要谈对高并发和高可用有多熟悉，京东的大佬们还是有一定发言权，而作为京东高级工程师更是大佬级别。而今天分享的正是京东十年开发经验工程师编写的：“亿级流量网站架构核心技术”。笔记作者：京东高级工程师：大飞笔记特点：条理清晰，含图像化，内容创新深奥却易懂。笔记大致分为四部分∶概述、高可用原则、高并发原则、
转载
2023-08-08 11:54:55
56阅读
mysql搭建亿级cmd5数据库的完整步骤发布时间：2020-04-23 09:36:58阅读：220作者：小新今天小编给大家分享的是mysql搭建亿级cmd5数据库的完整步骤，相信很多人都不太了解，为了让大家更加了解mysql搭建亿级cmd5数据库的步骤，所以给大家总结了以下内容，一起往下看吧。一定会有所收获的哦。前言：最近也在玩数据库，感觉普通机子搞数据库，还是差了点，全文查找，慢的要查一分钟
转载
2023-09-29 08:38:40
181阅读
一、亿级流量商品详情页的多级缓存架构&架构中每一层的意义1、上亿流量的商品详情页系统的多级缓存架构很多人以为，做个缓存，其实就是用一下redis，访问一下，就可以了，简单的缓存做复杂的缓存，支撑电商复杂的场景下的高并发的缓存，遇到的问题，非常非常之多，绝对不是说简单的访问一下redis就可以了采用三级缓存：nginx本地缓存redis分布式缓存tomcat堆缓存的多级缓存架构时效性要求非常
转载
2023-05-29 22:22:09
107阅读
设计一套能够满足亿级用户访问的系统架构方案需要考虑大规模应用的可扩展性、高可用性、性能和安全等方面。以下是一套基本的亿级用户访问的系统架构方案：前端负载均衡器：使用负载均衡器来分配用户的请求到前端服务器集群中，实现请求的负载均衡。前端服务器集群可以使用云服务提供商的自动扩展服务进行扩展，以支持更多的用户请求，并保证应用的高可用性和稳定性。应用服务器集群：应用服务器集群可以采用云服务提供商的自动扩展
转载
2023-10-30 20:59:40
106阅读
SQL Server数据库与Oracle数据库之间最大的区别要属表空间设计。Oracle数据库开创性地提出了表空间的设计理念，这为Oracle数据库的高性能做出了不可磨灭的贡献。可以这么说，Oracle中很多优化都是基于表空间的设计理念而实现的。 Oracle表空间之基本概念 ORACLE数据库被划分成称作为表空间的逻辑区域——形成ORACLE数据库的逻辑结构。一个ORACLE数据库能够有一个
原创
2013-04-17 12:18:13
2759阅读
高可用架构设计最核心的就是两点：解耦和冗余。解耦包括业务状态分离（无状态架构设计）、分库分表等。冗余包括缓存、CDN、主从备份、主主备份、GeoDNS 等。一个好的架构设计需要在产品迭代的不同阶段选择合适的技术，从而既能在合理的成本条件下有效保障当前的业务需求，又能考虑到业务下一步发展的可能性。持数亿用户的系统是一个巨大的挑战（不过在读了这篇文章后，也许就没那么难了）。以下是本文涉及的一些主题：从
转载
2023-07-10 20:32:02
35阅读
文章目录技术思路1.容量换算2.拆分海量数据去重HashSetBitSet布隆过滤器Trie 字典树海量数据排序外部排序BitMap /BitSetTrie 字符串问题1：查找十亿个正整数中重复出现的一个数问题2：分割10亿个不重复的整数，查找中位数问题3：从亿个数中找出前K个最大的数问题4：对含有亿个正整数的文件，怎么将数字进行排序问题5：20G的文件，找出出现次数最多的数字 技术思路1.容量
转载
2023-12-06 20:51:50
268阅读
# HBase亿级查询：高性能、高可扩展的NoSQL数据库
## 介绍
随着大数据时代的到来，越来越多的企业和组织需要处理海量的数据。传统的关系型数据库在处理这种规模的数据时遇到了很多限制，而NoSQL（Not Only SQL）数据库则提供了一种解决方案。HBase作为Apache Hadoop生态系统中的重要组成部分，是一个高性能、高可扩展的分布式NoSQL数据库。本文将详细介绍HBase
原创
2023-08-13 15:20:11
82阅读
# 如何实现“Redis 亿级 Key”
Redis 是一个开源的高性能键值对数据库，常用于缓存、消息队列和实时数据存储。在处理亿级 Key 的时候，我们需要确保高效的数据结构和快速的读写性能。本文将简单介绍如何实现 Redis 亿级 Key 的流程，并逐步展示代码实现。
## 整体流程概述
以下是实现 Redis 亿级 Key 的一般流程：
| 步骤 | 描述
原创
2024-09-10 07:00:46
548阅读
购物车主要功能是临时存放欲购买的商品，然后在结算或下订单时，把购物里面的数据全部移除。其数据结构主要包含的字段有：用户ID、商品ID、商品规格ID、商品数量。在移动端的电商系统里，根据是否需要在不同终端同步数据以及对购物车数据的重要程度，实现购物车功能有两种方式可选：【1】对于不需要在多终端同步购物车数据，以及购物车数据不太重要的情况下，可以选择把购物车的数据全部缓存在用户本地终端。这种方式的优点
转载
2024-02-23 14:49:20
60阅读
2017年在省公司做一个项目，涉及到一个亿级别的大表操作，过程中遇到了很多坑，走过后记录如下，方便今后回忆。Oracle数据库是一种事务性数据库，对删除、修改、新增操作会产生undo和redo两种日志，当一次提交的数据量过大时，数据库会产生大量的日志写文件IO操作，导致数据库操作性能下降，尤其是对一张记录过亿的表格进行操作时需要注意以下事项： 1、操作大表必须知道表有多大select s
转载
2024-01-02 16:35:16
129阅读
背景许多大型互联网系统，如：电商、社交、新闻等 App 或网站，动辄日活千万甚至上亿，每分钟的峰值流量也在数十万以上，架构上如何应对如此高的流量峰值？可以通过使用“缓存”技术来给系统减压。内容缓存用法流量峰值对系统带来的主要危害在于，它会瞬间造成大量对磁盘数据的读取和搜索，通常的数据源是数据库或文件系统，当数据访问量次数增大的时候，过多的磁盘读取可能会最终成为整个系统的性能瓶颈，甚至是压垮整个数据
转载
2023-11-14 16:39:32
7阅读
限流详解
限流算法
令牌法：每秒产生指定数量令牌，如果能够获得令牌则不限流；无法获得令牌则限流漏斗法：类似于一边进水一边放水；将请求放入桶中如果桶没满，正常处理，如果桶满，则拒绝请求。应用级限流
分布式限流
redis + luanginx + lua接入层限流 (nginx等)
ngx_http_limit_conn_module limi
转载
2023-07-13 17:50:21
94阅读
随着
“
金盾工程
”
建设的逐步深入和公安信息化的高速发展，公安计算机应用系统被广泛应用在各警种、各部门。与此同时，应用系统体系的核心、系统数据的存放地
――
数据库也随着实际应用而急剧膨胀，一些大规模的系统，如人口系统的数据甚至超过了
1000
万条，可谓海量。那么，如何实现快速地从
转载
2024-05-07 11:00:53
108阅读
# 实现 Java 亿级内存
在开发过程中，尤其是在处理大数据量的应用时，如何合理使用和管理内存是至关重要的。在这篇文章中，我将向你讲解如何用 Java 实现亿级内存，即支持大规模数据处理。我们将分步骤进行，每一步都附上对应的代码。
## 流程概述
| 步骤 | 说明 |
|------------|---------------
原创
2024-08-14 04:40:25
32阅读
参考：一 大的优化方向： 数据结构优化，慢查询优化，索引优化，mysql参数设置优化数据结构优化：先读写分离、再垂直拆分、再水平拆分！说3点1. 设计合适的索引,基于主键的查找,上亿数据也是很快的;2. 反范式化设计,以空间换时间,避免join,有些join操作可以在用代码实现,没必要用数据库来实现;3. buffer,尽量让内存大于数据.至于优化若是指创建好的表，不能变动表
前言前几个月公司要做一个发电站的项目，需要实时采集各个机器的发电用电情况，进行统计展示。初步估计一天产生的数据为 4000W 左右。于是和组长一起讨论设计了数据库方案。下面说下我们的解决思路，如果有不足，需要改进的地方，欢迎提出（因为这也是我第一次做分库分表 ╮(￣▽￣")╭）。一 基本情况数据是从 2000 多个节点分别采集输入到系统中，大约每 5s 采集一次，一天数据量在 4000W 到 50
转载
2024-09-24 20:46:09
34阅读
书籍简介：《亿级流量网站架构核心技术》一书总结并梳理了亿级流量网站高可用和高并发原则，通过实例详细介绍了如何落地这些原则。本书分为四部分：概述、高可用原则、高并发原则、案例实战。从负载均衡、限流、降级、隔离、超时与重试、回滚机制、压测与预案、缓存、池化、异步化、扩容、队列等多方面详细介绍了亿级流量网站的架构核心技术，让读者看后能快速运用到实践项目中。大流量缓冲在电商大促时，系统流量会高于正常流量的
转载
2023-07-24 16:30:47
0阅读
