RocksDB 是一种高性能键值存储引擎: 数据写入流程 先写日志(WAL):像记账本一样先记录操作日志,防止停电丢数据 再写内存(MemTable):用高效的跳表结构暂存最新数据 写日志是顺序写入,比直接写磁盘快10倍以上 数据存储结构 SST文件:内存满了就把数据"冷冻"成不可修改的排序文件 分7层存储:越下层数据越多(L0最小,L6最大) 90%数据最终沉到
TiKV 是 TiDB 的"数据仓库",专门负责存储和高效管理数据。它的核心设计可以用几个简单的比喻来说明: 数据存储方式: 像个超大保险箱,所有数据都以键值对(key-value)的形式存放[5] 内部使用 RocksDB(一个超高性能的本地存储引擎)来存数据,相当于保险箱里的精密储物格 数据分片机制: 把整个数据库切成很多小块叫 Region(类似把图书馆的书
TiDB 是一个开源的分布式关系型数据库,它的设计非常巧妙,把数据库分成几个核心组件,各司其职又互相配合。我用大白话给你讲讲这些组件的原理和功能: TiDB Server(相当于"前台接待") 负责和应用程序打交道,接受你的SQL查询 它会解析SQL语句,制定最优的执行计划 但自己并不存储数据,是个"无状态"的服务 可以随时增加多个TiDB节点来分摊压
敏捷方法核心解析 三大核心思想 适应型而非预测型 强调响应变化而非遵循既定计划[3] 案例:像应对城市交通拥堵,实时调整路线而非死守原导航方案 以人为本非过程为本 核心区别:传统方法关注文档流程,敏捷关注人员协作[1] 真题印证:"敏捷开发以人为本,非过程"是正确描述[1] 迭代增量式开发 将大项目拆分为2-4周的小周期交付[3] 类比:像拼乐高,每次完
生产环境批处理层优化实践 我们在批处理层进行了多项工程优化: Kafka集群采用3副本机制,按业务域划分Topic,刷卡流水使用Protobuf格式压缩存储 使用Spark Structured Streaming监听Kafka触发HDFS写入,替代传统的Cron调度方式,确保数据零丢失 开发Spark ETL Pipeline时引入Checkpoint机制,失败任务自动续跑 针对HBase
MySQL 与 PostgreSQL 选型指南 生活化例子 快餐vs定制餐: MySQL 像是快餐连锁店 - 快速、标准化、上手简单 PostgreSQL 像是高级餐厅 - 提供更多定制选择,但需要更多知识和时间 家用轿车vs赛车: MySQL 像家用轿车 - 省油、易于驾驶、适合日常使用 PostgreSQL 像赛车 - 性能强大、可调校性强、需要专业知识 智能手机vs单反相
? TiDB 和 MySQL 选型对比(大白话版) 1️⃣ 基础定位 MySQL:像个“老牌单反相机”,简单易上手,适合小到中型应用,比如个人博客、电商后台、企业内部系统。 TiDB:像个“分布式高清录像机”,专为大数据、高并发设计,适合需要无限扩展的业务,比如超大型电商、金融交易、物联网数据。 2️⃣ 核心区别对比 对比项 MySQL TiDB 存储能力 上限取决于单机硬盘
以下是关于OLTP与OLAP的区别的详细解释,包含生活化类比和记忆技巧: ========== 生活化例子 ========== OLTP(银行ATM机) 你每次取钱/转账:短平快的操作(每次只处理你的1笔交易) 柜台处理1000人取钱:1000个独立小任务 要求:快速响应,绝不能算错钱 OLAP(年度财务报告) 统计全行所有用户年度消费习惯 分析「90后」的跨行转账时间段分布 要求
你好,我是悟空,今天我们来看下仓库体系结构风格。 仓库体系结构风格包含三种:数据库系统;超文本系统;黑板系统。 仓库(Repository)是存储和维护数据的中心场所。在仓库风格中,有两种不同的构件: 中央数据结构(仓库),说明当前数据的状态。独立构件,它对中央数据进行操作。 数据库系统:构件主要有两大类,一类是中央共享数据源,保存当前系统的数据状态;另一类是多个独立 处理单元,处理单元对数据元素
你好,我是悟空。 随着互联网+模式的不断发展,涉及到的电商平台领域也呈现出数据量的爆炸式增长,从最开始的每天 GB 级数据,到现在 TB 甚至 PB 级数据,这都是很常见的。我所在的公司成功中标一个游乐场电商平台项目,线下 50 多家门店,每天的刷币记录都是非常庞大的,这就带来了三个很大的问题:(1)对于对海量的离线数据如何进行分析处理;(2)如何对增量数据进行实时处理;(3)如何将离线数据和增量
你好,我是悟空。 上一篇介绍了 5 大软件架构风格,接下了我们看下游乐场电商平台项目中选择了哪几种架构风格。 该游乐场电商平台是一个比较复杂的系统,要求高并发、高可用,高性能。经过全面考量,需采用多种架构风格来完成该项目的架构设计。该项目采用了基于 SpringCloud 的微服务架构,用户端采用 C/S 架构,管理端采用 B/S 架构。在架构风格选择上,我们最终选择了层次架构风格、事件系统体系结
你好,我是悟空。 今天我们来看下常见的 5 种架构风格: (一)数据流风格 1、批处理体系结构风格:每个处理步骤是一个单独的程序,每一步必须在前一步结束后才能开始,并且数据必须是完整的,以整体的方式传递。 2、管道-过滤器体系结构风格:把系统分解为多个处理步骤(过滤器),每个处理步骤都有一组输入和输出,管道负责处理步骤间的数据传输。缺点是交互性差、性能差。 (二)调用/返回风格 1、主程序/子程序
你好,我是悟空。 最近项目组正在做云 WAF 防控,所以来看看什么是云 WAF。 下面用通俗易懂的方式对比传统 WAF(Web应用防火墙) 和 云WAF 的区别: ? 生活化例子 1. 传统WAF(硬件/软件WAF) 就像在自己家里安装防盗门窗和监控摄像头 优点:完全自主控制,适合敏感数据(比如银行金库) 缺点:安装维护成本高,防护范围仅限自己家 2. 云WAF 就像租用小区24小时保安+
Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号