OLTP的数据来源和流程架构图 oltp类型数据库

转载

mob64ca14101b2f 2023-12-12 13:42:19

文章标签 OLTP的数据来源和流程架构图 OLAP OLTP 操作型数据库分析型数据库 文章分类 架构后端开发

1.what这个技术是什么

官方文档定义

1. 操作型数据库(OLTP)

OLTP，也叫联机事务处理（Online Transaction Processing），表示事务性非常高的系统，一般都是高可用的在线系统，以小的事务以及小的查询为主，评估其系统的时候，一般看其每秒执行的Transaction以及Execute SQL的数量。

主要用于业务支撑。一个公司往往会使用并维护若干个数据库，这些数据库保存着公司的日常操作数据，比如商品购买、酒店预订、学生成绩录入等；OLTP 系统强调数据库内存效率，强调内存各种指标的命令率，强调绑定变量，强调并发操作；

2. 分析型数据库(OLAP)

OLAP，也叫联机分析处理（Online Analytical Processing）系统，有的时候也叫DSS决策支持系统，就是我们说的数据仓库。

主要用于历史数据分析。这类数据库作为公司的单独数据存储，负责利用历史数据对公司各主题域进行统计分析；OLAP 系统则强调数据分析，因为一条语句的执行时间可能会非常长，读取的数据也非常多。所以，在这样的系统中，考核的标准往往是磁盘子系统的吞吐量（带宽），如能达到多少MB/s的流量。强调磁盘I/O，强调分区等。

对比同类技术的优缺点，适用场景

数据更新差别

操作型数据库允许用户进行增，删，改，查；

　　分析型数据库用户则只能进行查询。

数据冗余差别

数据的意义是什么？就是减少数据冗余，避免更新异常。而如5所述，分析型数据库中没有更新操作。因此，减少数据冗余也就没那么重要了。

"某大公司Hadoop Hive里的关系表不完全满足完整/参照性约束，也不完全满足范式要求，甚至第一范式都不满足。这种情况正常吗？"，答曰是正常的。因为Hive是一种数据仓库，而数据仓库和分析型数据库的关系非常紧密(后文会讲到)。它只提供查询接口，不提供更新接口，这就使得消除冗余的诸多措施不需要被特别严格地执行了。

此技术的架构组成

OLTP 系统强调数据库内存效率。

OLTP最常用的技术就是cache技术与btree索引，cache决定了很多语句不需要从磁盘子系统获得数据，所以，web cache与oracle data buffer对OLTP系统是很重要的。另外，在索引使用方面，语句是越简单越好，这样执行计划也稳定，而且一定要使用绑定变量，减少语句解析，尽量减少关联。其它方面，基本不使用分区技术，MV技术，并行技术以及位图索引，因为并发量很高，批量更新可能要尽量快速提交避免阻塞的发生。

在ebay的数据库设计中，有一个很重要的点就是，数据库只负责存放数据，业务逻辑尽量在业务层实现，因为数据库扩展是困难的，而应用服务器扩展是简单的。

OLAP 强调磁盘I/O，强调分区。

在OLAP系统中，常使用的技术有分区技术，并行技术。OLAP中可以大量使用位图索引（位图索引适合只有几个固定值的列，如性别、婚姻状况、行政区等等，而身份证号这种类型不适合用位图索引），物化视图（物化视图存储基于远程表的数据，也可以称为快照（类似于MSSQL Server中的snapshot，静态快照）。对于复制，物化视图允许你在本地维护远程数据的副本，这些副本是只读的）。