晓楚的博客_数据库技术

Undo log日志回放

引言：一个看起来正确的过程系统宕机后需要重启，重启过程中需要对事务涉及到的数据进行“整理”，包括：1. 宕机时刻尚未提交的事务对数据的修改需要回滚实现整理的过程称之为“日志回放”。通过从后向前回放Undo Log日志，直到找到commit点为止，这样就保证了数据一致性。上面的过程看起来很完美。真的完美吗？问题出在这里：如果系统中同时有多个事务在执行，Undo Log中的commit点该如何定义呢？

serialization

工作

重启

回滚

数据

原创 2023-06-19 09:49:45 111 阅读

SQL查询超时的设置方法

为了优化OceanBase的query timeout设置方式，特调研MySQL关于timeout的处理，记录如下。mysql> show variables like '%time%'; +----------------------------+-------------------+ | Variable_name | Value |

mysql

MySQL

客户端

原创 2023-06-19 09:41:07 1115 阅读

SQL中的Collation是个什么鬼？

一、说文解字，学习一下Collation的字面意思：排序。（https://en.wikipedia.org/wiki/Collation）二、SQL中的Collation，描述了如何对查询出来的数据进行比较和排序，本质是定义了两个cell的数据进行比较的时候的compare算法。三、特别说明几个SQL Collation常见词汇：1. ci： case ignore/insensi

ico

ci

字符串

原创 2023-06-19 09:38:26 216 阅读

【测试入门序列】如何用 DataX 导数据

搞不定（？仅直观感觉，数据膨胀太大了，文件会超级大，导出过程中任何异常都可能导致导出中断），需要用新工具，例如阿里巴巴的 [Data

大数据

mysql

json

数据

原创 2023-06-19 09:35:28 34 阅读

Max-Min Fairness 学习

理论Max-Min Fairness (MMF) 是一种在兼顾公平的前提下，尽可能让更多人满意的资源分配算法。但它并不是一个无懈可击的终极资源分配算法，看它的一个缺点：On the other hand, max-min fairness provides lower average throughput than maximum throughput resource management, w

Max

ci

资源分配

原创 2023-06-19 09:34:48 75 阅读

DRF在多租户数据库中的应用思考

DRF希望解决什么问题： 1. 资源超卖。如果系统资源充足，所有租户(Tenant)需要的资源都可以得到满足，无需DRF算法。系统资源不足的情况下，DRF能公平地决定各个Tenant可以得到多少资源。DRF不解决什么问题： 1. SQL级调度 2. Tenant内部资源利用率 3. Tenant获得的资源在哪些机器上。本需求通过另外一个能够感知异构环境的资源分配模块解决。细节讨论： 1.

系统资源

资源分配

异构

原创 2023-06-19 09:34:30 72 阅读

MySQL Field Class Hierarchy

q

转载 2023-06-16 10:02:38 105 阅读

想到哪写到哪百孔千疮漏洞百出MySQL MetaData Length实现

这是一篇吐槽贴吐槽的对象是MySQL 吐槽的点是它计算length的算法结论是：这代码写得，真是想到哪写到哪，千疮百孔，漏洞百出。以substr为例：mysql> select substr('1234', 4, 9); Field 1: `substr('1234', 4, 9)` Catalog: `def` Database: `` Table: `

mysql

metadata

数据库

MySQL

开发者

原创 2023-06-16 10:02:28 42 阅读

羡慕

做数据库的，大概都有个梦想：超越 Oracle。要超越，就要先学习，学习着学习着才会真的发现，妈的，真屌！Oracle 做得细啊！Oracle 基础设施好啊！今天，看了一个视频：《Oracle 公益课堂：RWP大开眼界系列一资源管理》，完整体验了一番 Oracle HTAP 资源管理的架构，真舒服。这是 Oracle Education Toolkit 中的一个页面，用非常直观简单的方式给用户

数据库

基础设施

资源管理

原创 2023-06-16 10:01:17 101 阅读

【SQL 优化器技术系列】 Subquery “flattening”

Oracle 2005 年出了一个 30 多页的小册子，《Query Optimization in Oracle Database10g Release 2》，介绍了常见的优化器技术。我是做 SQL 执行的，优化部分只了解皮毛，从没有系统学习过。本系列逐个学习和介绍，自我提升，也帮助他人。子查询是很费的操作，特别是关联子查询，外面每得到一行结果，就要去重新执行一遍子查询里的 SQL。最常见的优化

子查询

SQL

原创 2023-06-16 10:00:11 170 阅读

【SQL 优化器技术系列】公共子表达式消除

Oracle 2005 年出了一个 30 多页的小册子，《Query Optimization in Oracle Database10g Release 2》，介绍了常见的优化器技术。我是做 SQL 执行的，优化部分只了解皮毛，从没有系统学习过。本系列逐个学习和介绍，自我提升，也帮助他人。这个技术原理也很简单，初中就学习过：(a * b) + (a * c) = a * (b + c)在这个式子

SQL

技术原理

数据

原创 2023-06-16 09:58:50 120 阅读

TPCH 表学习

TPCH 里的表格对一个配件销售管理要和 nation 表做 jo...

优先级

数据

d3

原创 2023-06-16 09:57:30 354 阅读

一句话解释“外连接消除”

外连接消除就是将一个 outer join 转换成 inner join。例如下面的查询适合做外连接消除：select * from a left join b on a.pk = b.pk where b.col = 3;它可以被等价地改写成：select * from a inner join b on a.pk = b.pk where b.col = 3;为什么呢？因为这个查询的结果中不可

外连接

原创 2023-06-16 09:57:20 143 阅读

ClickHouse 为什么这么快？

What really makes ClickHouse stand out is attention to low-level details.

clickhouse

Data

ide

ci

原创 2023-06-16 09:47:03 186 阅读

ClickHouse 的 isNullAt 实现分析

本文简单介绍了 ClickHouse 行是否为 Null 判断的方法。

clickhouse

c++

sed

ide

数组

原创 2023-06-16 09:46:25 168 阅读

MySQL在有索引列情况下select *的输出结果顺序

创建一个表格，一个是主键列，一个是索引列。然后插入一批数据，调用select * from test_b，可以发现输出结果并没有按照Id有序，而是按照Type有序。如果希望按照Id有序，可以使用force index (primary)这一hint语句。mysql> CREATE TABLE `test_b` ( -> `Id` int(11) NOT NULL,

mysql

主键

数据

原创 2023-06-15 15:33:45 137 阅读

mysql 执行简单查询的调用栈

mysql 执行 select lower(‘Hi’) 的调用栈：#5 0x0000000000660b8c in Item::send (this=0x6e7ada8, protocol=0x60234a8, buffer=0x7fe875d0efe0) at /root/lnmp1.3-full/src/mysql-5.5.48/sql/item.cc:5983 #6 0x000

sql

mysql

bc

原创 2023-06-15 15:26:48 101 阅读

工具的力量

c据实现的功能正对性写小测试，可以快速验证编码正确性。但手动测试的局限性在于覆盖场景非常有限，会遗漏大量场...

功能测试

mysql

测试用例

原创 2023-06-15 15:26:08 73 阅读

三种 Join 的左右表惯例称呼

称呼对于 Nested Loop Join，左表称为 outer table，又称 driving table，右表称为 inner table 对于 Hash Join，左表称为 build table，右表称为 probe table 对于 Merge Join，左表称为 first table，右表称为 second table注解对于 Nested Loop Join，outer tabl

优先级

原创 2023-06-15 15:26:00 124 阅读

cgroup 实验记录

cgroup 目录操作技巧嵌套结构需要后序递归删除[xiaochu.yh ~/tools/cgroup] $rmdir /sys/fs/cgroup/cpu/oceanbase/deadloop2 rmdir: failed to remove ‘/sys/fs/cgroup/cpu/oceanbase/deadloop2’: Device or resource busy [xiaochu.yh

#include

工作线程

单线程

原创精选 2023-06-15 15:23:24 268 阅读

【SQL 优化器技术系列】连接顺序（Join Order）

Oracle 2005 年出了一个 30 多页的小册子，《Query Optimization in Oracle Database10g Release 2》，介绍了常见的优化器技术。我是做 SQL 执行的，优化部分只了解皮毛，从没有系统学习过。本系列逐个学习和介绍，自我提升，也帮助他人。这一节聊连接顺序。我们不会讲怎么去决策连接顺序，会讲做好连接顺序的决策有多难：N 表 join 时，表的连接

Ocean

mysql

数据库

SQL

动态规划

原创 2023-06-15 15:22:22 84 阅读

代价

想获得任何东西，都需要付出代价。问题在于代价的大、或小，在你真正行动之前，并不能确定。分布式系统做资源管理，是个麻烦事。两种策略：分布式管理、集中管理。分布式管理性能好，没有单点压力，但是实现困难，问题多，可能精读低；集中管理性能差，有单点压力，但是实现相对简单，并且精确度高。那么，我们应该选择哪种策略呢？集中管理，性能有多差？压力有多大？说不定并没有想象的大呢？为了精度，你愿意付出多大代价？在真

资源管理

分布式系统

原创 2023-06-15 15:22:10 90 阅读

Oracle 也不是绝对完美

用下面的 case 在 Oracle 11.2 上执行，发现 Oracle 实现的 NAAJ 算法有正确性 bug。不知最新版本修复了没有？CREATE TABLE FF1 (A1 INT, B1 INT); CREATE TABLE FF2 (A2 INT, B2 INT); INSERT INTO FF1 SELECT LEVEL,LEVEL FROM DUAL CONNECT BY LEV

oracle

数据库

sql

新版本

原创 2023-06-15 15:15:03 67 阅读

Oracle PL/SQL 系统包源码

需要的包后，如果是加密的话就到这个网站解密。

github

数据库开发

sql

SYS

原创 2023-06-15 15:13:57 173 阅读

如何在 C++ 中调用 python 解析器来执行 python 代码（七）？

沙箱上头，继续聊沙箱。今天这个沙箱叫 minijail，是 chatgpt 告诉我的。一搜不得了，是 Google 官方维护的沙箱，用在了 Chrome 中。编译yum install libcap-devel.x86_64 make -j帮助[xiaochu.yh ~/tools/minijail] (master) $./minijail0 -h Usage: ./minijail0 [opt

python

linux

解析器

sed

原创 2023-06-15 15:11:58 131 阅读

JDBC驱动中的核心代码位置

d ResultSetImpl getResultSet(StatementImpl callingStatement, long columnCount, int maxRows, int resultSet

mysql

java

bc

原创 2023-06-15 14:53:11 88 阅读

详解MySQL Server端如何发送结果集给客户端

MySQL Server和Client之间的交互有一套定义得很明确的协议，称为MySQL Client/Server Protocol。写数据库的人，只需要遵循这套协议来写程序，就能让自己的数据库被各种MySQL客户端连接，如mysql命令行，php mysql，JDBC等等。这是一个非常诱人的设计选择（Design Choice）！如果自己实现一套协议，写完数据库后，还需要给各种语言写客户端库

mysql

数据库

mysql协议

MySQL

子类

原创精选 2023-06-15 14:53:04 323 阅读

资源管理概念的形象化

收租婆钱姐，她年轻时在回龙观几十个小区买了几百套房，老了靠收租生活。为了管理这些房子，她用了如下几个概念：出租池：ResourcePool，包含了所有房子。小区：Zone，房子分布在很多个小区单元：Unit，每一间房子必然属于某个单元户型：UnitConfig，每个单元肯定有一个确定的户型小王来租房，它一要看小区（Zone）离地铁近不近，二来要看户型（UnitConfig），少于60平米的不考虑。

资源

微信

原创 2023-06-15 14:50:58 87 阅读

ClickHouse 的 Permutation

凡是涉及到排序，就能看到一个概念：Permutation（排列）。本文探究一下这个概念背后的实现。

clickhouse

算法

Self

数据

新版本

原创 2023-06-15 14:01:15 105 阅读

如何在 C++ 中调用 python 解析器来执行 python 代码（四）？

本节记录一下多线程、多进程中调用 Python 解析器。

c++

python

开发语言

#include

解析器

原创 2023-06-15 14:00:13 50 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

OceanBase 开发者晓楚

Undo log日志回放

SQL查询超时的设置方法

SQL中的Collation是个什么鬼？

【测试入门序列】如何用 DataX 导数据

Max-Min Fairness 学习

DRF在多租户数据库中的应用思考

MySQL Field Class Hierarchy

想到哪写到哪百孔千疮漏洞百出MySQL MetaData Length实现

羡慕

【SQL 优化器技术系列】 Subquery “flattening”

【SQL 优化器技术系列】公共子表达式消除

TPCH 表学习

一句话解释“外连接消除”

ClickHouse 为什么这么快？

ClickHouse 的 isNullAt 实现分析

MySQL在有索引列情况下select *的输出结果顺序

mysql 执行简单查询的调用栈

工具的力量

三种 Join 的左右表惯例称呼

cgroup 实验记录

【SQL 优化器技术系列】连接顺序（Join Order）

代价

Oracle 也不是绝对完美

Oracle PL/SQL 系统包源码

如何在 C++ 中调用 python 解析器来执行 python 代码（七）？

JDBC驱动中的核心代码位置

详解MySQL Server端如何发送结果集给客户端

资源管理概念的形象化

ClickHouse 的 Permutation

如何在 C++ 中调用 python 解析器来执行 python 代码（四）？