前言MySQL 8.0.13开始支持 index skip scan 也即索引跳跃扫描。该优化方式支持那些SQL在不符合组合索引最左前缀的原则的情况，优化器依然能组使用组合索引。talk is cheap ，show me the code实践使用官方文档的例子，构造数据mysql> CREATE TABLE t1 (f1 INT NOT NULL, f2 INT NOT NULL, PRI
原创
2021-05-15 16:22:22
403阅读
HBase的Scan和Get不同，前者获取数据是串行，后者则是并行；是不是有种大跌眼镜的感觉？ Scan有四种模式：scan，（Table）snapScan，（Table）scanMR，snapshotscanMR；前面两个是串行玩；后面两个是放置到MapReduce中玩；其中性能最好的就是Snap
转载
2018-07-20 22:32:00
818阅读
2评论
http://viralpatel.net/blogs/oracle-index-skip-scan/ in 11g the same sql use index skip scan but in 10g it use index rang scan ,it seem the same sql ,1
转载
2018-09-13 19:49:00
95阅读
2评论
HBase源码
原创
2023-06-19 09:40:23
185阅读
索引跳跃式扫描（INDEX SKIP SCAN） 索引跳跃式扫描（INDEX SKIP SCAN）适用于所有类型的复合B树索引（包括唯一性索引和非唯一性索引），它使那些在where条件中没有对目标索引的前导列指定查询条件但同时又对该 索引的非前导列指定了查询条件的目标SQL依然可以用上该索引，这就像 ...
转载
2021-07-19 11:25:00
304阅读
2评论
INDEX Skip Scan，也就是索引快速扫描，一般是指谓词被跳过，非首列可以作为逻辑子索引访问。因此一
原创
2023-06-15 22:02:35
57阅读
MySQL从8.0.13版本开始支持一种新的range scan方式，称为Loose Skip Scan。该特性由Facebook贡献。我们知道在之前的版本中，如果要使用到索引进行扫描，条件必须满足索引前缀列，比如索引idx(col1,col2), 如果where条件只包含col2的话，是无法有效的使用idx的, 它需要扫描索引上所有的行，然后再根据col2上的条件过滤。新的优化可以避免全量索引扫
原创
2021-01-10 09:56:29
149阅读
HBase主要的CRUD操作就不多介绍了，无非就是Put，Get。Delete三个类的运用。本文相当于是阅读HBase权威指南的总结。一、扫描（Scan）如今看一下扫描技术，这样的技术类似于关系型数据库的游标（cursor），并利用到了HBase底层顺序存储的特性。使用扫描的一般步骤是：1、创建Scan实例
2、为Scan实例添加扫描的限制条件
3、调用HTable的getScanner()方法获
转载
2023-07-21 15:31:07
478阅读
Java多线程是一个很麻烦的东西，为了简化开发加快速度封装了HBase多线程操作，包括常用的Scan，Get，Put，Delete四种操作。经过多次修改运行非常稳定，已经用于生产环境。内部线程通信使用wait()/notify()机制，效率很高。本文只在Java层面讨论HBase的多线程，HBase API内部多线程机制不在本文讨论范围之内。HBase客户
转载
2023-12-06 14:05:13
49阅读
hbase的api操作hbase的api列表TestHbaseConnectionTestHbaseDDLTestHbaseDMLTestHbaseFilter总结 hbase的api列表几个主要 Hbase API 类和数据模型之间的对应关系：TestHbaseConnection两大对象：HbaseConfiguration：
hbase的加载配置文件的对象，用于加载默认配置文件 hbas
转载
2023-07-12 20:01:42
49阅读
HBase原理HBase读数据流程 HBase读操作 1）首先从zk找到meta表的region位置，然后读取meta表中的数据，meta表中存储了用户表的region信息 2）根据要查询的namespace、表名和rowkey信息。找到写入数据对应的region信息 3）找到这个region对应的regionServer，然后发送请求 4）查找对应的region 5）先从memstore查找数据
转载
2023-11-06 14:46:13
84阅读
因为缴费明细的数据记录非常庞大，该公司的信息部门决定使用HBase来存储这些数据。并且，他们希望能够通过Java程序来访问这些数据。
导入Maven依赖
转载
2023-07-12 06:53:03
57阅读
问题简述Bulk load主要面向需要大批量的向HBase导入数据的场景。这种方式是先生成HBase的底层存储文件 HFile，然后直接将这些 HFile 移动到HBase的存储目录下。它相比调用HBase的put API添加数据，处理效率更快并且对HBase 运行影响更小。 业务使用bulkload+scan的模式非常普遍，往往是一个离线任务bulkload一批文件后，就启动另一个离线任务去读所
转载
2023-07-20 23:48:45
150阅读
修改前任bug，Hbase查询过于慢了，以至于都查不出来了，看了代码发现使用的Scan只设置了withStartRow、withEndRow、setCaching扫描,拿到全部数据后存入集合再subList进行分页，但是HBase中存在某些数据有几百万条，根本scan不出来了。前任设置如下： 其中start 和 end 拼接0和z是因为HBase中RowKey按照字典顺序排序，String sta
转载
2023-08-16 09:58:02
139阅读
HBase 2.x ---- HBase API 1. 环境准备2. 创建链接1. 单线程创建连接2. 多线程创建连接3. DDL1. 创建命名空间2. 判断表格是否存在3. 创建表4. 修改表5. 删除表4. DML1. 插入数据2. 读取数据3. 扫描数据4. 带过滤扫描5. 删除数据 1. 环境准备新建项目后在 pom.xml 中添加依赖：注意：会报错 javax.el 包不存在，是一个测
转载
2023-07-13 16:11:51
131阅读
MySQL8.0对范围扫描做了什么优化
原创
2022-04-22 12:41:59
484阅读
MySQL从8.0.13版本开始支持一种新的range scan方式，称为Loose Skip Scan。该特性由Facebook贡献。我们知道在之前的版本中，如果要使用到索引进行扫描，条件必须满足索引前缀列，比如索引idx(col1,col2), 如果where条件只包含col2的话，
原创
2022-03-01 16:32:41
154阅读
MySQL从8.0.13版本开始支持一种新的range scan方式，称为Loose Skip Scan。该特性由Facebook贡献。我们知道在之前的版本中，如果要使用到索引进行扫描，条件必须满足索引前缀列，比如索引idx(col1,col2), 如果where条件只包含col2的话，是无法有效的使用idx的, 它需要扫描索引上所有的行，然后再根据col2上的条件过滤。新的优化可以避免全量索...
原创
2021-07-26 11:37:32
149阅读
【GreatSQL优化器-16】INDEX_SKIP_SCAN
一、INDEX_SKIP_SCAN介绍
GreatSQL 优化器的索引跳跃扫描（Index Skip Scan） 是一种优化查询的技术，尤其在联合索引中用于减少扫描的无效行数。它通过"跳跃"式的扫描方式，避免了对索引中无用部分的扫描，从而提升查询效率。这种技术适合特定场景，并有一定的优缺点。
索引跳跃扫描利用的是联
public static void main(String[] args) throws IOException {
//Scan类常用方法说明
//指定需要的family或column ，如果没有调用任何addFamily或Column，会返回所有的columns；
// scan.addFamily();
// s
转载
2013-06-05 14:51:00
275阅读
2评论
