1. 基础知识1.1 认识Lucene维基百科的定义：Lucene是一套用于全文检索和搜索的开放源码程序库，由Apache软件基金会支持和提供。Lucene提供了一个简单却强大的应用程序接口，能够做全文索引和搜索，在Java开发环境里Lucene是一个成熟的免费开放源代码工具；就其本身而论，Lucene是现在并且是这几年，最受欢迎的免费Java信息检索程序库。Lucene官网：http://luc
背景 大家在日常工作中，往往需要对数据库的表结构做变更，一般涉及到增删字段，修改字段属性等ALTER的操作。然而，在大表场景下，特别是千万级、亿级的大表，如果处理不当。这些操作往往会引...
转载
2021-01-21 09:37:00
135阅读
2评论
摘要：在业界中有一个比较成熟的工具，针对大表的场景，可以在线进行Alter变更，且不会出现锁表的风险。除此之外，它还有其他的一些优点，让我们开始探索吧。背景大家在日常工作中，往往需要对数据库的表结构做变更，一般涉及到增删字段，修改字段属性等ALTER的操作。然而，在大表场景下，特别是千万级、亿级的大表，如果处理不当。这些操作往往会引发锁表的巨大隐患，特别是在生产环境中，一旦在变更表结构过程中，出现
转载
2021-01-19 17:45:39
752阅读
2评论
摘要：在业界中有一个比较成熟的工具，针对大表的场景，可以在线进行Alter变更，且不会出现锁表的风险。除此之外，它还有其他的一些优点，让我们开始探索吧。背景大家在日常工作中，往往需要对数据库的表结构做变更，一般涉及到增删字段，修改字段属性等ALTER的操作。然而，在大表场景下，特别是千万级、亿级的大表，如果处理不当。这些操作往往会引发锁表的巨大隐患，特别是在生产环境中，一旦在变更表结构过程中，出现了长时间锁表，会导致用户产生的数据长时间无法正常变更到表中，进而导致服务功能异常，结果将是灾难性的。
原创
2021-05-28 10:39:06
363阅读
修改字段属性等ALTER的操作。然而，在大表场景下，特别是千万级、亿级
转载
2021-01-18 10:35:00
111阅读
2评论
Null是.net中无效的对象引用。
DBNull是一个类。DBNull.Value是它唯一的实例。它指数据库中数据为空(<NULL>)时，在.net中的值。
以下是我测试的一个例子。
例：表tbl_Student
id name address
1 jim <NULL>
将上述表数据填充到.net 的名为dt的Data
转载
2024-10-09 08:30:58
55阅读
在实际的应用场景中，当一个单表的数据量过亿时写入和查询的压力就会倍增，拆表在一定程度上是解决数据库单表瓶颈的方案之一，在本次要拆分的表中有以下特征：单表已过2亿表数据量每天增量50万左右表结构比较单一，用户关注用户行为表，用户关注一个用户会往表中写入一条数据。表结构如下：tb_user_friends:uid, fid, from, create_date, inverse_date(反向索引时间
转载
2023-08-31 07:08:52
81阅读
# MySQL 索引的实现与使用指南
MySQL 是一种现代数据库管理系统，其索引功能能够显著提高数据库查询的效率。在这篇文章中，我们将探讨如何使用 MySQL 实现“索引不超过”的功能，以优化我们的 SQL 查询。本文适合初学者，并通过结构化的方法，让你逐步掌握索引的创建与应用。
## 一、流程概述
下面是实现 MySQL 索引的基本步骤：
| 步骤 | 描述
原创
2024-09-22 03:22:22
21阅读
引言作者：竹子爱熊猫前面[《分库分表的正确姿势》][《分库分表的后患问题》]两篇中，对数据库的分库分表技术进行了全面阐述，但前两篇大多属于方法论，并不存在具体的实战实操，而只有理论没有实践的技术永远都属纸上谈兵，所以接下来会再开几个单章对分库分表各类方案进行落地。分库分表实战内容基本上很少有人去分享，在网上能够搜出来的也大多属于一些方法论，但大部分技术开发真正缺少的恰恰是这些实操经验，所以后续的内
转载
2024-07-24 15:12:31
76阅读
索引使用规则：（1）让限制条件更大的索引放在前面（根据“匹配索引扫描”效率更高）（2）在使用索引字段作为条件时，如果该索引是复合索引，那么必须使用到该索引中的第一个字段作为条件时才能保证系统使用该索引，否则该索引将不会被使用，并且应尽可能的让字段顺序与索引顺序相一致。（3）索引并不是越多越好，索引固然可以提高相应的 select 的效率，但同时也降低了 insert 及 update 的效率，因为
转载
2024-03-15 15:41:43
299阅读
目录确定需要建立索引的列主键列和唯一键列的索引外键列的索引其他适合创建索引的列索引指南小结确定需要建立索引的列现在我们把注意力转到应为哪些列建立索引上。对于初学者来说，我们建议对于大多数应用程序，在下列情况下创建索引。为每个表定义主键约束：这导致在主键指定的列上自动创建索引。在要求唯一且不同于主键列的列上创建唯一键约束：每个唯一键约束导致在约束中指定的列上自动创建一个索引。手动创建外键列上的索引：
# 实现Hive 5亿大表的增量处理
在数据处理领域，增量数据处理被广泛应用于大型数据集，如Hive大表。在本文章中，我们将探讨如何实现对Hive中5亿行大表的增量操作，让您更清楚地了解整个过程及其细节。
## 整体流程
首先，我们来看一下整个增量处理的流程。下表列出了必要的步骤及对应的描述：
| 步骤 | 描述 |
| -
原创
2024-10-27 04:16:37
49阅读
数据库SQL优化（二）16.索引并不是越多越好，索引固然可以提高相应的 select 的效率，但同时也降低了 insert
转载
2024-02-22 13:27:00
415阅读
索引的作用 索引是帮助MySQL高效获取数据的数据结构。当表中的数据量越来越大时，索引对于性能的影响愈发重要，索引能够轻易将查询性能提高好几个数量级。 MySQL中存储的索引类型有两张：B-TREE 和 HASH，当存储引擎是MyISAM和InnoDB时，都至此支持B-TREE，MMEORY/HEAP存储引擎是B-TREE和HASH索引都支持。本文
转载
2024-09-04 18:44:46
76阅读
什么是聚集索引？在 MySQL 中，B+ 树索引按照存储方式的不同分为聚集索引和非聚集索引。这里我们着重介绍 InnoDB 中的聚集索引和非聚集索引：①聚集索引（聚簇索引）：以 InnoDB 作为存储引擎的表，表中的数据都会有一个主键，即使你不创建主键，系统也会帮你创建一个隐式的主键。这是因为 InnoDB 是把数据存放在 B+ 树中的，而 B+ 树的键值就是主键，在 B+ 树的叶子节
转载
2024-07-12 18:04:15
25阅读
线大表DDL操作的方法：1、主从架构轮询修改需要注意：a、主库会话级别的记录binglog的参数关闭b、500\502错误异常捕捉c、检查备库的second behind master是否有延迟d、varchar有页分裂的情况，尽量减少varchar的长度2、在线工具online-schema-change需要注意：需要注意：a、超过1000w行，速度会变慢(半小时左右)作为DBA，我们也常常会碰
转载
2024-10-22 14:53:31
32阅读
一 概述MySQL官方定义为索引（Index）是帮助MySQL高效获取数据的数据结构，故索引的本质就是一种数据结构。进一步分析，可以理解索引为排好序的快速查找数据的数据结构。二 索引Index索引的主要作用是排序和快速定位查找，在我们SQL查找的过程中，Where语句中条件判断是否使用索引会影响到我们的查询效率，此外，根据索引的作用可知，索引还会影响到SQL的排序，即Order by语句。数据库系
转载
2024-03-18 21:32:38
49阅读
之前经常性的建立数据表，只是知道索引可以增加查询速度，因为数据量都不大，然后就感觉没有必要去建立缓存，还要消耗资源，所以对于这一块就是一片空白。然后查阅了一些资料，再加上自己的一些操作，马马虎虎的弄明白了...索引方面的限制：一个数据表 最多支持16个索引innodb引擎不支持全文索引如果在where 字句的查询条件中有不等号，则无法使用索引如果在where字句的查询条件中使用了函数 whered
转载
2023-09-26 23:50:32
165阅读
数据库的建立和删除创建数据库 create database test;删除数据库 Drop database test;查询数据库 Desc database test;使用数据库Use database test;数据库三范式原子性: 每列的字段都是不可分的主键依赖:&nbs
背景IT人员经常需要线上mysql执行一些增加字段，加入索引的DDL的操作。但是有些表数据量比较大，超过几百万或者字段特别多，需要考虑这些DDL的操作是否会造成锁表进而造成生产环境出现问题。因此在执行某些觉得有风险的操作的DDL时，查看不要锁表，以及知悉其内部操作流程非常重要。知识点可以查看SQL执行过程中是否存在阻塞锁在执行SQL时查看是否会出现锁，如果要看目前是否有所锁，查看一下三张表sele
转载
2024-04-14 10:02:39
52阅读
