Mysql数据库的优化技术对mysql优化是一个综合性的技术，主要包括•表的设计合理化(符合3NF)•添加适当索引(index) [四种: 普通索引、主键索引、唯一索引unique、全文索引]•分表技术(水平分割、垂直分割)•读写[写: update/delete/add]分离•存储过程 [模块化编程，可以提高速度]•对mysql配置优化 [配置最大并发数my.ini, 调整缓存大小 ]•mysq
转载
2024-10-21 18:12:05
23阅读
文章目录什么是partial update？图解partial update实现原理以及其优点动手实战演练partial update基于groovy脚本执行partial updatepartial update乐观锁并发控制原理以及相关操作讲解 ElasticSearch系列——主目录什么是partial update？创建文档&替换文档，就是一样的语法PUT /index/type
转载
2024-02-20 22:26:46
44阅读
摘要本文介绍MySQL的InnoDB索引相对底层原理相关知识，涉及到B+Tree索引和Hash索引，但本文主要介绍B+Tree索引，其中包括聚簇索引和非聚簇索引，InnoDB数据页结构详解，B+Tree索引的使用以及优化，同时还有B+Tree索引的查询流程简介。此文是我对学习InnoDB索引的一个总结，内容主要参考MySQL技术内幕 InnoDB存储引擎一书，及网上一些博客(参考文献会给出)一、先
转载
2023-09-27 10:29:15
130阅读
购买了林晓斌老师的这个课程，此文作为学习笔记update T set c=c+2 where ID=2这样一句更新的sql语句执行过程分为以下几个步骤：根据条件查询ID=2的记录(这里和查询语句的执行步骤是一样的)执行器执行更新记录日志redo log(重做日志、物理日志) binlog(归档日志、逻辑日志)重点来了redo logredo log是InnoDB 独有的先举个栗子来描述下这两个日志
转载
2023-08-22 10:38:15
49阅读
一、热更新原理 elasticsearch开启加载外部词典功功能后，会每60s间隔进行刷新字典。具体原理代码如下所示：public void loadDic(HttpServletRequest req,HttpServletResponse response){
String eTag =req.getParameter("If-None-Match");
try {
转载
2023-10-16 21:20:04
96阅读
前言 整理了一些Mysql数据库相关流程图/原理图，做一下笔记，大家一起学习。 1.mysql主从复制原理图 mysql主从复制原理是大厂后端的高频面试题，了解mysql主从复制原理非常有必要。主从复制原理，简言之，就三步曲，如下：主数据库有个bin-log二进制文件，纪录了所有增删改Sql语句。（binlog线程）从数据库把主数据库的bin-log文件的sql语句复制过来。（io线
转载
2024-06-08 16:05:17
39阅读
B-Tree叶节点具有相同的深度，叶节点的指针为空所有索引元素不重复节点中的数据索引从左到右递增排序 就这样的一个结构。也就是说在一个节点上可以存储更多的元素，k-v，key就是索引字段，data就是索引字段所在的那一行的数据或是那一行数据坐在的的磁盘文件地址、指针，再去查找元素的时候一次性不是Load一
转载
2024-08-30 11:28:10
34阅读
索引：是一种特殊的文件，它们包含着对所有记录的引用指针，索引的原理是根据索引值得到行指针,然后快速定位到数据库记录，它好比是一本书前面的目录，能加快数据库的查询速度。索引可以极大地提高数据查询速度，但是由于添加了索引，在增、删、改的时候也要按照索引的规律存放，所以无形中也会降低增、删、改的速度，因为在执行这些操作时，也要操作索引文件用来维护，所以说索引不是建的越多越好而是要建在合理的字段。普通索引
转载
2024-04-23 17:03:28
28阅读
什么是索引？索引是帮助MySQL高效获取数据的数据结构。索引的本质就是数据结构。索引的目的在于提高查询效率，可以类比图书的目录，根据目录中的页码快速找到所需的内容。一般来说索引本身也很大，不可能全部存储在内存中，因此索引往往以索引文件的形式存储在磁盘上。索引的优点和缺点优点
1）索引可以提高数据检索的效率，降低数据库的IO成本
2）索引可以将随机IO变成顺序IO
3）索引可以帮助服务器避免排序和创
转载
2023-05-18 14:48:58
735阅读
【博学谷学习记录】超强总结，用心分享|HBase的核心原理及其核心工作机制一、HBase的核心原理1.1 HBase读取数据流程1.2 HBase写入数据流程二、HBase的核心工作机制2.1 HBase的Flush刷新机制2.2 HBase的StoreFile合并机制2.3 HBase的Split分裂机制 【博学谷学习记录】超强总结，用心分享|HBase的核心原理及其核心工作机制一、HBase
转载
2023-08-04 14:45:38
145阅读
ES原理总结—ES写数据： ES里写的流程，有四个底层的核心概念：refresh、flush、translog、merge—ES读数据的过程查询—GET到某一条数据 （1）可以通过 doc id 来查询，会根据 doc id 进行 hash，判断出来当时把 doc id 分配到了哪个 shard 上面去，从那个 shard 去查询。 （2）客户端发送请求到任意一个 node，成为 coordina
转载
2023-12-01 11:37:36
84阅读
MySQL索引原理之索引原理 - 池塘里洗澡的鸭子中介绍了索引的原理，那么根据索引的原理及其维护可以将索引分类，可参考下图： where查询，以及order by排序。MySQL索引类型如下： 1）从索引存储结构划分：B Tree索引、Hash索引、FULLTEXT全文索引、R Tree索引、复合索引等 2）从索引键值类型划分：
转载
2023-07-01 10:05:52
236阅读
索引原理MySQL官方对索引定义：是存储引擎用于快速查找记录的一种数据结构。需要额外开辟空间和数据维护工作。索引是物理数据页存储，在数据文件中（InnoDB，ibd文件），利用数据页(page)存储。索引可以加快检索速度，但是同时也会降低增删改操作速度，索引维护需要代价。B+Tree结构MySQL数据库索引采用的是B+Tree结构，在B-Tree结构上做了优化改造。B-Tree结构 索引值和dat
转载
2024-02-22 11:21:49
46阅读
Hbase写数据流程客户端向zookeeper发起请求要访问元数据信息zookeeper向客户端返回元数据表的位置客户端向regionserver请求下载元数据表下载缓存(META)–>解析:rowkey所在位置，hosts，regionname请求指定的regionserver写数据先将数据写到内存中去，并记录日志文件 数据被到->region中store(cf1)【列族】的’mem
转载
2024-02-05 07:40:14
41阅读
更新语句涉及的模块：连接器建立连接、分析器解析语句要做什么、优化器得出怎么做，执行器调用存储器执行命令，redo log:重做日志，bin log：归档日志1、redo log[存储引擎有的日志]当业务繁忙时，执行一次更新语句 要到库表中若干个记录中查询要更新的记录，再执行更新操作，整个过程的IO成本，查找成本都很高。所以mysql这样做：当有一条记录要更新时，InnoDB先将记录写到 redo
转载
2023-09-30 10:34:34
68阅读
数据库原理-数据更新插入数据两种插入数据方式插入元组插入子查询结果可以一次插入多个元组插入元组语句格式 INSERT INTO<表名
原创
2022-05-13 22:44:15
379阅读
ES的数据是如何存储的
Elasticsearch，简称为 ES。ES的索引数据是写入到磁盘上的。但这个过程是分阶段实现的，因为IO的操作是比较费时的。当一个文档进入ES的初期， 文档是被存储到内存里的，默认经过1s之后， 会被写入文件系统缓存，这样该文档就可以被搜索到了， 注意，此时该索引数据被没有最终写入到磁盘上。如果你对这1s的时间间隔还不满
转载
2024-03-18 00:05:47
91阅读
问题复现现在有这么一种业务场景，需要将海量的数据通过Hive进行数据清洗并统计，最后落库到ES中，因为需要支持大数据量的分词，模糊搜索，所以考虑用ES而不直接放到Mysql中，前端需要直接对数据进行交互，当通过后端请求向ES中新增一条数据时，页面数据刷新不会立即查询出新增的数据，即ES中的数据会存在延迟刷新原因分析这里先讲下ES中的一些基础概念，Shard（片）、Segment（段）、 In-me
转载
2023-11-14 12:42:12
116阅读
元数据的存储元数据存储在某台region-server上,减少了对master的依赖,flush的内部流程数据put到所在列族的内存中,每次调用flush方法,内存空间就会生成对应的stroeFile文件对象,对应真实物理文件读写数据流程和实现数据更新写数据客户端执行put请求连接Zookeeper会返回元数据位置信息然后客户端会去下载元数据信息,然后解析元数据信息,定位到是在哪个region-s
转载
2023-09-13 16:22:27
219阅读
前两天在操作项目的时候，有一条SQL没太注意，少写了where语句，导致整个表被更新成一样的数据。当时感到绝望，幸亏是在校内练手的小项目，3百多条数据。但还是给我上了一课。所以特此记录找回的方法。我在网上看了主要是两种方式：1. 通过原生的binlog日志在服务器上操作2. 通过一个工具 binlog2sql，定位误操作的日志位置，然后进行逆向sql解析，还原出误操作中的数据sql文件，然后执行即
转载
2023-10-08 15:31:02
141阅读
