最近因为数据库读的请求增加，出现了比较严重的读写锁问题，由于主从分离，主服务器很快的执行完了写入的操作，但从库由于有大量的select的查询，会被这些来自主辅同步的update,insert严重堵塞，最后造成所有的Mysql从库负载迅速上升。由于没办法在短期内增加读的服务器，所以采取对Mysql进行了一些配置，以牺牲数据实时性为代价，来换取所有服务器的生命安全。呵呵，具体相关调整以及思路如下：
转载
2024-08-11 09:56:38
51阅读
经常有人问，架构师的学习路线是什么？我一般推荐架构师的基本功，是从「存储选型」开始的。本文整理了存储选型的思路和整体框架，主要包括几个部分内容：了解目前的存储技术趋势，以及对开发人员新的要求存储选型的原则，避免日常的经典误区结合典型数据库特点，说明如何进行存储选型，提高业务开发效率常见的场景和解决方案1、存储技术发展看存储选型1.1 存储类型多样化DB-Engines数据库排名并不代表数据库的安装
转载
2023-09-21 22:31:37
86阅读
1. 测试目的
测试Cassandra集群读写TPS的极值，确定Cassandra读写性能。
2. 测试环境2.1 硬件信息 CPU8核 Intel(R) Xeon(R) CPU E5-2650 v4 @ 2.20GHzRAM16G 2.2 软件信息JDK1.8u151Cassandra3.11.1cassandra-driver-core3.3.2OSCen
1.ES概述ES全称为"ElasticSewrch", 是一个基于RESTful web接口, 并且构建在Apache Lucene之上的开源分布式搜索引擎。ES可以在极短的时间内存储、搜索和分析大量的数据。通常作为具有复杂搜索场景情况下的核心发动机。简单来说, ES可以帮助我们快速完成海量数据的搜索工作.2.场景介绍在实际开发中,为了保证数据的安全性和持久性, 所以,我们一般会把数据存储的数据库
转载
2023-09-05 22:11:20
141阅读
## MongoDB和MySQL 读写性能比较
在当今的数据库选择中，MongoDB和MySQL都是常见的选择。它们各自有着自己的优势和劣势，其中之一就是读写性能。本文将对MongoDB和MySQL的读写性能进行比较，并通过代码示例来展示它们之间的差异。
### MongoDB读写性能
MongoDB是一个基于文档的NoSQL数据库，具有高性能和可扩展性。在读操作方面，MongoDB通常比M
原创
2024-07-02 04:21:50
47阅读
面试题 & 真实经历面试题：在数据量很大的情况下，怎么实现深度分页？大家在面试时，或者准备面试中可能会遇到上述的问题，大多的回答基本上是分库分表建索引，这是一种很标准的正确回答，但现实总是很骨感，所以面试官一般会追问你一句，现在工期不足，人员不足，该怎么实现深度分页？这个时候没有实际经验的同学基本麻爪，So，请听我娓娓道来。惨痛的教训首先必须明确一点：深度分页可以做，但是深度随机跳页绝对需
转载
2024-06-07 23:35:46
84阅读
mysql关系型数据库索引原理数据库的索引是B+tree结构主键是聚合索引 其他索引是非聚合索引，先从非聚合索引找，见下图 elasticsearch倒排索引原理 两者对比对于倒排索引，要分两种情况：1、基于分词后的全文检索这种情况是es的强项，而对于mysql关系型数据库而言完全是灾难因为es分词后，每个字都可以利用FST高速找
转载
2023-07-03 17:14:04
233阅读
本文将详细介绍利用 ES-Hadoop 将 Spark 处理的数据写入到 ES 中。一、开发环境1、组件版本CDH 集群版本：6.0.1Spark 版本：2.2.0Kafka 版本：1.0.1ES 版本：6.5.12、Maven 依赖<!-- scala -->
<dependency>
<groupId>org.scala-lang</groupId
转载
2023-08-26 01:15:00
106阅读
# 提升性能：ES写入性能和MySQL
在当今大数据时代，数据量日益增长，对数据库性能的要求也越来越高。在数据库性能方面，写入性能是一个关键指标，特别是在需要高并发写操作的场景下。在本文中，我们将比较Elasticsearch（ES）的写入性能与MySQL，并介绍如何提升ES的写入性能。
## Elasticsearch写入性能
Elasticsearch是一个基于Lucene的搜索引擎，具
原创
2024-03-04 05:10:55
75阅读
mysql优化之读写分离一. TP框架实现mysql读写分离二.yii框架实现mysql读写分离三.laravel框架实现mysql读写分离 读写分离概述：读写分离，基本的原理是让主数据库处理事务性增、改、删操作（INSERT、UPDATE、DELETE），而从数据库处理SELECT查询操作。数据库复制被用来把事务性操作导致的变更同步到集群中的从数据库。为什么要读写分离呢？因为数据库的“写”（写
转载
2023-08-31 15:11:46
34阅读
我们一般用ES做分布式的实时全文搜索，而考虑在MySQL中也存在全文索引这种类似的东西，今天主要记录一下这两者在全文搜索和联合查询之间的些许不同 MySQL的全文索引与ES的倒排索引MySQL在MySQL中我们用fulltext index表示全文索引，用于（可能会用于？反正我不用）全文搜索，具体的用法如下所示select * from user where match(name,inf
转载
2023-07-30 10:28:25
296阅读
Elasticsearch的特点Elasticsearch 是一个分布式、RESTful 风格的搜索和数据分析引擎。 优势： 1）分布式的文件存储，每个字段都被索引且可用于搜索。 2）分布式的实时分析搜索引擎，海量数据下近实时秒级响应。 3）简单的restful api，天生的兼容多语言开发。 4）易扩展，处理PB级结构化或非结构化数据。（pb指petabyte，1PB=1024TB）Elasti
转载
2023-08-23 23:26:29
160阅读
文章目录一、深度分页二、滚动搜索三、批量查询四、批量操作1. 批量新增2.批量更新3. 批量删除 一、深度分页当我们取出第9999到10009的数据的时候，他会在每个分片中取出10009条数据，然后重新排序分页，这样对性能有很大的影响。如何解决呢？ 可以控制搜索结果在100页以内，这样对性能就不会有太大的影响了。通过设置index.max_result_window来突破10000页的限制二、滚
转载
2024-01-04 13:24:41
19阅读
ES现在已经越来越火，很多公司会把mysql里面的数据导入到ES，用ES来做海量数据的实时查询。许多不了解ES底层查询原理的人，会奇怪为什么ES能用来做海量数据的实时查询，为什么Mysql做不了？ 我进行了一些分析和对比，结论如下： 1.es天生的分布式架构，天然支持海量数据的分片和查询，而mysql不是分布式架构； 2.mysql和es底层索引结构导致即便是单片数据查询，es也更适合做查询引擎；
转载
2023-07-11 13:17:22
632阅读
文章目录分布式介绍及cerebroMaster Node创建一个索引Coordinating Node副本与分片提高系统的可用性副本增大系统容量分片集群状态Cluster Health故障转移文档分布式存储文档创建的流程文档读取的流程文档批量创建的流程文档批量读取的流程脑裂问题shard详解倒排索引的不可变更文档搜索实时性文档搜索实时性-refresh文档搜索实时性-translog文档搜索实时
转载
2024-03-25 22:09:54
286阅读
MySQL8.0 性能测试与新特性介绍性能对比测试内容测试mysql5.7和mysql8.0 分别在读写、只读、只写模式（（oltp_read_write，oltp_read_only，oltp_write_only））下不同并发时的性能（tps，qps）测试环境测试使用版本分别为mysql8.0.20和mysql5.7.30Sysbench测试前先重启mysql服务，并清空OS的cache(避免
转载
2023-10-22 20:07:47
232阅读
世上无难事只要肯放弃 面试的时候，经常会被问到：如何保证mysql 和 es 数据的一致性？ 当然，也有其他的类似的问题，比如：如何保证 Mysql 和 es 数据一致性问题及方案？如果保证 Mysql 和 redis 数据一致性问题及方案？如果保证 Mysql 和 HBase 数据一致性？等等等等？ 问题场景：生产需求上，为了便于
转载
2024-07-31 16:12:33
23阅读
# MongoDB 和 MySQL 读写性能对比
## 1. 流程
| 步骤 | 描述 |
| ------ | ------ |
| 1 | 创建 MongoDB 和 MySQL 数据库 |
| 2 | 写入大量数据到 MongoDB 和 MySQL |
| 3 | 读取数据并计算读取时间 |
## 2. 实现步骤
### 步骤 1：创建数据库
首先，我们需要创建 MongoDB 和
原创
2024-04-04 03:55:00
46阅读
利用MySQL读写分离，提升应用数据吞吐性能
背景 一般情况下，对数据库的读和写都在同一个数据库服务器中操作时，业务系统性能会降低。为了提升业务系统性能，优化用户体验，可以通过读写分离来减轻主数据库的负载。本篇文章分别从应用层和系统层来介绍读写分离的实现方法。应用层实现方法： 应用层中直接使用代码实现，在进入Service之前，使用AOP来做出判断，是使用写库还是读库，判断
转载
2024-08-07 15:42:18
30阅读
MyISAM在读操作占主导的情况下是很高效的。可一旦出现大量的读写并发，同InnoDB相比，MyISAM的效率就会直线下降，而 且，MyISAM和InnoDB的数据存储方式也有显著不同：通常，在MyISAM里，新数据会被附加到数据文件的结尾，可如果时常做一些 UPDATE，DELETE操作之后，数据文件就不再是连续的，形象一点来说，就是数据文件里出现了很多洞洞，此时再插入新数据时，按缺省设置会先看
转载
2023-10-27 16:49:26
74阅读
