关于数据库的使用方式，我来分享下自己这几年使用数据库的四个阶段和一些杂谈！ 1，简单的一个数据库事例:没有复杂的结构，只需要简单的连接信息，就可以使用数据库，这个时候，读写数据的性能优化，主要如下: ①，使用show status查看数据库事务计数，慢查询，锁和锁的时间分布，以及警告信息等，根据这些信息进行优化！ ②，优化SQL:主要是排序，where句等尽量使用索引列，少用like语句，避免使用
转载
2024-10-03 15:30:07
74阅读
初次使用ClickHouse，基本都会碰到如下图中too many parts的报错。本文将具体介绍报错原因和优化方案。频繁写入ClickHouse报错原因如上图所示，clickhouse操作数据的最小操作单元是block，每次写入，都会按照zookeeper记录的唯一自增的blockId，按照PartitionId_blockId_blockId_0生成data parts，也就是小文件，然后后
转载
2024-02-02 11:44:48
268阅读
今天要说的是mysql 的 MYISAM引擎下的表锁问题。通常来说，在MyISAM里读写操作是串行的，但当对同一个表进行查询和插入操作时，为了降低锁竞争的频率，根据concurrent_insert的设置，MyISAM是可以并行处理查询和插入的：当concurrent_insert=0时，不允许并发插入功能。当concurrent_insert=1时，允许对没有洞洞的表使用并发插入，新数据位于数据
转载
2024-04-13 18:03:44
100阅读
# Redis 写入 QPS 对读性能的影响
在现代的应用程序中，Redis 是一个被广泛使用的高性能键值存储。许多开发者会关心Redis的写入速率（QPS, Queries Per Second）是否会影响到数据的读取性能。本文将带你一步一步地了解如何实验这一问题，最终得出结论。
## 1. 整体流程概述
为了解决这个问题，我们需要进行一系列的实验，记录不同写入负载下的读性能。下面的表格展
原创
2024-08-26 03:31:40
48阅读
# Redis 频繁读
## 什么是 Redis
Redis是一个开源的内存中数据结构存储系统，可以用作数据库、缓存和消息中间件。它支持多种数据结构，如字符串、哈希、列表、集合和有序集合等。Redis的高性能和灵活性使其成为许多应用程序中常用的工具。
## 为什么要频繁读取 Redis
在实际应用中，有很多场景需要频繁读取Redis来获取数据，比如缓存数据、实时统计等。频繁读取Redis可
原创
2024-06-17 05:35:10
56阅读
## 如何实现"mysql 保障写入的时候不影响读"
作为一名经验丰富的开发者，我将教你如何在MySQL数据库中保障写入的同时不影响读取操作。这个过程可以通过以下步骤来完成：
### 步骤
| 步骤 | 操作 |
|--------|---------------|
| 步骤一 | 开启事务 |
| 步骤二 | 执行写入操作 |
| 步骤三 | 提交
原创
2024-05-21 03:35:53
38阅读
# MongoDB频繁写入：入门指南
作为一名经验丰富的开发者，我深知MongoDB在处理频繁写入时的重要性。MongoDB以其高性能和灵活性而闻名，但初学者可能会对如何实现这一点感到困惑。本文将为您提供一个详细的入门指南，帮助您理解并实现MongoDB的频繁写入。
## 1. 准备工作
在开始之前，确保您已经安装了MongoDB和相应的驱动程序。您可以从[MongoDB官网](
## 2
原创
2024-07-30 08:44:56
29阅读
今天要说的是mysql 的 MYISAM引擎下的表锁问题。通常来说，在MyISAM里读写操作是串行的，但当对同一个表进行查询和插入操作时，为了降低锁竞争的频率，根据concurrent_insert的设置，MyISAM是可以并行处理查询和插入的：当concurrent_insert=0时，不允许并发插入功能。当concurrent_insert=1时，允许对没有洞洞的表使用并发插入，新数据位于数据
转载
2023-12-06 23:11:11
68阅读
Mysql在写入压力很大，怎么办？高并发下的性能最大的问题，大都在数据库，以前我们做二十万超级群，mongodb每个月都会出事故.我们聊聊,高并发下如何缓解mysql的压力⚠️：mysql是锁锁表不锁库，sqlite是锁库不锁表环境准备Macmysqlnavicatwrk压测工具node.js环境下载wrkbrew install wrk如果这里卡住，可以调整`替换brew.git:cd
转载
2024-06-17 22:01:43
40阅读
# Redis频繁查询影响的解决方法
## 介绍
在开发过程中，我们会使用Redis来进行缓存操作，以提高数据查询的性能。但是，如果我们频繁查询Redis中的数据，却没有合理的优化策略，就有可能影响系统的性能和稳定性。本文将介绍如何解决Redis频繁查询的问题，并给出相应的代码示例。
## 解决方案
### 步骤概览
以下表格展示了解决Redis频繁查询问题的整体流程：
| 步骤 |
原创
2023-08-03 08:01:23
216阅读
# Redis 写入频繁性能
## 介绍
Redis 是一个开源的内存数据结构存储系统，它可以用作数据库、缓存和消息中间件。它支持多种数据结构，如字符串、哈希、列表、集合和有序集合，并提供了丰富的操作函数，可以高效地进行数据读写。
Redis 的写入频繁性能是指在高并发写入场景下，Redis 能够处理的写入请求数量。对于某些应用场景，如实时计算、日志记录等，写入频繁性能是非常关键的。本文将介
原创
2023-10-20 17:34:43
163阅读
Synchronized低效的原因在Java SE 1.6发布前,使用Synchronized关键字实现同步功能是比较低效的,很多人称其为重量级锁.究其原理,是因为Synchronized是通过对象内部的一个叫做监视器锁（monitor）来实现的,而监视器锁本质又是依赖于底层的操作系统的Mutex Lock来实现的。操作系统实现线程之间的切换需要从用户态转换到核心态，这个成本非常高，状态之间的转换
# Yarn 资源频繁刷新影响
## 介绍
Yarn是一种流行的包管理工具，用于管理项目中的 JavaScript 依赖项。然而，使用Yarn时可能会遇到一个问题：资源频繁刷新影响。这个问题可能会导致安装和更新依赖项的进度缓慢，从而影响开发人员的工作效率。本文将向您介绍这个问题的原因，以及如何解决它。
## 问题的原因
首先，让我们了解一下为什么资源频繁刷新会对Yarn产生影响。当我们使用Ya
原创
2024-01-13 03:53:00
87阅读
当我们发现 Redis 并没有再执行一些类似于集合的全量遍历，执行集合的排序，交集，并集操作，KEYS 操作等这些慢操作，也没有同时删除过大量的过期的 keys 操作时，Redis 仍然还是变慢了，那么此时就需要考虑影响 Redis 性能的另外两个因素：文件系统及其操作系统。Redis 实例需要进行数据的持久化，就需要将数据保存在磁盘上，所以文件系统机制直接影响到了 Redis 的持久化方面的性能
转载
2023-10-11 23:55:29
592阅读
背景提供了一个商品信息查询接口，此接口中会从Redis缓存中读取一个大对象列表出来，然后再根据传入的参数，对大对象列表进行过滤，进而得到最终的返回结果。这里是一个比较典型的触发CPU飙高的场景，单次调用会生成大对象导致占用大量的年轻代空间。如果在业务高峰期，调用这个商品查询接口的频次很高的话，会导致堆内存飙升，老年代空间飙升，最终导致Full GC，如果不停地请求这个接口，会发现GC垃圾回收的时间
转载
2023-07-11 20:40:34
814阅读
在处理MySQL磁盘写入频繁的问题时，我们需要通过分析具体的用户场景，识别在数据库写入时出现的异常，以及确定根因，最终提出有效的改进措施。以下内容将详细描述解决“mysql磁盘写入频繁优化”的过程。
### 用户场景还原
在某大型在线零售平台中，为了提升用户体验和订单处理效率，开发团队决定优化其后端数据库。经过一段时间的监控，发现MySQL的磁盘写入频率异常高，导致数据库性能严重下降，影响了系统
Log引擎&StripeLog引擎?前言? Log引擎?文件结构? 特征? StripeLog引擎?文件结构? 特征?总结 ?前言官方文档 log引擎家族有3种引擎：TinyLogStripeLogLogClickhouse(7)—TinyLog引擎 本文记录 Log引擎&StripeLog引擎? Log引擎日志与 TinyLog 的不同之处在于，«标记» 的小文件与列文件存在一
转载
2024-07-07 10:20:15
64阅读
文章标题一：SQLmap基础知识二：SQLmap各大模块中的常用命令（一） 基础命令（二） target模块（三） Emuneration模块（四）其他命令三：SQLmap应用示例（一）基于GET数据传输方式（二）基于POST数据传输方式四：使用SQLmap获取站点的Shell 一：SQLmap基础知识二：SQLmap各大模块中的常用命令（一） 基础命令（二） target模块（三） Emune
优化目的与目标：1.优化的目的：提高资源利用率避免短板效应提高系统吞吐量同时满足更多用户在线需求2.优化的目标：减少磁盘IO：全表扫描，磁盘临时表，日志和数据块fsync减少网络带宽：返回太多数据，交互次数过多降低CPU消耗：排序分组（order by，group by），聚合函数（max，min，sum），逻辑读需要关注的性能指标：1.QPS/TPS：TPS：平均每秒的事务数QPS：平均每秒SQ
转载
2023-08-13 13:02:34
251阅读
1. Redis的优缺点优点：
具有优异的读写性能，读写速度分别为110000次/s和81000次/s。支持数据的持久化（AOF和RDB两种方式。支持事务，Redis不仅所有操作都是原子性，而且支持对几个操作合并后的原子性执行。数据结构丰富，String、hash、set、zset、list等数据结构。支持主从复制，可读写分离。缺点：
数据库容量受到物理内存的限制，不能用作海量数据的高
转载
2023-10-07 21:40:50
409阅读
