文件路径 logstash/config/logstash.yml
# ---------- Node identity ----------
# 节点名称，默认主机名
node.name: test
# ---------- Data path ----------
# 数据存储路径，默认LOGSTASH_HOME/data
path.data:
# ---------- Pipel
转载
2023-09-19 00:55:33
50阅读
Logstash是具有实时流水线功能的开源数据收集引擎。Logstash可以动态统一来自不同来源的数据，并将数据规范化为您选择的目标。清除所有数据并使其民主化，以用于各种高级下游分析和可视化用例。虽然Logstash最初推动了日志收集方面的创新，但其功能远远超出了该用例。任何类型的事件都可以通过各种各样的输入，过滤器和输出插件来丰富和转换，许多本机编解码器进一步简化了提取过程。一 logstash
转载
2024-05-18 22:20:55
86阅读
Redis为什么变慢了？常见延迟问题定位与分析Redis作为内存数据库，拥有非常高的性能，单个实例的QPS能够达到10W左右。但我们在使用 Redis 时，经常时不时会出现访问延迟很大的情况，如果你不知道 Redis 的内部实现原理，在排查问题时就会一头雾水。Redis出现访问延迟变大，都与我们的使用不当或运维不合理导致的。以下这篇文章我们就来分析一下 Redis 在使用过程中，经常会遇到的延迟问
转载
2023-07-07 00:42:25
84阅读
Redis 作为一款业内使用率最高的内存数据库，其拥有非常高的性能，单节点的QPS压测能达到18万以上。但也正因此如此，当应用访问 Redis 时，如果发现响应延迟变大时就会给业务带来非常大的影响。比如在日常使用Redis时，肯定或多或少都遇到过下面这种问题：为什么Redis服务过去一直很稳定，突然从今天某个时间点开始变慢了？为什么访问Redis相同的命令，有时响应很快，有时却非常慢？为什么访问R
转载
2023-07-27 23:39:34
39阅读
目录Redis 性能分析定位复杂度过高的命令BigKey 性能问题Key 集中过期问题淘汰策略性能问题RDB 和 AOF 重写大内存页性能影响AOF 模式刷盘机制Redis 绑定 CPURedis 内存碎片Redis 性能分析定位首先我们要通过一些手段，分析定位是否是 Redis 问题1. 应用程序作时间跟踪，比如服务链路、针对性时间日志等等，首先明确是 Redis 环节问题2. 排除应用程序到
转载
2024-04-10 11:45:31
146阅读
Redis 突然变慢了如何排查并解决？
业务场景某购物平台打算举行"双十一"大型购物狂欢活动，到了半夜12点用户数量暴增，出现了一个技术故障，用户发现自己无法下单！！！技术组立即组织人手进行故障排查，结论是 Redis 抛出了 “Could not get a resource from the pool.” 的错误。这个错误的提示信息非常明显，redis 获取不到连接资源，并且集群中的
转载
2023-05-29 16:39:28
204阅读
redis优势也很容易看1、高并发同时大量并发请求进来，数据库是扛不住了，可能宕机或者连接池使用完，导致cpu性能性能下降。我们把一些热点数据存到redis中，并发请求进来直接取到值了，降低数据库压力，保证cpu性能。2、高性能用户第一次请求时候是到数据库磁盘查询数据的，磁盘查询很慢，如果查询后将数据放入redis中，下次查询直接redis拿到数据，redis是存在内存中，内存使用很快，这样就能大
转载
2023-05-29 11:14:51
70阅读
Redis性能问题&优化方案前言Redis真的变慢了吗？使用复杂度过高的命令操作bigkey集中过期实例内存达到上限fork耗时严重开启内存大页开启AOF绑定CPU使用Swap碎片整理网络带宽过载其他原因频繁短连接运维监控其它程序争抢资源总结 前言Redis 作为优秀的内存数据库，拥有非常高的性能，单个实例的 OPS 能够达到 10W 左右，也正因此如此，当我们在使用 Redis 时，如
转载
2023-08-29 21:38:53
38阅读
查看Redis各项指标首先要能够连接到Redis并获取性能相关的指标。本文使用redis-cli客户端指令连接到Redis，使用info [section]命令获取相关指标。不指定section时，会获取所有10项指标：ServerClientsMemoryPersistenceStatsReplicationCPUModulesClusterKeyspace也可以指定section为其中之一，这
转载
2023-05-30 14:30:05
897阅读
性能相关的数据指标通过Redis-cli命令行界面访问到Redis服务器，然后使用info命令获取所有与Redis服务相关的信息。通过这些信息来分析文章后面提到的一些性能指标。info命令输出的数据可分为10个类别，分别是：serverclientsmemorypersistencestatsreplicationcpucommandstatsclusterkeyspace这篇主要介绍比较重要的2
因内存交换引起的性能问题内存使用率是Redis服务最关键的一部分。如果一个Redis实例的内存使用率超过可用最大内存 (used_memory > 可用最大内存)，那么操作系统开始进行内存与swap空间交换，把内存中旧的或不再使用的内容写入硬盘上（硬盘上的这块空间叫Swap分区），以便腾出新的物理内存给新页或活动页(page)使用。 在硬盘上进行读写操作要比在内存上进行读写操作，时间上慢了近
转载
2023-09-01 14:50:03
189阅读
Logstash-Redis数据源配置最开始先看下Redis作为数据来源时支持的所有配置input {
jdbc {
### 使用EVAL从Redis返回的事件数，此属性仅在list模式下起作用。
batch_count =>
### 以“旧名称”⇒“新名称”的形式配置重命名的redis命令。
command_map =>
### 指定列表或频道。[
转载
2024-03-11 16:49:47
108阅读
logstash 的output插件
nginx，logstash和redis在同一台机子上
yum -y install redis，vim /etc/redis.conf 设置bind 0.0.0.0 ，使redis监听在所有端口上
systemctl start redis.service, cd /etc/logstash/conf.d
vim nglogredissample.conf
转载
2023-07-04 15:26:32
145阅读
LogstashLogstash是一个开源数据收集引擎，具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来，并将数据标准化到你所选择的目的地。优势Logstash 主要的优点就是它的灵活性，主要因为它有很多插件，详细的文档以及直白的配置格式让它可以在多种场景下应用。我们基本上可以在网上找到很多资源，几乎可以处理任何问题。劣势Logstash 致命的问题是性能以及资源消耗(默
转载
2024-01-29 02:09:05
78阅读
1. 使用redis有哪些好处？(1) 速度快，因为数据存在内存中，类似于HashMap，HashMap的优势就是查找和操作的时间复杂度都是O(1)(2) 支持丰富数据类型，支持string，list，set，sorted set，hash(3) 支持事务，操作都是原子性，所谓的原子性就是对数据的更改要么全部执行，要么全部不执行(4) 丰富的特性：可用于缓存，消息，按key设置过期时间，过期后将会
转载
2023-08-10 17:08:57
121阅读
一、键值设计1. key名设计(1)【建议】: 可读性和可管理性 以业务名(或数据库名)为前缀(防止key冲突)，用冒号分隔，比如业务名:表名:idtrade:order:1(2)【建议】：简洁性 保证语义的前提下，控制key的长度，当key较多时，内存占用也不容忽视，例如：user:{uid}:friends:messages:{mid} 简化为 u:{uid}:fr:m:{mid}(3)【强制
转载
2024-07-12 19:41:53
56阅读
出去面试基本都会被问到redis，不外乎redis的操作，机制和性能等，这里简单总结一下redis为什么使用单线程还能如此高性能的原因：纯内存访问 Redis将所有数据放在内存中，内存的响应时间大约为100纳秒，这时Redis达到每秒万级别访问的重要基础；非阻塞I/O Redis使用epoll作为I/O多路复用技术的实现，在加上Redis自身的事件处理模型将epoll中的链接、读写、关闭都转换为事
转载
2023-05-29 09:04:51
40阅读
Redis是一个基于BSD开源的项目，是一个把结构化的数据放在内存中的一个存储系统，你可以把它作为数据库，缓存和消息中间件来使用。与传统数据库不同的是Redis读写速度非常快，因此 redis 被广泛应用于缓存方向，每秒可以处理超过 10万次读写操作，是已知性能最快的Key-Value DB。同时支持strings，lists，hashes，sets，sorted sets，bitmaps，hyp
转载
2023-08-30 09:47:21
40阅读
优点：1 读写性能优异2 支持数据持久化，支持AOF和RDB两种持久化方式3 支持主从复制，主机会自动将数据同步到从机，可以进行读写分离。4 数据结构丰富：除了支持string类型的value外还支持string、hash、set、sortedset、list等数据结构。 缺点：1 Redis不具备自动容错和恢复功能，主机从机的宕机都会导致前端部分读写请求失败，需
转载
2023-05-29 10:59:23
67阅读
RDB:Redis DataBase在指定的时间间隔内将内存中的数据级集快照写入磁盘,实际操作过程是fork一个子进程,先将数据集吸入临时文件,写入成功后,再替换之间的文件,用二进制压缩储存优点:1整个redis数据库将只含一个文件dump.rdb,方便持久化2,容灾性好,方便被封3,性能最大化,fork子进程来完成写操作,让主线程继续处理命令,所以是IO最大化. 使用单独子进程来进行持久化,主进
转载
2023-07-28 08:01:55
52阅读
