#!/usr/bin/python
#-*- coding:gb18030 -*-
'''
Usage: mq.py [Qmgr]
*get the queues' curdepth which type is local,
and sorted by curdepth desc.
Auth : nextgodhand@163.com
'''
import re
import os
import
ES集群搭建一、环境准备JDK 配置。 略 2. elasticsearch7.X开始需要java11，通常我们用jdk1.8作为共有环境变量，我们可以不安装 jdk11版本 。但启动会报错，因为与现有环境变量冲突。敲黑板：es安装包包含一个相匹配的 JAVA 版本，只需修改配置文件。修改启动脚本/bin/elasti
转载
2024-04-11 19:50:00
76阅读
文章目录1. maven配置2. 等值查询3. 范围查询4. 模糊查询5. 多条件查询6. 集合查询7. 使用should查询8. should和must配合查询9. 有值查询10. 分页查询11. ES脚本查询 开发过程中多使用ES的javaAPI，通过javaAPI来对ES的索引进行操作，对ES的操作一般都是通过构建QueryBuilder对象来进行操作。下面介绍几种QueryBuilder
转载
2024-03-19 09:49:54
218阅读
目录1、什么是kafka？2、kafka的作用和使用场景？3、kafka的基本架构，由什么组成？4、kafka命令行操作 4.1主题topic命令行操作（1）查看操作主题命令参数（2）查看当前服务器中的所有topic（3）创建、修改、删除、查看topic4.2生产者命令行（1）查看操作生产者命令参数 (2) 发送消息 4.3消费者命令行&n
转载
2024-03-21 22:22:38
516阅读
一：如果zabbix 监控大量主机，比如超过500台左右的主机，就可能会出现延迟比较大的问题，比如数据采集慢，队列等待较多等，查看队列的方法如下： 1.1：Administration-Queue:1.2:主动模式与被动模式：这是对于zabbix agent来说的工作模式
#被动模式就是由zabbix server向zabbix agent发出指令获取数据，即zabbix agent被
转载
2024-02-17 12:25:25
198阅读
# Redis查看队列消息积压条数
## 简介
在开发过程中，我们经常会使用Redis作为消息队列，通过将数据存放在Redis队列中，实现异步处理等功能。然而，有时我们需要查看队列中积压的消息条数，以便及时发现并解决问题。本文将向你介绍如何使用Redis查看队列消息积压条数的方法。
## 步骤
| 步骤 | 操作 |
| --- | --- |
| 步骤一 | 连接Redis |
| 步骤二
原创
2023-07-23 23:08:48
261阅读
分片策略分片数制定每个分片占用的硬盘容量不超过 32G，如果索引的总容量在 500G 左右，那分片大小在 16 个左右即可；一般都设置分片数不超过节点数的 3 倍；推迟分片分配对于节点瞬时中断的问题，默认情况，集群会等待一分钟来查看节点是否会重新加入，如果这个节点在此期间重新加入，重新加入的节点会保持其现有的分片数据，不会触发新的分片分配。这样就可以减少 ES 在自动再平衡可用分片时所带来的极大开
转载
2024-02-08 08:04:17
274阅读
[ActiveMQ的作用总结(应用场景及优势)]业务场景说明:消息队列在大型电子商务类网站，如京东、淘宝、去哪儿等网站有着深入的应用，队列的主要作用是消除高并发访问高峰，加快网站的响应速度。在不使用消息队列的情况下，用户的请求数据直接写入数据库，在高并发的情况下，会对数据库造成巨大的压力，同时也使得系统响应延迟加剧。在使用队列后，用户的请求发给队列后立即返回,（例如: 当然不能直接给用户提示订单
转载
2024-09-04 22:18:37
51阅读
# 学习如何使用Python进行Elasticsearch Bulk操作
## 引言
Elasticsearch是一个分布式搜索引擎，支持文档存储和全文搜索。在处理大批量数据时，使用Bulk API可以显著提高性能和减轻负担。本文章将带领您完成使用Python实现Elasticsearch Bulk操作的流程。
## 流程概述
以下是使用Python进行Elasticsearch Bulk
原创
2024-10-04 04:04:19
276阅读
在 CRUD 章节，我们已经知道 ES 的数据写入是如何操作的了。喜欢自己动手的读者可能已经迫不及待的自己写了程序开始往 ES 里写数据做测试。这时候大家会发现：程序的运行速度非常一般，即使 ES 服务运行在本机，一秒钟大概也就能写入几百条数据。这种速度显然不是 ES 的极限。事实上，每条数据经过一次完整的 HTTP POST 请求和 ES indexing 是一种极大的性能浪费，为此，ES 设计
转载
2024-10-28 11:43:58
24阅读
基本概念1、Cluster（集群）es集群对外提供索引和搜索的服务，其包含一个或者多个节点，每个节点都有统一的集群名称。参考本地集群搭建。2、Node（节点）单独一个Elasticsearch服务器实例称为一个node，node是集群的一部分，每个node有独立的名称，默认是启动时获取一个UUID作为名称，也可以自行配置。3、Shard（分片）Shard分片也称为primary shard，是单个
转载
2024-04-09 22:24:53
156阅读
基于udp协议：IGMP,DNS,TFTP,PIP,BOOTP,DHCP,SNMP,NFS,IP电话的专有协议，流式多媒体通信（专用协议）基于TCP协议 ：SMTP,WWW,FTP,TELENT. 无线网加密方法安全性由低到高：MAC地址过滤，WEP，WPA,WPA2 ESB、RUP、EJB、PERT技术说明ESB 全称为Enterprise Service Bus，即企业服务
Elasticsearch是当今最流行的分布式搜索引擎，首先介绍下使用场景，比如：
全文检索
比如找到与搜索词项(term)最相关的维基百科文章。
聚合
比如在广告网络中，可视化的搜索词项的竞价
转载
2024-03-28 13:47:03
49阅读
概念解析CURD 操作CURD 操作都是针对具体的某个或某些文档的操作，每个文档的 routing 都是确认的，所以其所在分片也是可以事先确定的。该过程对应 ES 的 Document API。新建（C）： 指对某个文档进行索引操作的过程。检索（R）： 指从 ES 中获取某个或多个特定文档的过程。删除（D）： 指从 ES 中删除某个文档让其不再可被搜索。更新（U）： 指在 ES 中更新某个文档的过
转载
2024-08-28 22:12:44
30阅读
IBM MQ队列积压指的是当消息进入速度远远超过消息处理（或消息转发）速度时，会使得队列中的消息积累过多，影响系统性能，甚至导致系统资源耗尽，例如内存或磁盘空间不足。解决方法：增加消费者：如果是因为处理能力不足导致积压，可以增加更多的消费者来处理消息。调整MQ队列深度：根据应用需求和系统能力调整队列的最大深度，以控制积压的消息数量。应用逻辑检查：检查应用逻辑，确保不会产生过多无效或不需要的消息，减
原创
2024-05-14 09:34:04
355阅读
文章目录前言一、bulk概述1.1 基础概念1.2 bulk语法1.3 操作类型二、使用示例2.1 批量插入2.2 批量更新2.3 批量删除总结 前言本篇文章主要总结如何使用bulk对es进行批量操作一、bulk概述1.1 基础概念bulk是es提供的一种批量增删改的操作API。1.2 bulk语法bulk对JSON串的有着严格的要求。每个JSON串不能换行，只能放在同一行，同时，相邻的JSON
转载
2024-03-27 17:12:06
318阅读
接到现场报告，MongoDB向ES同步数据延迟越来越大，有的已经超过10个小时，造成客户新加入的用户无法被搜索出来。由于在系统中ES类似于数仓，很多统计和第三方接系统都需要从ES获取数据，所以也影响了一些其他依赖ES数据的功能和业务。架构简图tomcat------日志数据----->logstash-------日志数据--->| E 
转载
2024-04-14 12:50:12
191阅读
当消费者出现异常，很容易引起队列积压，如果一秒钟1000个消息，那么一个小时就是几千万的消息积压，是非常可怕的事情，但是生产线上又有可能会出现；当消息积压来不及处理，rabbitMQ如果设置了消息过期时间，那么就有可能由于积压无法及时处理而过期，这消 快速消费，一般都是通过业务逻辑的手段.
原创
2021-07-06 10:57:18
1083阅读
导述 由于消息消费速度处理慢或是消费端故障会导致数据产生积压。那怎么查看数据积压量呢？Consumer-Groups管理 在Kafka 的bin目录下提供了 kafka-consumer-groups.sh 脚本。此脚本用于管理消费情况。
转载
2022-06-28 15:06:00
846阅读
