1、题记想到删除，基础认知是delete，细分为删除文档（document）和删除索引；要删除历史数据，基础认知是：删除了给定条件的数据，用delete_by_query。 实际操作发现： - 删除文档后，磁盘空间并没有立即减少，反而增加了？ - 除了定时任务+delete_by_query，有没有更好的方式呢？2、常见的删除操作2.1 删除单个文档DELETE
新建索引新建 Index，可以直接向 Elastic 服务器发出 PUT 请求。下面的例子是新建一个名叫weather的 Index。$ curl -X PUT 'localhost:9200/weather'服务器返回一个 JSON 对象，里面的acknowledged字段表示操作成功。{
"acknowledged":true,
"shards_acknowledged":true
}
一 应用场景描述前面介绍了两种处理Zabbix历史数据的解决办法，但是如果当监控数据继续增长的话是不足以解决问题的。办法一适合在没有做表分区的情况下，只保留一段时间的数据，比如一个月，然后把老的数据删除再使用方法二，这种操作执行时间长。办法二是使用MySQL自带的表分区功能，将history等表按照日期进行分区，然后只保留一段时间的数据。但是即使使用表分区功能定期删除不用的分区数据，也会有瓶颈产生
问题描述：今天同事说有个zabbix监控数据库历史数据越来越多了，让我帮忙清一下，顺便熟悉练练手，做个笔记zabbix监控运行一段时间以后，会留下大量的历史监控数据zabbix数据库一直在增大可能会造成系统性能下降，查看历史数据室查询速度缓慢。zabbix里面最大的表就是history和history_uint两个表，但是我这边查看到history_log表也是最大的。而且zabbix里面的时间是
目录一、binlog日志二、数据恢复： 一、binlog日志1.binlog日志介绍1）binlog也叫归档日志，它属于mysql的server层，所以所有储引擎都可以使用该日志。 2）binlog是逻辑日志，记录的是这个语句的原始逻辑，比如“给ID=2这一行的c字段加1 ”。 3）binlog是可以追加写入的。“追加写”是指binlog文件写到一定大小后会切换到下一个，并不会覆盖以前的日志。2
转载
2023-09-16 15:18:13
228阅读
在实际业务中，累计5年的历史业务数据可能比较大，比如可能超过1T的数据，这时可能就会影响业务处理 OLTP的运行效率，一般是将5年以上的数据归档的其他地方，同时从当前业务系统中删除。 有各位哥们对这个过程比较熟悉，ORACLE ERP时什么策略呢？ 请高手指点。 DBX archiver的功能就是把历史数据放在另一个数据库中，如果在prod中的查询涉及到历史数据，就会到历史库中取数据，实现对客户的
转载
2023-09-17 00:51:53
237阅读
# MySQL 中的历史数据管理
在现代数据库系统中，历史数据的管理是一个不可或缺的部分。历史数据是指不再经常改变的数据，但对于业务分析和决策制定依然具有重要价值。MySQL 作为流行的关系数据库管理系统，提供了一些工具和功能来有效管理和查询历史数据。
## 什么是历史数据？
历史数据是系统在特定时间点的状态快照。这些数据可用于各种用途，如审计、趋势分析和报告生成。在许多行业，如金融、电商和
读取ExecuteReader 写入SqlBulkCopy 创建归档临时表和非归档临时表 读取源表，按归档日期分别写入归档临时表和非归档临时表，记录首条数据 读取源表（写入期间入库的数据），写入非归档临时表 非归档临时表创建索引、分区 非归档临时表改为源表 Drop源表 读取归档临时表写入指定服务器 ...
转载
2021-10-28 17:35:00
276阅读
2评论
Mysql缓存特征MysqlL查询缓存机制是MySQL数据库中的重要机制之一缓存sql文本及查询结果，如果运行相同的sql，服务器直接从缓存中取到结果，而不需要再去解析和执行sqlMysql缓存适用于那些不常变化的表缓存的结果是通过sessions共享的，所以一个client查询的缓存结果，另一个client也可以使用缓存不会返回过时的数据哪些情况下Mysql缓存不起作用Mysql缓存在分库分表环
zabbix监控中在对创建项目时，需要设置两个属性：Historyandtrends（历史数据和趋势数据的保存时间，以天数为单位）如下图所示：历史数据和趋势数据是zabbix存储数据的两种方式，它们都是以天数为单位的。历史数据：zabbix监控到的数据在数据库中保存的天数，过去这个时间便会自动的被zabbix的管理机制删除，所以强烈建议历史数据保存所允许的尽可能小的天数，这样是为了防止数据库负载太
由于Zabbix基本都是通过web配置的，这些配置数据也是存放到数据库里面的，并且这些配置数据对硬盘容量的要求基本可以忽略不计。Zabbix对硬盘空间的决定性因素有4个，如下：1. 每秒处理的数据量这里的每秒处理的数据量只是一个平均值，例如我有3000个监控项，都是每30秒（默认值）刷新
一、TiDB 整体架构TiDB 集群主要分为三个组件：TiDB ServerTiDB Server 负责接收 SQL 请求，处理 SQL 相关的逻辑，并通过 PD 找到存储计算所需数据的 TiKV 地址，与 TiKV 交互获取数据，最终返回结果。 TiDB Server 是无状态的，其本身并不存储数据，只负责计算，可以无限水平扩展，可以通过负载均衡组件（如LVS、HAProxy 或 F5）对外提供
清理监听日志处理的方法：
1：首先停止监听服务进程（tnslsnr）记录日志。
lsnrctl set log_status off;
2：将监听日志文件（listener.log）复制一份，以listener.log.yyyymmdd格式命名
cp listener.log listener.log.2
## Hadoop HistoryServer 对保留的历史数据的清除策略
在Hadoop中，HistoryServer是一个可选组件，用于聚合和展示MapReduce任务和YARN应用程序的历史记录。它有助于用户了解任务和应用程序的执行情况以及性能指标。然而，随着时间的推移，历史数据可能会积累并占用大量的存储空间。因此，Hadoop提供了一些策略来清除保留的历史数据，以确保存储空间的有效利用。
原创
2023-09-18 09:55:37
129阅读
我立即对该节点的数据库和集合进行了空间分析，发现一个名为 "visitor" 的集合数据量已经达到了 20 多亿条，占用了 260GB 的磁盘空间
############sample 1https://blog.51cto.com/sfzhang88/1558254如何从Zabbix数据库中获取监控数据
做过Zabbix的同学都知道，Zabbix通过专用的Agent或者SNMP收集相关的监控数据，然后存储到数据库里面实时在前台展示。Zabbix监控数据主要分为以下两类： &nb
因为流量突高，导致整个流量图都不好了，如图：新生成的数据在24小时图标无法正常查看，幸亏我们还可以对历史数据修改根据时间段我们查看下数据：# rrdtool 11267traffic.rrd AVERAGE --start 1401976800 --end 1401978600bytes_read
原创
2014-06-06 11:59:59
4662阅读
1、统计数据库中每个表所占的空间：12345mysql> SELECT table_name AS "Tables", round(((data_length + index_length) / 1024 / 1024), 2) "Size in MB" &nb
转载
2018-09-12 10:53:03
2356阅读
处理大数据量数据访问速度缓慢的问题 方案1 水平分库分表，比如根据年份划分， 数据库、 数据库等等 查询的时候根据查询时间，去不同的数据库查询，然后组合结果返回 示例代码 "HistoricalDataManage" 方案2 建立 和`实时数据库`，历史数据库存储所有数据，实时数据库仅保留常用数据
原创
2021-04-25 20:56:10
627阅读
zabbix压力太大，清理无用历史数据
原创
2016-10-28 18:21:37
10000+阅读
