一 应用场景描述前面介绍了两种处理Zabbix历史数据的解决办法，但是如果当监控数据继续增长的话是不足以解决问题的。办法一适合在没有做表分区的情况下，只保留一段时间的数据，比如一个月，然后把老的数据删除再使用方法二，这种操作执行时间长。办法二是使用MySQL自带的表分区功能，将history等表按照日期进行分区，然后只保留一段时间的数据。但是即使使用表分区功能定期删除不用的分区数据，也会有瓶颈产生
转载
2024-03-06 11:18:53
136阅读
由于量化策略研究需要用到尽量全的历史数据，包括：股票、外汇、期货、基金等等的分钟、小时、日历史数据，而且数据尽量全，最好能从九几年起。所以我在网上做了较多的搜查以找到可用的数据源。以下分别列出几个方案，并讨论其优缺，最后总结出一条可行的路。 Tushare 数据接口：该接口基本是使用新浪的数据源做一个python的封装。而且目前只针对股票，能获取到日线数据较为完整。分钟线和小时
目录一、binlog日志二、数据恢复： 一、binlog日志1.binlog日志介绍1）binlog也叫归档日志，它属于mysql的server层，所以所有储引擎都可以使用该日志。 2）binlog是逻辑日志，记录的是这个语句的原始逻辑，比如“给ID=2这一行的c字段加1 ”。 3）binlog是可以追加写入的。“追加写”是指binlog文件写到一定大小后会切换到下一个，并不会覆盖以前的日志。2
转载
2023-09-16 15:18:13
279阅读
在实际业务中，累计5年的历史业务数据可能比较大，比如可能超过1T的数据，这时可能就会影响业务处理 OLTP的运行效率，一般是将5年以上的数据归档的其他地方，同时从当前业务系统中删除。 有各位哥们对这个过程比较熟悉，ORACLE ERP时什么策略呢？ 请高手指点。 DBX archiver的功能就是把历史数据放在另一个数据库中，如果在prod中的查询涉及到历史数据，就会到历史库中取数据，实现对客户的
转载
2023-09-17 00:51:53
310阅读
读取ExecuteReader 写入SqlBulkCopy 创建归档临时表和非归档临时表 读取源表，按归档日期分别写入归档临时表和非归档临时表，记录首条数据 读取源表（写入期间入库的数据），写入非归档临时表 非归档临时表创建索引、分区 非归档临时表改为源表 Drop源表 读取归档临时表写入指定服务器 ...
转载
2021-10-28 17:35:00
321阅读
2评论
# MySQL 中的历史数据管理
在现代数据库系统中，历史数据的管理是一个不可或缺的部分。历史数据是指不再经常改变的数据，但对于业务分析和决策制定依然具有重要价值。MySQL 作为流行的关系数据库管理系统，提供了一些工具和功能来有效管理和查询历史数据。
## 什么是历史数据？
历史数据是系统在特定时间点的状态快照。这些数据可用于各种用途，如审计、趋势分析和报告生成。在许多行业，如金融、电商和
原创
2024-09-26 05:07:12
69阅读
zabbix监控中在对创建项目时，需要设置两个属性：Historyandtrends（历史数据和趋势数据的保存时间，以天数为单位）如下图所示：历史数据和趋势数据是zabbix存储数据的两种方式，它们都是以天数为单位的。历史数据：zabbix监控到的数据在数据库中保存的天数，过去这个时间便会自动的被zabbix的管理机制删除，所以强烈建议历史数据保存所允许的尽可能小的天数，这样是为了防止数据库负载太
转载
2024-05-24 10:49:49
64阅读
该实验的目的是使用回退的四大作用之一,闪回历史的数据
通过回退段来闪回老交易的数据
闪回到指定的scn点
--当前系统的SCN号
select DBMS_FLASHBACK.GET_SYSTEM_CHANGE_NUMBER() from dual;
改变表的数据，提交
update scott.emp set sal=sal+1;
Commit;
闪回
execute DBMS_
转载
精选
2012-07-13 20:19:46
940阅读
############sample 1https://blog.51cto.com/sfzhang88/1558254如何从Zabbix数据库中获取监控数据
做过Zabbix的同学都知道，Zabbix通过专用的Agent或者SNMP收集相关的监控数据，然后存储到数据库里面实时在前台展示。Zabbix监控数据主要分为以下两类： &nb
转载
2024-03-11 19:07:11
915阅读
由于Zabbix基本都是通过web配置的，这些配置数据也是存放到数据库里面的，并且这些配置数据对硬盘容量的要求基本可以忽略不计。Zabbix对硬盘空间的决定性因素有4个，如下：1. 每秒处理的数据量这里的每秒处理的数据量只是一个平均值，例如我有3000个监控项，都是每30秒（默认值）刷新
转载
2024-03-15 15:33:20
755阅读
# Redis中如何查找指定key的历史数据
## 1. 问题描述
在实际应用中，经常会遇到需要查找指定key的历史数据的需求。例如，在一个日志系统中，我们希望能够根据某个关键字来查找日志的历史记录，或者在一个监控系统中，我们希望能够根据某个指标的变化情况来查找历史数据。本文将介绍如何使用Redis来解决这类问题。
## 2. 解决方案
Redis是一种基于内存的键值存储系统，它提供了丰富
原创
2023-11-08 12:23:26
293阅读
1.停止相关服务，避免写入数据service zabbix_server stopservice httpd stop******************************************$ sudo /etc/init.d/zabbix-server stop$ sudo /etc/init.d/apache2 stop*******************************
原创
2015-04-22 10:10:05
8883阅读
清理脚本#!/bin/bash
Date=`date -d $(date -d "-30 day" +%Y%m%d) +%s`
/usr/local/mysql/bin/mysql --login-path=zabbix -e"
use zabbix;
DELETE FROM h
原创
2017-07-02 18:04:57
1267阅读
项目上线不到一个月，zabbix数据居然快100G，监控项太多，数据量太大，zabbix负载重，暂时不想升级硬件，只好内部挖掘下，清除下历史数据；一般保留1个月的数据，zabbix这个项目只是做监控报警用，数据保留太多没太大参考意义； 一般都是这几个表太大， history， history_uint，history_log
转载
2017-09-19 17:27:57
10000+阅读
获取openfalcon历史数据
原创
2018-06-08 14:37:36
5050阅读
# 使用 MongoDB 存储历史数据的指南
在现代应用开发中，存储历史数据是一个常见需求。在这篇文章中，我将告诉你如何使用 MongoDB 来存储历史数据。接下来，我们将通过一系列步骤帮助你理解整个过程。
## 流程概述
我们将按照以下步骤来存储历史数据：
| 步骤 | 描述 |
|------|------
原创
2024-08-03 08:14:34
109阅读
# MongoDB历史数据删除
MongoDB是一种流行的NoSQL数据库，它以其高性能、高可用性和可扩展性而闻名。随着时间的推移，数据库中的数据会不断增长，有时需要删除旧的或不再需要的数据以释放存储空间。本文将介绍如何使用MongoDB删除历史数据，并提供一些代码示例。
## 了解MongoDB的数据删除操作
在MongoDB中，可以使用`deleteOne`和`deleteMany`方法
原创
2023-11-22 15:08:00
428阅读
# 历史数据写入HBase
在大数据领域中，HBase是一个非常流行的分布式数据库，它可以用来存储海量结构化数据。在实际应用中，我们经常需要将历史数据写入HBase，以便后续进行数据分析和查询。本文将介绍如何使用Java代码将历史数据写入HBase，并附带代码示例。
## HBase简介
HBase是一个开源的、分布式的、面向列的NoSQL数据库，它是基于Google的Bigtable论文实
原创
2024-05-19 04:44:05
61阅读
# Shardingsphere历史数据迁移实践指南
## 1. 引言
本文旨在介绍如何使用Shardingsphere进行历史数据迁移。Shardingsphere是一款开源的分布式数据库中间件，可以提供分库分表、读写分离、数据加密等功能，同时也支持历史数据迁移。
## 2. 流程概述
为了更好地理解整个历史数据迁移过程，我们可以使用流程图来展示。下面是迁移的基本流程：
```mermai
原创
2024-01-09 20:54:48
391阅读
Java软件开发神器最新版发布，感受其七大独特魅力。 抓紧在第一时间更新并体验了几天，感觉还是有点香的！怎么说呢，体验完新特性之后，不由的感叹一句：IDEA现在真的是越来越智能，越来越懂开发者了。UI/界面升级1、界面支持中文了汉化后的效果就是这个憨样子，好坏就不做评判了，可以根据自己的喜好来调节。 必须要说的是，这个中文汉化不是软件原生支持，而是需要下载安装一
