一 应用场景描述前面介绍了两种处理Zabbix历史数据的解决办法，但是如果当监控数据继续增长的话是不足以解决问题的。办法一适合在没有做表分区的情况下，只保留一段时间的数据，比如一个月，然后把老的数据删除再使用方法二，这种操作执行时间长。办法二是使用MySQL自带的表分区功能，将history等表按照日期进行分区，然后只保留一段时间的数据。但是即使使用表分区功能定期删除不用的分区数据，也会有瓶颈产生
转载
2024-03-06 11:18:53
132阅读
由于量化策略研究需要用到尽量全的历史数据，包括：股票、外汇、期货、基金等等的分钟、小时、日历史数据，而且数据尽量全，最好能从九几年起。所以我在网上做了较多的搜查以找到可用的数据源。以下分别列出几个方案，并讨论其优缺，最后总结出一条可行的路。 Tushare 数据接口：该接口基本是使用新浪的数据源做一个python的封装。而且目前只针对股票，能获取到日线数据较为完整。分钟线和小时
在实际业务中，累计5年的历史业务数据可能比较大，比如可能超过1T的数据，这时可能就会影响业务处理 OLTP的运行效率，一般是将5年以上的数据归档的其他地方，同时从当前业务系统中删除。 有各位哥们对这个过程比较熟悉，ORACLE ERP时什么策略呢？ 请高手指点。 DBX archiver的功能就是把历史数据放在另一个数据库中，如果在prod中的查询涉及到历史数据，就会到历史库中取数据，实现对客户的
转载
2023-09-17 00:51:53
310阅读
目录一、binlog日志二、数据恢复： 一、binlog日志1.binlog日志介绍1）binlog也叫归档日志，它属于mysql的server层，所以所有储引擎都可以使用该日志。 2）binlog是逻辑日志，记录的是这个语句的原始逻辑，比如“给ID=2这一行的c字段加1 ”。 3）binlog是可以追加写入的。“追加写”是指binlog文件写到一定大小后会切换到下一个，并不会覆盖以前的日志。2
转载
2023-09-16 15:18:13
279阅读
读取ExecuteReader 写入SqlBulkCopy 创建归档临时表和非归档临时表 读取源表，按归档日期分别写入归档临时表和非归档临时表，记录首条数据 读取源表（写入期间入库的数据），写入非归档临时表 非归档临时表创建索引、分区 非归档临时表改为源表 Drop源表 读取归档临时表写入指定服务器 ...
转载
2021-10-28 17:35:00
321阅读
2评论
# MySQL 中的历史数据管理
在现代数据库系统中，历史数据的管理是一个不可或缺的部分。历史数据是指不再经常改变的数据，但对于业务分析和决策制定依然具有重要价值。MySQL 作为流行的关系数据库管理系统，提供了一些工具和功能来有效管理和查询历史数据。
## 什么是历史数据？
历史数据是系统在特定时间点的状态快照。这些数据可用于各种用途，如审计、趋势分析和报告生成。在许多行业，如金融、电商和
原创
2024-09-26 05:07:12
69阅读
zabbix监控中在对创建项目时，需要设置两个属性：Historyandtrends（历史数据和趋势数据的保存时间，以天数为单位）如下图所示：历史数据和趋势数据是zabbix存储数据的两种方式，它们都是以天数为单位的。历史数据：zabbix监控到的数据在数据库中保存的天数，过去这个时间便会自动的被zabbix的管理机制删除，所以强烈建议历史数据保存所允许的尽可能小的天数，这样是为了防止数据库负载太
转载
2024-05-24 10:49:49
64阅读
############sample 1https://blog.51cto.com/sfzhang88/1558254如何从Zabbix数据库中获取监控数据
做过Zabbix的同学都知道，Zabbix通过专用的Agent或者SNMP收集相关的监控数据，然后存储到数据库里面实时在前台展示。Zabbix监控数据主要分为以下两类： &nb
转载
2024-03-11 19:07:11
912阅读
由于Zabbix基本都是通过web配置的，这些配置数据也是存放到数据库里面的，并且这些配置数据对硬盘容量的要求基本可以忽略不计。Zabbix对硬盘空间的决定性因素有4个，如下：1. 每秒处理的数据量这里的每秒处理的数据量只是一个平均值，例如我有3000个监控项，都是每30秒（默认值）刷新
转载
2024-03-15 15:33:20
755阅读
1.停止相关服务，避免写入数据service zabbix_server stopservice httpd stop******************************************$ sudo /etc/init.d/zabbix-server stop$ sudo /etc/init.d/apache2 stop*******************************
原创
2015-04-22 10:10:05
8883阅读
清理脚本#!/bin/bash
Date=`date -d $(date -d "-30 day" +%Y%m%d) +%s`
/usr/local/mysql/bin/mysql --login-path=zabbix -e"
use zabbix;
DELETE FROM h
原创
2017-07-02 18:04:57
1267阅读
项目上线不到一个月，zabbix数据居然快100G，监控项太多，数据量太大，zabbix负载重，暂时不想升级硬件，只好内部挖掘下，清除下历史数据；一般保留1个月的数据，zabbix这个项目只是做监控报警用，数据保留太多没太大参考意义； 一般都是这几个表太大， history， history_uint，history_log
转载
2017-09-19 17:27:57
10000+阅读
获取openfalcon历史数据
原创
2018-06-08 14:37:36
5050阅读
# 使用 MongoDB 存储历史数据的指南
在现代应用开发中，存储历史数据是一个常见需求。在这篇文章中，我将告诉你如何使用 MongoDB 来存储历史数据。接下来，我们将通过一系列步骤帮助你理解整个过程。
## 流程概述
我们将按照以下步骤来存储历史数据：
| 步骤 | 描述 |
|------|------
原创
2024-08-03 08:14:34
109阅读
# 历史数据写入HBase
在大数据领域中，HBase是一个非常流行的分布式数据库，它可以用来存储海量结构化数据。在实际应用中，我们经常需要将历史数据写入HBase，以便后续进行数据分析和查询。本文将介绍如何使用Java代码将历史数据写入HBase，并附带代码示例。
## HBase简介
HBase是一个开源的、分布式的、面向列的NoSQL数据库，它是基于Google的Bigtable论文实
原创
2024-05-19 04:44:05
61阅读
MySQL学习笔记 安装部分步骤总结： 编译安装MySQL ： 1、检查并更新可更新的rpm包 2、关闭防火墙 3、修改hosts 4、检查并删除之前安装的MySQL 5、安装编译代码依赖的包 6、新建组合用户 7、cmake > make > make install 8、创建目录、修改my.cnf参数、添加链接文件、修改文件夹权限 9、初始化配置 10、启动MySQL
引言为什么要搭建该系统Kafka是一个消息系统，原本开发自LinkedIn，用作LinkedIn的活动流（activity stream）和运营数据处理管道（pipeline）的基础。活动流数据是所有站点在对其网站使用情况做报表时要用到的数据中最常规的部分。活动数据包括页面访问量（page view）、被查看内容方面的信息以及搜索情况等内容。这种数据通常的处理方式是先把各种活动以日志的形式写入某种
# MongoDB历史数据删除
MongoDB是一种流行的NoSQL数据库，它以其高性能、高可用性和可扩展性而闻名。随着时间的推移，数据库中的数据会不断增长，有时需要删除旧的或不再需要的数据以释放存储空间。本文将介绍如何使用MongoDB删除历史数据，并提供一些代码示例。
## 了解MongoDB的数据删除操作
在MongoDB中，可以使用`deleteOne`和`deleteMany`方法
原创
2023-11-22 15:08:00
428阅读
# Shardingsphere历史数据迁移实践指南
## 1. 引言
本文旨在介绍如何使用Shardingsphere进行历史数据迁移。Shardingsphere是一款开源的分布式数据库中间件，可以提供分库分表、读写分离、数据加密等功能，同时也支持历史数据迁移。
## 2. 流程概述
为了更好地理解整个历史数据迁移过程，我们可以使用流程图来展示。下面是迁移的基本流程：
```mermai
原创
2024-01-09 20:54:48
379阅读
# Hbase 历史数据合并
在大数据领域中，HBase 是一个分布式、面向列的 NoSQL 数据库，它主要用于存储大量结构化数据。在实际应用中，随着数据量的增加，HBase 中的数据可能会产生历史数据，为了提高查询效率和节省存储空间，我们可以对历史数据进行合并。
## 什么是历史数据合并
历史数据合并是指将HBase表中历史版本的数据合并为一个较小数量的版本，以减少表的存储空间和提高查询性
原创
2024-04-14 05:42:03
69阅读
