一 应用场景描述前面介绍了两种处理Zabbix历史数据的解决办法，但是如果当监控数据继续增长的话是不足以解决问题的。办法一适合在没有做表分区的情况下，只保留一段时间的数据，比如一个月，然后把老的数据删除再使用方法二，这种操作执行时间长。办法二是使用MySQL自带的表分区功能，将history等表按照日期进行分区，然后只保留一段时间的数据。但是即使使用表分区功能定期删除不用的分区数据，也会有瓶颈产生
转载
2024-03-06 11:18:53
136阅读
由于量化策略研究需要用到尽量全的历史数据，包括：股票、外汇、期货、基金等等的分钟、小时、日历史数据，而且数据尽量全，最好能从九几年起。所以我在网上做了较多的搜查以找到可用的数据源。以下分别列出几个方案，并讨论其优缺，最后总结出一条可行的路。 Tushare 数据接口：该接口基本是使用新浪的数据源做一个python的封装。而且目前只针对股票，能获取到日线数据较为完整。分钟线和小时
目录一、binlog日志二、数据恢复： 一、binlog日志1.binlog日志介绍1）binlog也叫归档日志，它属于mysql的server层，所以所有储引擎都可以使用该日志。 2）binlog是逻辑日志，记录的是这个语句的原始逻辑，比如“给ID=2这一行的c字段加1 ”。 3）binlog是可以追加写入的。“追加写”是指binlog文件写到一定大小后会切换到下一个，并不会覆盖以前的日志。2
转载
2023-09-16 15:18:13
279阅读
在实际业务中，累计5年的历史业务数据可能比较大，比如可能超过1T的数据，这时可能就会影响业务处理 OLTP的运行效率，一般是将5年以上的数据归档的其他地方，同时从当前业务系统中删除。 有各位哥们对这个过程比较熟悉，ORACLE ERP时什么策略呢？ 请高手指点。 DBX archiver的功能就是把历史数据放在另一个数据库中，如果在prod中的查询涉及到历史数据，就会到历史库中取数据，实现对客户的
转载
2023-09-17 00:51:53
310阅读
文章介绍了风控系统中利用Redis Zset进行指标计算，包括时间窗口、指标配置、计算流程等，并讨论了新增和修改指标如何支持已有数据重跑的问题，最后提到正向计算和反向查询的可行性及挑战。
原创
2024-09-07 16:17:11
250阅读
3图
读取ExecuteReader 写入SqlBulkCopy 创建归档临时表和非归档临时表 读取源表，按归档日期分别写入归档临时表和非归档临时表，记录首条数据 读取源表（写入期间入库的数据），写入非归档临时表 非归档临时表创建索引、分区 非归档临时表改为源表 Drop源表 读取归档临时表写入指定服务器 ...
转载
2021-10-28 17:35:00
321阅读
2评论
# Python查询Kafka历史数据
Kafka是一个分布式流处理平台，常用于构建实时数据管道和流应用程序。对于一些需要查询Kafka历史数据的场景，我们可以使用Python编写程序来实现这一功能。本文将介绍如何使用Python查询Kafka历史数据，并提供相关代码示例。
## Kafka简介
Kafka是由LinkedIn开发的一个分布式事件流平台，具有高性能、高可靠性和可伸缩性的特点。
原创
2024-03-18 04:12:42
188阅读
# Python读取Kafka历史数据
Kafka是一个高吞吐量的分布式发布订阅消息系统，被广泛应用于大数据领域。在实际应用中，我们有时需要读取历史数据进行分析和处理。本文将介绍如何使用Python读取Kafka的历史数据，并提供相应的代码示例。
## 1. 安装Kafka Python库
首先，我们需要安装Kafka Python库，该库提供了与Kafka交互的功能。可以使用pip命令进行
原创
2023-10-17 16:48:41
669阅读
# MySQL 中的历史数据管理
在现代数据库系统中，历史数据的管理是一个不可或缺的部分。历史数据是指不再经常改变的数据，但对于业务分析和决策制定依然具有重要价值。MySQL 作为流行的关系数据库管理系统，提供了一些工具和功能来有效管理和查询历史数据。
## 什么是历史数据？
历史数据是系统在特定时间点的状态快照。这些数据可用于各种用途，如审计、趋势分析和报告生成。在许多行业，如金融、电商和
原创
2024-09-26 05:07:12
69阅读
# Python分析基金历史数据
## 前言
基金投资是一种常见的投资方式，而对于投资者来说，掌握基金的历史数据是非常重要的。Python作为一种功能强大的编程语言，可以用于分析和处理大量的数据。本文将介绍如何使用Python分析基金的历史数据，并通过示例代码展示具体的操作步骤。
## 准备工作
首先，我们需要准备一些必要的工具和数据。在本文中，我们将使用`pandas`库来处理数据，`m
原创
2024-01-05 04:39:56
157阅读
# 使用Python查看Kafka历史数据的指南
随着数据流的不断增加，Apache Kafka已成为处理实时数据流的重要工具。而查看Kafka中的历史数据则是很多开发者的基本需求。本文将详细介绍如何使用Python查看Kafka的历史数据，适合刚入行的小白。我们将通过表格展示步骤，并逐步深入每一步所需的代码与解释。
## 流程概述
在查看Kafka历史数据之前，我们需要明确整个解决方案的流
原创
2024-09-23 07:32:29
112阅读
zabbix监控中在对创建项目时，需要设置两个属性：Historyandtrends（历史数据和趋势数据的保存时间，以天数为单位）如下图所示：历史数据和趋势数据是zabbix存储数据的两种方式，它们都是以天数为单位的。历史数据：zabbix监控到的数据在数据库中保存的天数，过去这个时间便会自动的被zabbix的管理机制删除，所以强烈建议历史数据保存所允许的尽可能小的天数，这样是为了防止数据库负载太
转载
2024-05-24 10:49:49
64阅读
# 使用Python消费Kafka历史数据的指南
在现代的数据处理领域中，Apache Kafka作为一个高吞吐量的消息系统，已经在很多企业得到了广泛的应用。对于刚入行的小白，消费Kafka历史数据可能会有些陌生。本文将详细指导你如何使用Python消费Kafka的历史数据。
## 流程概述
以下是实现目标的主要步骤，具体细节会在接下来的部分进行展开：
| 步骤 | 描述
原创
2024-10-10 06:36:53
172阅读
# Python获取Zabbix历史数据
Zabbix是一个广泛使用的网络监控系统，用于监控各种网络服务、服务器硬件状态等。在实际应用中，我们常常需要获取Zabbix中的历史数据进行分析和展示。本文将介绍如何使用Python来获取Zabbix的历史数据，并通过代码示例演示具体操作步骤。
## 1. 准备工作
在开始之前，我们需要准备以下工作：
- 安装Python
- 安装Zabbix A
原创
2024-04-16 03:39:38
216阅读
# 期货历史数据量化分析入门指南
作为一名刚入行的开发者，量化分析期货历史数据可能是一个令人望而生畏的任务。但别担心，我将通过这篇文章，一步一步地指导你如何使用Python来实现这一目标。
## 1. 流程概览
首先，让我们通过一个简单的流程图来了解整个量化分析的步骤：
```mermaid
stateDiagram-v2
[*] --> 获取数据: 获取期货历史数据
获取
原创
2024-07-24 10:09:07
180阅读
# 使用Kafka Python查看历史数据
Kafka是一个高性能、分布式的消息传递系统，常用于构建实时数据流应用程序。在Kafka中，消息会被存储在topic中，并且消费者可以订阅这些topic来获取消息。有时候，我们需要查看Kafka中存储的历史数据，以便进行数据分析或者故障排查。本文将介绍如何使用Kafka Python库来查看Kafka中的历史数据。
## 安装Kafka Pytho
原创
2024-03-14 06:13:08
317阅读
############sample 1https://blog.51cto.com/sfzhang88/1558254如何从Zabbix数据库中获取监控数据
做过Zabbix的同学都知道，Zabbix通过专用的Agent或者SNMP收集相关的监控数据，然后存储到数据库里面实时在前台展示。Zabbix监控数据主要分为以下两类： &nb
转载
2024-03-11 19:07:11
915阅读
由于Zabbix基本都是通过web配置的，这些配置数据也是存放到数据库里面的，并且这些配置数据对硬盘容量的要求基本可以忽略不计。Zabbix对硬盘空间的决定性因素有4个，如下：1. 每秒处理的数据量这里的每秒处理的数据量只是一个平均值，例如我有3000个监控项，都是每30秒（默认值）刷新
转载
2024-03-15 15:33:20
755阅读
深拷贝和浅拷贝深拷贝与浅拷贝的区别在于，当从原本的list复制出的list之后，修改其中的任意一个是否会对另一个造成影响，即这两个list在内存中是否储存在同一个区域，这也是区分深拷贝与浅拷贝的重要依据。浅拷贝：A变量变化,B变量跟着改变 深拷贝：A变量变化,B变量不受影响 copy()：对于list的第一层，是实现了深拷贝，但对于嵌套的list，仍然是浅拷贝。old = [1,[1,2,3],3
转载
2023-08-22 21:07:39
72阅读
在进行期货交易或研究时，掌握期货历史数据具有重要性。Python提供了多种方法来导出期货历史数据，以下将详细介绍不同的方法及其代码实现。
## 一、期货历史数据的重要性
期货历史数据可以帮助我们分析市场趋势，进行风险评估和制定交易策略。通过对历史数据的分析，可以获得更深刻的市场洞察，从而提高交易的成功率。
## 二、导出期货历史数据的方法
### 1. 使用`pandas_dataread
