随着软件和云技术的普及，越来越多的企业开始采用微服务架构、容器化、多云部署和持续部署模式，这增加了因系统失败而给运维/ SRE / DevOps 团队带来的压力，从而增加了开发团队和他们之间的摩擦，因为开发团队总是想尽快部署新功能，并启动新的 A/B 测试。在云时代，CI/CD 模式发展迅速，它能帮助研发团队快速改进、修复系统缺陷，把新功能推向生产，极大提高开发效率。CI/CD 能实现这一点，因为
之前已经说过了自己写sh脚本监控，我看有人评论了说用telegraf进行数据收集，于是乎去研究了下，感觉还可以，不过磁盘io的的表个人感觉有些美中不足，并未直接给出读写速率的情况，可能是研究时间太短，没搞定，希望会的能够指点迷津，接下来把我这两天研究的成果展示下。https://www.jianshu.com/p/dfd329d30891，安装比较简单，这里简单再说一下：wget https:
转载
2024-05-18 23:04:35
63阅读
https://github.com/prometheus/prometheusArchitecture overviewPrometheus ServerPrometheus Server 负责从 Exporter 拉取和存储监控数据，并提供一套灵活的查询语言（PromQL）供用户使用。ExporterExporter 负责收集目标对象（host, container…）的性能数据，并通过 HT
# 使用 Telegraf 监控 MySQL 数据库
在现代应用程序中，数据库是一个不可或缺的组件。维护数据库的性能和稳定性对于确保应用的可用性至关重要。Telegraf 是一个灵活的、插件驱动的代理，用于收集和发送数据，其中包括对 MySQL 数据库的监控。在本篇文章中，我们将讨论如何配置 Telegraf 以监控 MySQL 数据库，并提供相关的代码示例。
## 什么是 Telegraf？
原创
2024-10-07 04:54:37
153阅读
AWS S3 云存储 是按照存储容量，请求数，及网络流量三个维度进行收费。而如果涉及到使用S3 对外提供SaaS服务，成本分布及估算自然称为比较重要的需求。自然而言需要监控以上三个指标。先上官网说明性文档：https://docs.amazonaws.cn/AmazonS3/latest/dev/monitoring-overview.html 文章目录1 监控指标2 Cloudwatch使用2.
转载
2024-04-29 10:37:17
59阅读
Netstat的定义是： Netstat是在内核中访问网络及相关信息的程序，它能提供TCP连接，TCP和UDP监听，进程内存管理的相关报告。 一般用netstat -na 来显示所有连接的端口并用数字表示. netstat命令的功能是显示网络连接、路由表和网络接口信息，可以让用户得知目前都有哪些网络连接正在运作。 netstat [选项]选
首先看一下TICK技术栈整体的架构图TICK技术栈[if !supportLists]一、 [endif]环境配置[if !supportLists]1、 [endif]首先下载Telegraf，InfluxDB，Chronograf，Kapacitor，Grafana等安装包，rpm包即可，从TICK官网直接下载即可。[if !supportLists]2、 [en
转载
2023-10-17 11:31:49
261阅读
Mysql存储千亿级的数据，是一项非常大的挑战。Mysql单表可以存储10亿级的数据，只是这个时候性能非常差，项目中大量的实验证明，Mysql单表容量在500万左右，性能处于最佳状态。优化的顺序是:第一优化你的sql和索引；第二加缓存 memcached,redis；第三以上都做了后，还是慢，就做主从复制或主主复制，读写分离，可以在应用层做，效率高，也可以用三方工具，第三方工具推荐360的atla
转载
2023-10-21 17:59:24
219阅读
大数据迁移——Python+MySQL引言方法一：数据库复制 ——最糟糕方法二：数据库转存——最蜗牛方法三：数据库备份——最尬速方法四：内存操作Python+MySQL——最火箭 引言最近，因为课题组更换服务器，有一批数据需要做数据迁移，数据量大约150G-200G，一部分数据存储在原来服务器的MySQL上，另外一部分数据以txt文件存储在硬盘上。现在，我需要将这些数据全部迁移存储在新服务器的M
转载
2023-08-11 14:25:11
464阅读
# HBase JMX监控数据量入门指南
作为一名刚入行的开发者，你可能对HBase的JMX监控感到陌生。不用担心，本文将带你一步步了解如何通过JMX监控HBase的数据量。
## 流程概览
首先，我们通过一个表格来了解整个监控流程的步骤：
| 步骤 | 描述 |
| --- | --- |
| 1 | 启动HBase服务 |
| 2 | 连接到HBase的JMX接口 |
| 3 | 查询
原创
2024-07-21 06:48:03
61阅读
MySQL数据类型与操作数据表
MySQL常用数据类型整数：tinyint，smallint，int，bight浮点数：float（p（所占总位数）、s（小数点所占位数））4字节 double（p、s）8字节定点数：decimal（p、s）日期/时间：data、time、datatime文本：char、varchar、text二
转载
2023-09-04 20:00:32
164阅读
近来，公司业务拓展，要处理一些超大规模的数据。业务单日数据规模巨大，一天需要采集几百亿甚至上千亿条目的数据，当然总数据规模更大，数据种类繁多，每种数据维度也很多，但数据是有保留期限的。因数据量级较大，起初我们选择了开源的ES进行数据处理和检索。ES是一个高扩展的全文检索和分析引擎，它可以准实时地快速存储、检索和分析海量的数据。ES基本是目前大数据平台中全文检索业务的中流砥柱，ES是面向文档型数据库
转载
2024-03-18 14:57:12
48阅读
应用场景：MySQL数据量达到百万级别，并且数据更新时大部分数据重复，需要比对更新或者插入新的数据
效果：MySQL执行过程中如果数据库中存在该记录则执行对应更新操作，不存在执行插入操作，而且这些操作是在数据库引擎中完成；避免了对数据进行批量操作时，首先对重复数据进行过滤，然后进行CRUD操作，减少对数据库访问压力
语法：
INSERT [LOW_P
转载
2024-03-06 00:24:14
99阅读
给你100万条数据的一张表，你将如何查询优化？1.两种查询引擎查询速度（myIsam 引擎 ）InnoDB 中不保存表的具体行数，也就是说，执行select count(*) from table时，InnoDB要扫描一遍整个表来计算有多少行。MyISAM只要简单的读出保存好的行数即可。注意的是，当count(*)语句包含 where条件时，两种表的操作有些不同，InnoDB类型的表用count(
转载
2024-01-17 10:54:52
72阅读
# Telegraf 监控 MySQL 夜莺的完整指南
## 文章概述
在这篇文章中，我们将介绍如何使用 Telegraf 来监控 MySQL 数据库，并将监控数据发送到夜莺（Nightingale）监控系统。我们会详细分解整个过程，并给出相应的代码示例。
## 整体流程
以下是实现“Telegraf 监控 MySQL 夜莺”的完整步骤：
| 步骤 | 描述
探测未来：Kamon Telemetry - 精准的JVM应用监控解决方案在数字化时代，对应用程序的全面监控是保证服务质量的关键。Kamon Telemetry，一个强大的JVM应用监控库，为你提供了实现这一目标的工具。这个项目不仅能够收集各种指标，还能进行上下文传播和分布式追踪，帮助你在复杂环境中洞悉一切。项目简介Kamon Telemetry是一个由多个库组成的框架，旨在为你的Java或Sca
转载
2024-10-05 16:56:50
31阅读
# Telegraf配置MySQL监控：全面指南
在现代的应用程序中，数据库的健康状态直接影响到应用程序的性能与稳定性。因此，监控数据库的性能至关重要。Telegraf是一个可扩展的收集器，通过插件获取各种数据并将其发送到InfluxDB或其他数据库中。本文将重点介绍如何使用Telegraf来监控MySQL数据库，并提供详细的配置示例。
## 一、Telegraf简介
Telegraf是In
# 如何查询 MySQL 数据量
## 概述
在使用 MySQL 数据库时，有时需要查询数据表的数据量，即表中记录的行数。本文将以一个经验丰富的开发者的角度，教会一位刚入行的小白如何实现“MySQL 查询数据量”。首先，我们将展示整个过程的流程图，并给出每一步的具体操作和所需的代码。
## 流程图
```mermaid
flowchart TD
start[开始]
input[
原创
2023-10-30 15:03:20
83阅读
# MySQL 数据量统计实现流程
## 1. 概述
在进行 MySQL 数据量统计之前，我们首先需要明确统计的对象是哪张表以及统计的维度是什么。本文以表 `users` 中的用户数据量统计为例进行说明。
## 2. 流程
下表展示了实现 MySQL 数据量统计的流程：
| 步骤 | 描述 |
| --- | --- |
| 1 | 连接到 MySQL 数据库 |
| 2 | 编写 SQ
原创
2023-11-25 08:03:27
59阅读
Mysql查询指定数据库、数据表数据量
原创
2024-06-20 15:14:22
74阅读
