本文介绍在k8s集群中使用node-exporter、prometheus、grafana对集群进行监控。 其实现原理有点类似ELK、EFK组合。node-exporter组件负责收集节点上的metrics监控数据，并将数据推送给prometheus, prometheus负责存储这些数据，grafana将这些数据通过网页以图形的形式展现给用户。在开始之前有必要了解下Prometheus是什么?
转载
2023-08-04 13:38:22
797阅读
Prometheus作为新生代的开源监控系统，慢慢成为了云原生体系的监控事实标准，也证明了其设计得到业界认可。但在多集群，大集群等场景下，Prometheus由于没有分片能力和多集群支持，还有Prometheus不支持长期存储、不能自动水平缩、大范围监控指标查询会导致Prometheus服务内存突增等。本文从Prometheus的单集群监控开始，介绍包括Prometheus的基本概念，基于联邦架构
转载
2023-11-03 00:34:56
80阅读
Prometheus是新一代的监控系统解决方案，原生支持云环境，和kubernetes无缝对接，的却是容器化监控解决方案的不二之选。当然对传统的监控方案也能够兼容，通过自定义或是用开源社区提供的各种exporter无疑又为prometheus丰满羽翼。那么从今天开始我将会持续更新我对prometheus使用过程中的了解和踩坑记录，一是为了沉淀自己，二是为同学们提供个思路。1、架构介绍上图就是pro
转载
2023-11-13 22:26:14
87阅读
Prometheus 入门与实践随着容器技术的迅速发展，Kubernetes 已然成为大家追捧的容器集群管理系统。Prometheus 作为生态圈 Cloud Native Computing Foundation（简称：CNCF）中的重要一员,其活跃度仅次于 Kubernetes, 现已广泛用于 Kubernetes 集群的监控系统中。本文将简要介绍 Prometheus 的组成和相关概念，并实
转载
2024-03-06 09:38:25
87阅读
文章目录Prometheus架构监控系统使用MQ通信的问题组件介绍Job/ExporterPushgatewayService DiscoveryPrometheus ServerDashboardAlertmanagerPrometheus的3大局限性PromQL时间序列metric类型Counter(只增不减的计数器)Gauge(可增可减的仪表盘)Histogram和Summary(分析数据
转载
2024-02-19 19:49:48
94阅读
集群监控1. Prometheus1.1. Prometheus介绍Prometheus 是一款基于时序数据库的开源监控告警系统，非常适合Kubernetes集群的监控。Prometheus的基本原理是通过HTTP协议周期性抓取被监控组件的状态，任意组件只要提供对应的HTTP接口就可以接入监控。不需要任何SDK或者其他的集成过程。这样做非常适合做虚拟化环境监控系统，比如VM、Docker、Kube
转载
2023-12-14 12:14:26
285阅读
问题背景：单个prometheus性能到达瓶颈问题、多个prometheus-server数据汇总问题等prometheus监控数据持久化首先大家都知道prometheus是自带数据存储功能的。
优点是简单易用，基本无需配置
缺点是：1、存在数据无法长久保存（尤其是频繁变更的监控对象，监控对象变化，短时间内监控数据也会随之丢失，如k8s等）
2、基于本地存储的话，Prometheus监控系统扩展比
转载
2023-10-12 11:27:11
136阅读
一、Prometheus概述：PrometheusMetrics架构图
二、PrometheusMetrics架构说明
### --- PrometheusMetrics架构说明
~~~ 主要核心是Prometheus server：prometheus-k8s-0
~~~ 直接使用node节点存储的，查
转载
2023-11-19 14:44:42
52阅读
Prometheus监控介绍公司做教育的，要迁移上云，所以需要我这边从零开始调研加后期维护Prometheus；近期看过二本方面的prometheus书籍，一本是深入浅出一般是实战方向的；官方文档主要内容大概也都浏览了一遍；在此做个总结；会分几篇内容来写；
本篇从Prometheus的单集群监控开始，介绍包括Prometheus的基本概念，基本原理，基于联邦架构的多集群监控，基于Thanos的多集
转载
2023-10-01 12:05:19
819阅读
Fabian Reinartz是一名软件工程师，喜欢用GO语言造轮子并且热衷于解决难题。他是Prometheus的维护者并且是Kubernetes instrumentation特别兴趣小组（Kubernetes SIG instrumentation）的联合发起人。过去，他是SoundCloud的一名线上工程师，并且领导着CoreOS的监控团队。如今他在Google工作。 Bartek Plo
转载
2024-05-28 15:55:24
18阅读
拓扑图：主要步骤：1.搭建lemp平台2.Nginx做缓存及代理均衡3.lvs（DR）-keepalived实现高可用4.”免“验证rsync-inotify同步数据5.mysql主从及amoeba读写分离6.DRBD-heartbeat-NFS
原创
2015-01-12 09:13:02
1911阅读
理解集群：同一个业务，部署在多个服务器上**【多个人在一起做同样的事】**分布式：一个业务拆分为多个子业务，部署在多个服务器上**【多个人在一起做不同的事】**示例：集群：饭店原来只有一个厨师，负责备料洗菜炒菜三步。但是后来客人多了，就又请来了很多能够同时备料洗菜炒菜的厨师。这两个厨师的关系就是集群。分布式：饭店请了备料师、配菜师、厨师。专门的人做专门的事儿。备料师、配菜师、厨师的关系就是分布式。
转载
2023-07-09 13:16:51
182阅读
Kubernetes 集群架构 上图，就是Kubernetes整个集群的一张图，Kubernetes集群就是掌握了所有Kubernetes里面计算、存储、网络资源，并且进行统一管理、统筹调度的一套节点群。在集群里面有两大类型的节点，Kubernetes第一大类型的节点叫做Kubernetes Master，它是一个主脑节点，还有很多的节点，我们称为Node。 其中Kubernetes Master
转载
2024-08-13 19:10:53
162阅读
系统框架，分为以下几种：1、单机架构这种架构，很常见，比如有一个很小的系统，不用处理很多东西，只需要一台服务器，在上面搭建出自己需要的服务，就可以开始工作。这种架构优点显而易见，方便维护，出了问题解决起来很方便。缺点也很明显，如果处理变多，资源也就不够用了。 2、集群架构单机架构无法满足要求，集群架构就可以提供更好更快的处理，简单来说，集群架构就是把单机架构上面运行的服务，摘出来，然后复
转载
2023-07-07 01:22:28
261阅读
一、概述1、Prometheus简介 Prometheus是一个开源的服务监控系统和时序数据库，其提供了通用的数据模型和快捷数据采集、存储和查询接口。它的核心组件Prometheus服务器定期从静态配置的监控目标或者基于服务发现自动配置的目标中进行拉取数据，新拉取到啊的 数据大于配置的内存缓存区时，数据就会持久化到存储设备当中。Prometheu
转载
2024-03-06 17:35:56
153阅读
先说说为啥有这系列文章，其实是应为公司最近在研发一个有关大数据风控的产品，要用到 Storm，我也就被安排接触这个框架了。
其实本来是打算这方面去研究 JStorm 的，听说更加优秀，而且是用 Java 写的，能看源码，但是工作为重。
所以说，最近忙忙的，这系列写的也肯定快不了。好了，不说废话，先翻译官网介绍 storm 的一句话：Storm 是一个分布式的，可靠的，容错的数据实时计算系统，用于流
转载
2023-08-10 18:51:26
222阅读
文章目录1. kubernetes集群架构1.1 主控节点（Master）1.2 工作节点（node）2. kubernetes核心概念2.1 Pod2.2 Controller2.3 Service3. 总结 今天我们进行k8s第二更，kubernetes集群架构和三个核心概念。 1. kubernetes集群架构kubernetes包含主控节点和工作节点，集群架构如图所示：1.1 主控节点
转载
2023-09-22 10:57:03
75阅读
前言上一篇文章我们通过 Storm 的本地模式对其编程模型进行了讲述.... 本篇文章我们来讲一讲 Storm 的集群：Storm 的特点Storm 的架构和组件如何安装 Storm 集群如何提交作业到 Storm 集群Storm 的特点分布式：这个没什么好说的，对于大数据来说，单台机器肯定是无法满足需求的高容错，高可靠：其容错下了很大的功夫，这个我们以后再细说。高性能：性能一直为大家所关注的一个
转载
2024-02-13 20:56:51
94阅读
http://www.tianshouzhi.com/api/tutorials/storm/51 田守
原创
2023-05-11 11:48:30
114阅读
架构图 架构分析 架构图集群总共需要有8台机子，mysql需要4台，mycat需要2台，负载均衡和高可用需要2台。之所以Mycat需要集群这样的架构，是为了避免Mycat单点失效的情况，mysql主机有4台（db1-db4）,其中db1和db3是组一（主主复制），db2和db4是组二（主主复制），之所以需要主主复制是因为mycat可以实现组内db自动故障切换，恢...
转载
2021-08-10 10:00:12
255阅读
