依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-actuator</artifactId> </dependency> 在 application.properti ...
转载
2021-11-04 14:36:00
212阅读
2评论
一、背景最近看到了一篇文章，说的是spark小文件合并的问题Spark 小文件合并优化实践：https://mp.weixin.qq.com/s/195nFBH0kpZEXekHiQAfrA（作者：偷闲小苑）其实关于小文件合并我之前也写过类似的文章，大体的方案也就是 1、存之前做一个数据量的预估，然后repartition/coalesce2、存完之后，触发一个merge合并小文件（可以是hive
转载
2023-10-11 08:15:50
377阅读
资源监控Metrics-Server1、什么是Metrics-server？2、Metrics-server部署错误1错误23、Dashboard部署4、Dashboard图形化控制k8s 1、什么是Metrics-server？Metrics-Server是集群核心监控数据的聚合器，用来替换之前的heapster。容器相关的 Metrics 主要来自于 kubelet 内置的 cAdvisor
转载
2024-05-09 22:08:59
58阅读
一、Metrics-Server部署Metrics-Server简介：Metrics-Server是集群核心监控数据的聚合器，用来替换之前的heapster。2.容器相关的 Metrics 主要来自于 kubelet 内置的 cAdvisor 服务，有了Metrics-Server之后，用户就可以通过标准的 Kubernetes API 来访问到这些监控数据。 3.MetricsAPI 只可以查询
转载
2024-04-18 14:32:29
193阅读
1、定义Telemetry是一项远程的从物理设备或虚拟设备上高速采集数据的技术。设备通过推模式（Push Mode）周期性的主动向采集器上送设备的接口流量统计、CPU或内存数据等信息。相对传统拉模式（Pull Mode）的一问一答式交互，提供了更实时更高速的数据采集功能。2、目的随着SDN网络的设备规模日益增大，承载的业务越来越多，用户对SDN网络的智能运维提出了更高的要求，包括监控数据拥有更高的
转载
2024-03-01 12:42:48
49阅读
文章目录Metrics-Server简介Metrics-server部署Dashboard实现图形化界面部署下载部署文件获取token默认dashboard对集群没有操作权限，需要授权 Metrics-Server简介Metrics-Server是集群核心监控数据的聚合器，用来替换之前的heapster。容器相关的 Metrics 主要来自于 kubelet 内置的 cAdvisor 服务，有了
转载
2024-06-21 06:26:46
73阅读
supervisor与superlance简介supervisor是一款用python编写的进程监控、进程守护和进程管理的工具，可以工作在各种UNIX-like的操作系统上，通过简单的配置就可以启动、监控和管理大量的进程，并且可以守护这些进程的运行，同时其还提供了一套自带的事件机制与XML-RPC API，可以很方便的在其之上扩展各种功能满足各类需要。 而superlance就是基于superv
Ranger 管理 Hive 安全一、配置 HiveServer2访问 Hive 有两种方式：HiveServer2 和 Hive Client，Hive Client 需要 Hive 和 Hadoop 的 jar 包，配置环境。HiveServer2 使得连接 Hive 的 Client 从 Yarn 和 HDFS 集群中独立出来，不需要每个节点都配置 Hive 和 Hadoop 的 jar 包
canal [kə’næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据 订阅 和 消费。应该是阿里云DTS（Data Transfer Service）的开源版本，开源地址： https://github.com/alibaba/canal。canal从1.1.4版本开始引入了admin控制台，有了很多不一样的配置方式。在搭建过程中如果仅仅按照wiki的
图片不清晰可以去看word文档：word文档地址：https://github.com/IceEmblem/LearningDocuments/tree/master/%E5%AD%A6%E4%B9%A0%E8%B5%84%E6%96%99/%E5%B9%B3%E5%8F%B0%E6%97%A0%E5%85%B3/Kong%20%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B
一、前言通过onvif来调整图片的Brightness(亮度)、ColorSaturation(色彩饱和度)、Contrast(饱和度)这三个参数，可以实时观测到监控画面对应的变化，比如讲亮度Brightness拉到最低，可以看到这个画面一片漆黑。通过onvif来调节图片的颜色光线，就无须通过厂家私有SDK去调节，当然厂家SDK能够去调节的参数肯定更多更全更好速度更快，这个功能用到的地方不多，大部
转载
2024-03-23 08:57:37
84阅读
目录Metrics介绍使用Metric RegistriesGaugesCounterHistogramsMetersTimers监控输出方式Metrics介绍监控工具。Metrics提供了强大的工具用于监控重要组件的行为。Metrics依赖Jetty, Logback, Log4j, Apache HttpClient, Ehcache, JDBI, Jersey和Graphite，提供一个可视
转载
2024-02-11 07:50:29
54阅读
Metricsmetrics用于实时监控和调试。etcd不会保留metrics，当成员发生重启，metrics将被重置。所以etcd可结合prometheus，对etcd进行监控。查看metrics的最简单方法就是curl ip:port/metrics指标名称有一个 etcd 或者 etcd_debugging前缀作为其命名空间前缀，和一个子系统前缀（例如 wal、etcdserver）etcd
转载
2024-05-05 16:54:28
125阅读
调用链监控,常见的工程实现了解汇总作用微服务盛行,以及现在的云原生部署,应用数量急速上涨.会导致服务于服务之间的调用变的错综复杂.导致问题排查需要查看很多服务的日志,且很复杂,需要一套系统能够清晰的理清系统之间的调用关系,快速的定位监控问题.生成项目网络拓扑图快速定位问题优化系统原理建议了解一下文章《OpenTracing 官方标准 —— 中文版》Google 论文 《Dapper，大规模分布式系
转载
2024-05-27 20:12:43
165阅读
1、概述从Kubernetes v1.8 开始，资源使用情况的监控可以通过 Metrics API的形式获取，例如容器CPU和内存使用率。这些度量可以由用户直接访问（例如，通过使用kubectl top命令），或者由集群中的控制器（例如，Horizontal Pod Autoscaler）使用来进行决策，具体的组件为Metrics Server，用来替换之前的heapster，heapster从1
转载
2024-02-04 09:43:55
28阅读
1.上期我们结合《SRE Google 运维解密》，对监控系统进行了一次脉络梳理，知道一旦离开了监控系统，我们就没法辨别一个服务是不是在正常提供服务，就如同线上的服务在随风裸奔。文章分享最后，我们把 Google 十余年的监控实践，也尝试进行简单梳理，对于后期落地实践有一定参考意义。不过，虽然对监控系统有了脉络上的了解，但是我们也知道，如果没有一套设计周全的监控指标体系，也就如同蒙着眼睛在狂奔，本
转载
2024-01-19 16:31:54
76阅读
Metrics-Server V0.3.6 部署与应用一、Metrics-Server的部署二、 Metrics-Server 的使用 一、Metrics-Server的部署Metrics-Server是集群核心监控数据的聚合器，用来替换之前的heapster。容器相关的 Metrics 主要来自于 kubelet 内置的 cAdvisor 服务，有了Metrics-Server之后，用户就可以
转载
2024-04-23 09:18:55
76阅读
1、概述从Kubernetes v1.8 开始，资源使用情况的监控可以通过 Metrics API的形式获取，例如容器CPU和内存使用率。这些度量可以由用户直接访问（例如，通过使用kubectl top命令），或者由集群中的控制器（例如，Horizontal Pod Autoscaler）使用来进行决策，具体的组件为Metrics Server，用来替换之前的heapster，heapster从1
转载
2024-03-08 17:29:25
172阅读
Metrics埋点监控 在应用程序中，通常会记录日志以便事后分析，在很多情况下是产生了问题之后，再去查看日志，是一种事后的静态分析。在很多时候，我们可能需要了解整个系统在当前，或者某一时刻运行的情况，比如一个系统后台服务，我们可能需要了解一些实时监控的数据例如 1、每秒钟的请求数是多少（TPS）？ ...
转载
2021-09-05 20:40:00
2909阅读
2评论
1、运维概述 1、什么是运维 服务器的运行维护 2、名词 1、IDC(互联网数据中心) 服务器租用、机柜租用 2、监控软件 zabbix、nagios、cactti 3、常用Linux操作系统 1、CentOS 2、RedHat 3、Ubuntu 4、虚拟化 5、Web正向代理(客户端知道自己使用的代理IP) 1、用途 1、访问原来无法访问的资源(google) 2、对Web服务器隐藏用户信息 6
