一、hadoop环境安装【1】创建hadoop用户并切换到hadoop用户[root@server1 ~]# useradd hadoop[root@server1 ~]# id hadoopuid=500(hadoop) gid=500(hadoop) groups=500(hadoop)[root@server1 ~]# su - hadoop【2】下载hadoop和jdk并解压注
转载
2023-10-06 20:34:55
70阅读
1.Django1.1环境Django 3.1.1python 3.6.6django-prometheus 2.1.0 1.2安装django-prometheuspip install django-prometheus1.3metricsettings.pyINSTALLED_APPS = [ ... 'django_prometheus',]urls.py#这是一个/metri
原创
2022-05-29 13:42:00
804阅读
1.环境go 1.14github.com/prometheus/client_golang v1.7.12.安装client-golonggo get -u github.com/prometheus/client_golang3.metricmain.gopackage mainimport ( "flag" "log" "net/http" "time" "github.com/p
原创
2022-05-29 13:44:29
288阅读
1.环境framework-bom 1.7.5jdk 1.8io.micrometer 1.5.4org.aspectjpom依赖(最外层pom.xml中内容)<parent> <groupId>com.yupaopao.frameworkgroupId> <artifactId>framework-bomartifactId&
原创
2022-05-29 13:48:16
1555阅读
# 实现 Prometheus Java 自定义 Metric
## 简介
在本文中，我将指导你如何使用 Prometheus Java 客户端库来实现自定义 Metric。Prometheus 是一种用于监控和警报的开源解决方案，它通过定期抓取指标数据来展示和存储这些数据。使用 Prometheus Java 客户端库，我们可以在应用程序中创建和公开自定义指标，以便 Prometheus 可
原创
2023-09-17 18:35:39
352阅读
1评论
什么是metrics：Flink 提供的 Metrics 可以在 Flink 内部收集一些指标，通过这些指标让开发人员更好地理解作业或集群的状态。由于集群运行后很难发现内部的实际状况，跑得慢或快，是否异常等，开发人员无法实时查看所有的 Task 日志，比如作业很大或者有很多作业的情况下，该如何处理？此时 Metrics 可以很好的帮助开发人员了解作业的当前状况。Metric TypesMetric
转载
2024-04-01 09:55:12
82阅读
# 如何实现 Java 自定义 Prometheus 的 Metric
本文指导你如何在 Java 项目中实现自定义的 Prometheus 指标（Metric）。以下是整个流程概述和步骤细节，帮助你轻松上手。
## 流程概述
| 步骤 | 描述 |
|------|-------------------------
目录一、prometheus数据模型1、概述2、指标类型3、作业job和实例targets/instance4、prometheusQL5、prometheus数据模块二、表达式浏览器（promql）1、表达式使用三、部署service discovery服务发现1、Prometheus指标抓取的生命周期2、Prometheus服务发现机制3、静态服务发现4、动态发现总结一、prometheus数
转载
2024-07-23 11:08:28
156阅读
一、背景1、SpringBoot starter机制 SpringBoot中的starter是一种非常重要的机制，能够抛弃以前繁杂的配置，将其统一集成进starter，应用者只需要在maven中引入starter依赖，SpringBoot就能自动扫描到要加载的信息并启动相应的默认配置。starter让我们摆脱了各种依赖库的处理，需要配置各种信息的困扰。SpringBoot会自动通过classp
转载
2024-02-13 13:47:51
31阅读
记录一下hadoop 数据类型章节的笔记，以便后期使用，本文是边学习边记录，持续更新中
[size=large][b]Hadoop 常用自带的数据类型和Java数据类型配比如下[/b][/size]
[table]
|[color=red]Hadoop类型[/color]|[color=red]Java类型[/color]|[color=red]描述
转载
2023-07-14 20:34:23
90阅读
一、合久必分——MapReduceHDFS是hadoop的云存储，而MapReduce即是hadoop云计算。MapReduce采用”分而治之“的思想，把对大规模数据集的操作，分发给一个主节点管理下的各分节点共同完成，然后通过整合各分节点的中间结果，得到最终的结果。Map阶段：MapReduce框架将任务的输入数据分割成固定大小的片段（splits），随后将每个split进一步分解成一批键值对&l
转载
2024-01-02 10:44:38
38阅读
Hadoop提供了大量的数据输入类型，如Text和IntWritable． 假如我们需要自定义一个数据类型，首先要实现Writable接口，主要包含两个函数readFields和write．如果需要把新的数据类型作为Map函数的key输出的话，在shuffle阶段会有一个排序的过程，需要对key进行比较，那么这里就推荐实现WritableComparable接口，它比Writable接口多一
转载
2023-10-03 11:49:31
80阅读
flink任务本身提供了各种类型的指标监控，细化到了每一个Operator的流入/流出量、速率、Watermark值等，通常在实际应用中需要对接入数据做格式化例如转json，符合要求的数据会向下流动，不符合要求或者格式化异常称为脏数据会被过滤掉，现在目标实现一个通用化方式能够对正常数据与脏数据进行指标统计。实现思路：flink metric类型分为Counter、Gauge、Histogram、M
原创
2021-02-05 21:03:38
1065阅读
一、模块和包管理
### --- 模块和包管理
~~~ Python中具有丰富的标准库和第三方库，学习并掌握模块、包的概念尤为重要，
~~~ 决定了我们是否能够利用这些丰富的资源，以及如何妥善组织好我们自己的代码。
一、模块的导入
~~~ # 首先，我们来导入一个内置模块
import math
~~~ #
转载
2024-01-28 07:09:03
106阅读
声明：本系列博客部分是根据SGG的视频整理而成，非常适合大家入门学习
转载
2021-09-01 14:34:40
293阅读
自定义分区我们在wordcount小案例中看到结果是1个part-r-000000的文件，那如果我想对统计结果，按照不同的条件输出到不同的文件(分区)，那该如何处理呢？我们梳理一下这个过程先一个文本文件，上传到hdfs后以block块存储，split到切片，一个切片对应一个maptask任务，一个maptask任务会对数据进行分区、归并和排序等操作，输出成一个临时文件（外部无序，内部有序），一个分
转载
2021-04-21 08:37:28
222阅读
2评论
序列化在分布式环境的两大作用：进程间通信，永久存储。 Writable接口, 是根据 DataInput 和 DataOutput 实现的简单、有效的序列化对象.MR的任意Value必须实现Writable接口：MR的key必须实现WritableComparable接口，WritableComparable继承自Writable和Comparable接口：（本节先讲自定义v
转载
2023-07-09 23:18:17
84阅读
1.通过enum自定义CounterpublicstaticnumLOG_PROCESSOR_COUNTER{BAD_RECORDS};2.在Mapper或者Reducer中操作Countercontext.getCounter(LOG_PROCESSOR_COUNTER.BAD_RECORDS).increment(1);3.在Job完成后可以进行最终统计结果的输出Jobjob=newJob(getConf(),"log-analysis");……Counterscounters=job.getCounters();CounterbadRecordsCounter=cou
转载
2013-09-11 20:00:00
131阅读
2评论
1、概念 2、代码示例 FlowSort FlowBean LineException
原创
2021-07-22 13:49:58
220阅读
从Metrics的使用说起Flink的Metrics种类有四种Counters, Gauges, Histograms和Meters.如何使用Metrics呢? 以Counter为例, 1 public class MyMapper extends RichMapFunction<String, String> {
2 private transient C
转载
2024-03-18 19:18:13
107阅读
