注意：里面用到的一些特殊类或者接口请看我的离线监控就能找到import com.cartravel.loggings.Logging
import com.cartravel.tools.{PropertiesUtil, SparkMetricsUtils}
import org.apache.spark.rdd.RDD
import org.joda.time.DateTime
impo
转载
2023-11-27 19:15:30
72阅读
马上要过年了，大部分公司这个时候都不会再去谋求开新业务，而大数据工匠们，想要过好年，就要保证过年期间自己对自己的应用了如执掌。一般公司都会有轮值人员，至少要有春节应急预案，尤其是对于我们这些搞平台，或者线上应用的，应急预案更是必不可少。今天浪尖主要是分享一下关于在yarn上的spark 任务我们应该做哪些监控，如何监控。Spark on yarn这种应用形态目前在企业中是最为常见的，对于这种spa
Spark—通过集合创建RDD指定分区数源码分析首先来看一下通过集合创建RDD指定分区数的代码：object test03_RDDmem {
def main(args: Array[String]): Unit = {
val conf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("test03_RD
转载
2023-11-27 16:45:10
59阅读
一、为什么需要自定义RDD 1. spark提供了很多方法读数据源，比如我们当前可以从hdfs文件、jdbc、mongo、hbase等等将数据包装成RDD供我们后续进行处理。如果我们想要读memcache中的数据恐怕就没有现成的了，需要我们自己实现自己的RDD。 2. RDD是一种弹性分布式数据
转载
2023-12-27 11:12:58
163阅读
默认情况下，Spark 可以将一个作业切分多个任务后，发送给 Executor 节点并行计算，而能 够并行计算的任务数量我们称之为并行度。这个数量可以在构建 RDD 时指定。 但是切分任务的数量不一定等于并行执行的任务数量，比如当节点资源数量小于切分数量时。 在 Spark 中创建 RDD 的创建方式可以分为四种：一、从集合（内存）中创建 RDD1.从集合中创建RDD使用makeRDD方法//*号
转载
2023-09-06 17:55:12
222阅读
1、 需求 增量导入elasticsearch的数据到kafka。2、 解决方式 1） 自定义一个flume的essource 2）使用spark 的 es rdd 3） 自定义flink的es source
转载
2024-01-27 14:14:18
51阅读
概要关于source数据源，在flink 官网上介绍了很多对接方式、例如socket、elements、collect等常见的source，可以见下面链接：https://nightlies.apache.org/flink/flink-docs-release-1.12/zh/dev/connectors/。在这里要说的是自定义source，通过addsource类接入。public class
转载
2023-10-17 20:54:54
105阅读
Actions算子本质上在Actions算子中通过SparkContext执行提交作业的runJob操作，触发了RDD DAG的执行。1．无输出(1)foreach(f)对RDD中的每个元素都应用f函数操作，不返回RDD和Array，而是返回Uint。图3-25表示foreach算子通过用户自定义函数对每个数据项进行操作。本例中自定义函数为println()，控制台打印所有数据项。2．HDFSsa
转载
2024-03-05 04:28:47
152阅读
背景我根据算子输入输出之间的关系来理解算子分类：UDF——输入一行，输出一行 UDAF——输入多行，输出一行 UDTF——输入一行，输出多行本文主要是整理这三种自定义算子的具体实现方式 使用的数据集——用户行为日志user_log.csv，csv中自带首行列头信息，字段定义如下： 1. user_id | 买家id 2. item_id | 商品id 3. cat_id | 商品类别id 4. m
转载
2023-08-14 14:30:23
151阅读
#include <iostream>
#include<stdio.h>
#include<windows.h>
#include<conio.h>
#include<time.h>
#include<math.h>
#include <fstream>
#include <cstdlib&g
转载
2024-01-20 14:54:04
75阅读
监控ELK集群状态python脚本 [root@elk-s1 ~]# vim /etc/zabbix/zabbix_agentd.d/els_status.py #!/usr/bin/env python #coding:utf-8 #Author xuanlv import subprocess ...
转载
2021-08-22 10:27:00
148阅读
2评论
监控某台web的80端口并出图查看80端口链接数编写脚本授权编辑配置文件增加自定义脚本名字路径count建值[*]没有参数有的话逗号分隔重启服务验证在客户端执行脚本用zabbix命令-s指定IP浏览器监控配置主机-aming02-监控项添加完之后图形创建触发器配置邮件告警接受人主题内容服务器创建脚本位置创建脚本定义发邮件服务定义y用户密码更改权限验证管理-用户-创建用户-报警媒介用户组修改权限配置
原创
2018-04-16 23:25:13
767阅读
点赞
zabbix server：hostname=Zabbix serverip:192.168.100.7 zabbix agent:hostname=host3ip:192.168.100.3 目前状态如下，使用的全是zabbix自带的监控插件,在某些情况下，我们自己的一些应用，或者系统上的一些值无法被zabbix监控，这时，需要自定义一些监控项，监控项可以直接使用shell命
转载
2024-02-18 13:20:07
25阅读
在学习Hive的时候我们已经了解到当内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数(UDF:user defined function)用户自定义函数类别分为以下三种：1).UDF：输入一行，返回一个结果(一对一)，在上篇案例 使用SparkSQL实现根据ip地址计算归属地二 中实现的自定义函数就是UDF，输入一个十进制的ip地址，返回一个省份2).UDTF：输入一行，返回多
转载
2023-10-11 09:29:26
161阅读
虽然Zabbix提供了很多的模板（简单理解为监控项的集合），在zabbix界面点击share按钮就可以直接跳到模板大全的官方网站，但是由于模板内的监控项数量太多不好梳理且各种模板质量参差不齐，还是建议针对自己要监控的主机或产品自定义模板（Linux服务器主机的监控使用默认模板就可以）。之前一篇笔记描述了如何安装和配置zabbix架构，详见：Zabbix-3.4简介及安装配置 ，本文分四个小节描述如
转载
2024-03-06 03:25:59
57阅读
电梯作为楼宇的重要密闭型公共区域和上下出入关键通道，电梯视频监控对整个区域的安防工作具有重要作用，是不可缺少的重要一环。电梯视频监控可实时掌握电梯轿厢内的情况，保障乘客安全。 电梯监控传输方式电梯监控视频传输可分为：有线和无线两种。有线传输：采用的是专业电梯随行电缆，一般的随行线缆使用时损耗严重，寿命在半年到一年之间。高层电梯线缆对抗拉伸强度和电气参数有较高要求，防止线缆负载自重时拉伸
转载
2024-05-01 11:48:23
86阅读
Spark 自定义 RDD 是 Apache Spark 中非常重要的一部分，可以让用户根据特定需求创建灵活的弹性分布式数据集。通过自定义 RDD，用户能够实现更加复杂的数据处理逻辑，提升数据处理效率。在本文中，我将详细介绍如何解决与“Spark 自定义 RDD”相关的问题，从多个维度来解析这一技术。
```mermaid
quadrantChart
title 技术定位 - Spark
在大数据处理的领域，Apache Spark 以其强大的数据处理能力被广泛应用。在使用 Spark 进行自定义聚合时，用户会遇到一些挑战。本篇文章将深入探讨在 Spark 中实现自定义 Aggregator 的过程，并展示线上的问题及解决方案。
### 问题背景
在某金融科技公司，用户需要分析交易数据以获取用户的消费模式。数据的增量算子和聚合操作对实时数据处理要求高。通常，公司的数据规模可以用
# Spark 自定义 Schema：实现灵活的数据处理
Apache Spark 是一个强大的分布式计算框架，广泛用于大数据处理和分析。在使用 Spark 处理数据时，Schema 的定义至关重要。Schema 描述了数据结构，包括字段名称、数据类型等信息。本文将介绍如何在 Spark 中自定义 Schema，并给出具体的代码示例。
## 什么是 Schema？
在 Spark 中，Sch
原创
2024-08-19 07:24:51
98阅读
目录一、需求二、代码展示三、数据展示四、结果展示五、三种分区方式介绍 1、默认
原创
2022-12-28 15:37:41
302阅读
