RDD 触发Action就会生成spark job RDD的全称为Resilient Distributed Dataset，是一个弹性、可复原的分布式数据集是Spark中最基本的抽象，是一个不可变的、有多个分区的、可以并行计算的集合。 RDD中并不装真正要计算的数据，而装的是描述信息，描述以后从哪里读取数据，调用了用什么方法，传入了什么函数，以及依赖关系等。RDD特点 有一些列连续的分区：分区编
转载
2024-07-12 17:35:27
33阅读
## Flink YARN Client: A Comprehensive Guide
Apache Flink is an open-source framework for stream and batch processing of big data. It provides powerful capabilities for analyzing and processing large
原创
2024-01-14 07:13:51
21阅读
使用Spark清洗日志数据（一）具体要求代码实现结果展示具体要求有一些较为杂乱的数据需要清洗，现在需要将其完成下列操作取出IP，生成只有一个IP的数据集简单清洗统计IP出现的次数排序，按照IP出现的次序排序取出前十数据展示代码实现import org.apache.commons.lang3.StringUtilsimport org.apache.spark.{SparkConf, SparkContext}object AccessLogTest { def mai
原创
2021-12-31 09:59:30
525阅读
(master/slave)主从复制模式：主机数据更新后根据配置和策略，自动同步到备机的master/slaver机制，Master以写为主，Slave以读为主，slave只读模式，不可以写入操作。操作：slaveof 主库ip 主库端口 配置从库 &n
转载
2024-07-15 00:03:18
22阅读
系统： centos6.5logstash：2.4.1修改rsyslog配置文件，这里我以本机做测试[tomcat@client ~]$ sudo vim /etc/rsyslog.conf
*.* @@127.0.0.1:514 #最后一行增加
[tomcat@c
原创
2017-01-12 12:39:12
3003阅读
## 如何实现"Client 架构图"的方法和步骤
### 概述
在软件开发中，Client 架构图是用来描述客户端与服务器端之间的交互关系和数据流动的重要工具。本文将介绍如何实现一个简单的 Client 架构图，以帮助刚入行的小白了解这一概念。
### 步骤
首先，我们来看一下整个实现过程的步骤：
```mermaid
gantt
title 实现"Client 架构图"的步骤
原创
2024-03-18 06:49:31
72阅读
在处理 Elasticsearch 的 Java 客户端进行分页的问题时，我们需要考虑多个方面，包括环境的搭建、集成步骤、配置细节、实战案例分析、排错过程以及性能优化策略。通过整合这些内容，我们可以更系统地掌握如何使用 Elasticsearch 的 Java 客户端进行高效的分页处理。
### 环境准备
首先，我们需要确保我们的开发环境已经准备好。以下是我们需要的依赖。
```bash
#
光盘的 2052_chs_lp\x64\setup\x64提取sqlcli.exe
原创
2017-06-23 10:05:00
815阅读
实验介绍我们知道对于一个网站的用户访问流量是不间断的，基于网站的访问日志，即WEB LOG的分析是经典的流式实时计算应用场景。比如百度统计，它可以做流量分析、来源分析、网站分析、转化分析。另外还有特定场景分析，比如安全分析，用来识别 CC 攻击、 SQL 注入分析、脱库等。这里我们简单实现一个类似于百度分析的系统。课程来源这里的课程来自于【实验楼课程】：流式实时日志分析系统——《Spark 最佳实
转载
2024-06-03 21:55:14
13阅读
spark 1.6.1 python 2.7.11前言整理了一下使用spark来进行日志清洗及数据处理的套路，这里以pyspark为例pyspark的启动任务套路对于使用spark作为查询清洗工具而言，启动spark的套路主要使用sh文件进行终端带参数启动，启动后开始调用sh传递处理参数，并且构造好sparkconf后传递提交(spark-submit) python文件,当然最主要的函数逻辑都
转载
2023-08-12 20:24:18
87阅读
概述重要角色dirver(驱动器)Spark的驱动器是执行开发程序中的main方法的进程。它负责开发人员编写的用来创建SparkContext、创建RDD，以及进行RDD的转化操作和行动操作代码的执行。如果你是用spark shell，那么当你启动Spark shell的时候，系统后台自启了一个Spark驱动器程序，就是在Spark shell中预加载的一个叫作 sc的SparkContext对象
转载
2023-09-04 14:11:44
56阅读
文章目录聚合日志日志查看方式1. yarn命令2. HDFS命令行工具3. Spark Web UI非聚合日志Spark日志文件参考 当我们的Spark应用程序运行在YARN资源管理器的时候，集群中ApplicationMaster和Executor都是运行在YARN container中，container是YARN集群对资源（内存、CPU等）的抽象。YARN对于运行完成的应用程序有两种处理c
转载
2023-10-11 15:56:52
200阅读
1 Standalone模式下按照香飘叶子的文档部署好完全分布式集群后，提交任务到Spark集群中，查看hadoop01:8080，想点击查看某个已完成应用的历史情况，出现下面的提示：Event logging is not enabled
No event logs were found for this application! To enable event logging, set spa
转载
2023-08-06 12:49:17
192阅读
您是否曾经对运行了几个小时的Spark作业感到沮丧，但由于基础设施问题而失败了。 您会很晚才知道此故障，并浪费了数小时的时间，当Spark UI日志也无法用于事后检查时，它会更加痛苦。 你不是一个人！ 在这篇文章中，我将介绍如何启用与Spark logger搭配使用的自定义记录器。 该定制记录器将收集从被动监视到主动监视所需的所有信息。 无需为此设置额外的日志记录。 Spark
转载
2023-08-08 09:01:23
143阅读
1．驱动器节点(Driver)Spark的驱动器是执行开发程序中的 main方法的进程。它负责开发人员编写的用来创建SparkContext、创建 RDD，以及进行 RDD 的转化操作和行动操作代码的执行。如果你是用spark shell，那么当你启动 Spark shell的时候，系统后台自启了一个 Spark 驱动器程序，就是在Spark shell 中预加载的一个叫作 sc 的 SparkC
转载
2023-10-05 16:15:33
0阅读
作者：胡加华一、前言在 2019 年 1 月份的时候，我们发表过一篇博客 SparkSQL在有赞大数据的实践，里面讲述我们在 Spark 里所做的一些优化和任务迁移相关的内容。本文会接着上次的话题继续讲一下我们之后在 SparkSQL 上所做的一些改进，以及如何做到 SparkSQL 占比提升到 91% 以上，最后也分享一些在 Spark 踩过的坑和经验希望能帮助到大家。本文主要的内容包括：Thr
转载
2024-08-01 07:50:24
52阅读
# 如何在Ubuntu上卸载Docker客户端
在现代软件开发中，Docker已成为构建、分享和运行应用程序的重要工具。然而，在某些情况下，开发者可能需要卸载Docker客户端以解决环境冲突或进行版本升级。本文将展示如何在Ubuntu系统上快速而有效地卸载Docker客户端。
## 前提准备
在开始之前，确保你的系统上已经安装了Docker。你可以通过以下命令来验证Docker的安装情况：
原创
2024-10-05 04:27:21
46阅读
Spark日志排查指南本文基于Spark2.1.0版本整理，采用Yarn作为集群管理器Spark 程序的日志根据 spark 程序所在的阶段需要去不同的地方查看程序运行过程中，可以通过程序本身的Web UI查看运行时日志。（PS: Spark的Web UI信息是任务运行过程中记录在内存中的详细记录，任务执行完毕后无法再通过原来的URL查看）程序运行结束后，若开启了Yarn 和 Spark的日志聚合
转载
2023-06-21 14:52:48
920阅读
SparkContext是通往Spark集群的唯一入口，是整个Application运行调度的核心。一、Spark Driver Program Spark Driver Program（以下简称Driver）是运行Application的main函数并且新建SparkContext实例的程序。其实，初始化SparkContext是为了准备Spark应用程序的运行环境，在Spark中，由Sp
转载
2024-07-30 20:19:30
107阅读
Saprk-日志实战一、用户行为日志1.概念用户每次访问网站时所有的行为日志(访问、浏览、搜索、点击)
用户行为轨迹，流量日志2.原因分析日志：
网站页面访问量
网站的粘性
推荐3.生产渠道(1)Nginx
(2)Ajax4.日志内容日志数据内容：
1.访问的系统属性：操作系统、浏览器等
2.访问特征：点击URL，跳转页面(referer)、页面停留时间
3.访问信息：seesi
转载
2024-07-24 13:10:20
44阅读
