在项目发版后经常需要修改bug,解决出现的各种问题,对项目升级,这时候就需要将之前部署,上线的项目更新版本. 本文就简单说一下一些出现的关键点(不到之处欢迎指教) 1.使用idea,eclipse等工具打war包 1).打开idea开发工具，在File下找到Project Structure…(注意：低版本的idea在Nevigate目录下找) 2).在打开的页面中找到Artifacts，
# Spark Operator安装部署指南
## 概述
在进行Spark Operator安装部署之前，首先要了解整个流程。下面是安装部署的步骤梳理：
| 步骤 | 操作 |
| --- | --- |
| 1 | 下载Spark Operator的YAML文件 |
| 2 | 部署Spark Operator |
| 3 | 验证Spark Operator是否安装成功 |
## 步骤
原创
2024-06-15 04:14:20
117阅读
关于存算分离目前企业级的大数据应用主流还是采用Yarn或者Mesos来进行资源分配和运行调度的，例如我行目前采用Yarn来进行作业调度，并使用HDFS作为大数据的存储平台，这是典型的计算和存储紧耦合的模式，这种方案是通过数据本地化策略来减少数据的网络传输，从而实现良好的计算性能。随着业务的发展，支持作业运行所需要的计算资源（CPU、内存、网络带宽）的需求量也会不断增长，就可能出现Hadoop集群的
原创
2022-01-19 10:18:24
438阅读
关于存算分离目前企业级的大数据应用主流还是采用Yarn或者Mesos来进行资源分配和运行调度的，例如我行目前采用Yarn来进行作业调度，并使用HDFS作为大数据的存储平台，这是典型的计算和存储紧耦合的模式，这种方案是通过数据本地化策略来减少数据的网络传输，
原创
2021-07-19 11:36:42
609阅读
1 Spark 概述1.1 什么是 Spark 1.2 Spark 内置模块
Spark Core：实现了 Spark 的基本功能，包含任务调度、内存管理、错误恢复、与存储
系统交互等模块。Spark Core 中还包含了对弹性分布式数据集(Resilient Distributed
转载
2023-08-25 02:06:28
211阅读
kafka一、概述1.1 消息队列（MQ）使用消息队列的好处消息队列的两种模式1.2 Kafka 简介1.3 Kafka 的特性1.4 Kafka 系统架构BrokerTopic=PartitionLeaderFollowerReplicaProducerConsumerConsumer Group（CG）offset 偏移量Zookeeper二、部署kafka服务2.1 准备工作2.2 安装k
转载
2024-03-15 13:49:39
68阅读
Spark on k8s Operator 部署安装
原创
2021-07-19 11:36:55
653阅读
为了使用 Prometheus-Operator，这里我们直接使用 kube-prometheus 这个项目来进行安装（提供了很多的内置规则，可以直接拿来使用），该项目和 Prometheus-Operator 的区别就类似于 Linux 内核和 CentOS/Ubuntu 这些发行版的关系，真正起作用的是 Operator 去实现的，而 kub
原创
2022-08-16 21:09:39
616阅读
传统的Prometheus监控Kubernetes集群，有所缺陷，比如Prometheus、Alertmanager等组件的高可用，虽然可以通过自定义的方式实现，但是不够灵活。那么Prometheus Operator是一种更高级，更云原生的Kubernetes集群监控方式。其项目地址为：https
原创
2024-02-29 11:56:57
38阅读
# Prometheus Operator部署指南
在Kubernetes（K8S）集群中部署Prometheus Operator可以自动化地管理和监控Prometheus实例。本文将介绍如何在K8S集群中部署Prometheus Operator，并监控应用程序的性能和健康状态。
## 步骤概览
| 步骤 | 描述 |
| -------- | ------ |
| 1. 安装Helm
原创
2024-05-17 11:54:28
114阅读
最近开始研究spark on kubernetes，经过调研，spark on kubernetes有两种方案，一种是官方的spark提供的原生支持按照spark-submit方式提交任务，第二种是google基于kubernetes提供的spark operator方案，还是按照kubernetes声明式语法提交任务。一. spark on kubernetes区别spark on k8sspa
转载
2023-11-20 14:05:30
153阅读
# 如何使用 Spark Operator 配置 HDFS
## 引言
Apache Spark 是一个强大的分布式计算框架，而 Spark Operator 则是 Kubernetes 上管理 Spark 作业的一种方式。HDFS（Hadoop 分布式文件系统）是存储大数据的一个常用解决方案。本文将指导您如何使用 Spark Operator 配置 HDFS。
## 流程概述
以下是操作
# 如何实现 Spark Operator 的官方下载
在大数据技术环境中，Apache Spark 是一个非常流行的分布式计算框架，而 Spark Operator 则是让 Kubernetes 用户更便捷地管理 Spark 作业的工具。如果你是一名刚入行的小白，不必担心！本文将为你详细讲解如何下载并安装 Spark Operator，包含每一步的具体操作和代码示例。
## 整体流程
首先
随着云计算技术的不断发展，容器化技术已经成为应用程序部署的主流方式。而 Kubernetes 则是容器化技术的重要代表之一，它是一个开源的容器编排平台，能够自动化容器化应用程序的部署、扩展和管理。在本文中，我们将介绍如何使用 Kubernetes 实现应用程序的弹性伸缩。一、了解需求在开始弹性伸缩之前，我们需要了解应用程序的需求。这包括以下方面：1、应用程序的负载周期：即应用程序的负载高峰期和低谷
Spark RDD的宽依赖中存在Shuffle过程，Spark的Shuffle过程同MapReduce，也依赖于Partitioner数据分区器，Partitioner类的代码依赖结构主要如下所示：主要是HashPartitioner和RangePartitioner两个类，分别用于根据RDD中key的hashcode值进行分区以及根据范围进行数据分区一、Partitioner Spa
转载
2023-10-11 21:35:14
35阅读
# Spark HashTable Sink Operator
## Introduction
In Apache Spark, the HashTable Sink Operator is a crucial component of the shuffle operation. It is responsible for storing and organizing shuffled da
原创
2023-09-26 07:55:58
44阅读
Spark Operator浅析Spark Operator是Google基于Operator模式开发的一款的工具spark on k8s 与 spark on k8s operator的对比
原创
2022-01-19 10:26:56
18阅读
Spark Operator浅析Spark Operator是Google基于Operator模式开发的一款的工具spark on k8s 与 spark on k8s operator的对比
原创
2021-07-19 11:32:17
97阅读
一、Spark安装官网地址：http://spark.apache.org/文档地址：http://spark.apache.org/docs/latest/下载地址：http://spark.apache.org/downloads.htm下载Spark安装包下载地址：https://archive.apache.org/dist/spark/安装步骤：1、下载软件解压缩，移动到指定位置cd /
转载
2023-06-25 15:16:38
250阅读
# 如何实现 Flink Kubernetes Operator 部署
Flink 是一个流处理框架，而 Kubernetes 是一个容器编排平台。Flink Kubernetes Operator 能够简化 Flink 作业在 Kubernetes 上的部署与管理。对于初学者，理解和实施 Flink Kubernetes Operator 可能会有一定的挑战，但通过逐步教程可以轻松上手。本篇文
