文章目录写在前面安装Zookeeper下载Zookeeper（先在Master上搞）配置Zookeeper创建相应的数据和日志目录分发Zookeeper目录创建myid启动zookeeper安装Spark修改Spark的配置文件启动基于zookeeper的Spark集群验证集群是否高可用 写在前面Spark Standalone集群是Master-Slaves架构的集群模式，存在着Master单
转载
2023-11-29 05:18:16
37阅读
持续学习，持续更新中。 kafka是使用gradle管理代码。编译kafka源码安装scala插件，要与idea版本一致。 使用idea远程连接下载速度较慢，这边可以在scala插件网站下载插件，要注意scala版本要与idea对应，在idea-settings-plugins里搜索scala查看版本 。然后将下载的zip（不用解压）放到idea的plugins文件夹内，重启idea在plugin
转载
2024-02-04 21:45:20
82阅读
Kafka Producer API编程1）工作当中，使用Kafka的场景：和流处理进行关联/对接。也就是通过流处理系统（Spark Streaming\Flink\Storm流处理引擎）对接Kafka的数据，然后获取topic里的数据，进行消费和统计分析。这种场景一般是使用API的方式进行交互的。接下来，讲解使用API的方式来操作Kafka。2）按照之前的传统----->spark-log
转载
2023-12-06 19:55:23
52阅读
# PySpark 连接3版本Kafka
Kafka 是一个高性能、分布式的消息队列系统，常用于大数据处理和实时数据流处理。而 PySpark 是 Apache Spark 的 Python API，用于处理大规模数据集。在实际应用中，经常需要将 PySpark 与 Kafka 结合使用，以实现数据的实时处理和分析。
本文将介绍如何在 PySpark 中连接 Kafka 3 版本，并进行数据的
原创
2024-06-25 05:53:31
280阅读
一、Kafka简介1、Zookeeper安装（apache-zookeeper-3.5.5-bin.tar.gz）解压：tar -xzf /home/spark/桌面/apache-zookeeper-3.5.5-bin.tar.gz移动：sudo mv apache-zookeeper-3.5.5-bin /home/spark/app/zookeeper配置环境变量： ①vi ~/.bash_
转载
2024-01-11 13:23:05
97阅读
摘抄一段 ZooKeeper 官网的一句话。大意就是 ZooKeeper 为分布式应用提供了高效可靠的分布式协调服务，提供了统一命名服务、配置管理和分布式锁等分布式的基础服务。ZooKeeper is a centralized service for maintaining configuration information, naming, providing distributed sync
转载
2023-11-15 14:43:46
61阅读
上一节搭建完了Hive，这一节我们来搭建ZooKeeper，主要是后面的kafka需要运行在上面。ZooKeeper下载和安装 下载ZooKeeper 3.4.5软件包，可以在百度网盘进行下载。 下载完用Xftp上传到spark1服务器，我是放在/home/software目录下。[root@spark1 lib]# cd /home/software/
[root@spark1 soft
转载
2023-11-09 12:11:38
68阅读
一、ZooKeeper集群搭建（一）、集群部署的基本流程 下载安装包、解压安装包、修改配置文件、分发安装包、启动集群（二）、ZooKeeper集群搭建1、下载安装包 去官网下载zookeeper压缩包2、解压安装包 tar -zxvf zookeeper-3.4.12.tar.gz解压并重命名为zookeeper3、修改配置文件cd zookeeper/conf
cp zoo_samp
转载
2023-11-25 07:08:25
46阅读
三、Spark Shuffle一、Spark的Shuffle简介Spark在DAG调度阶段会将一个Job划分为多个Stage，上游Stage做map工作，下游Stage做reduce工作，其本质上还是MapReduce计算框架。Shuffle是连接map和reduce之间的桥梁，它将map的输出对应到reduce输入中，涉及到序列化和反序列化、跨节点网络IO以及磁盘读写IO等Spark的Shuff
转载
2023-08-09 21:06:12
147阅读
执行pyspark报错env: ‘python’: No such file or directory问题这学期学大数据分析与内存计算，在搭建spark环境前期遇到了一些问题，零零散散的，统计并记录一下。这两天很感谢我的上官老师，还有热心帮助我的同学！问题一xshell新建会话，建立连接，没有ssh警告，导致无法连接解决办法： 我很懒，方法如下图： 下面这句话需要先在linux系统上执行，然后再去
转载
2024-03-03 15:44:29
57阅读
整体结构Configpackage com.fuwei.bigdata.profile.conf
import org.slf4j.LoggerFactory
import scopt.OptionParser
case class Config(
env:String = "",
username:String = "",
转载
2023-10-26 17:38:33
160阅读
# 使用 PySpark 消费 Kafka 数据的指南
在大数据处理领域，PySpark 结合 Kafka 是一个强大的组合。通过 Kafka，您可以处理实时数据流，而 PySpark 则提供了强大的数据处理能力。本文将逐步教会你如何使用 PySpark 从 Kafka 中消费数据。
## 流程概述
在开始之前，理解整个流程是很重要的。以下是消费 Kafka 数据的大致流程：
| 步骤 |
# 使用 PySpark 读取 Kafka 数据的完整指南
在大数据生态圈中，Kafka 被广泛用作数据流处理的工具，而 PySpark 则是处理大数据的强大框架。通过结合这两者，我们能够高效地从 Kafka 中读取和处理数据。本文将带你一步步了解如何使用 PySpark 读取 Kafka 数据。我们将以结构化的方式展示整个过程。
## 整体流程
下面是使用 PySpark 读取 Kafka
原创
2024-09-27 06:29:08
254阅读
在大数据处理的场景中，利用 PySpark 连接 Hive 进行数据分析越来越普遍，但这个过程往往会遭遇各种挫折和困难。本篇文章将详细记录解决“PySpark连接Hive”问题的过程，通过清晰的结构和图示帮助你理解并掌握连接步骤、调试方法及性能优化策略。
## 背景定位
在商业环境中，企业需要将大量数据存储在 Hive 中，以便后续的数据分析、报表生成等任务。然而，PySpark 与 Hive
# 使用 Livy 连接 PySpark 的实践指南
在大数据处理的今天，Apache Spark 作为一个强大且高效的分布式计算框架，受到了广泛的欢迎。为了简化 Spark 的使用，Apache Livy 应运而生。Livy 是一种 REST 服务，提供了一个用于与 Spark 集群交互的简单接口。本文将介绍如何通过 Livy 连接到 PySpark，并附上代码示例和相关图示。
## 一、什
# 使用 PySpark 连接 ClickHouse 数据库
随着大数据技术的发展，PySpark 和 ClickHouse 在数据处理和分析方面的需求日益增长。PySpark 是 Apache Spark 的 Python API，广泛用于大规模数据处理和分析。而 ClickHouse 是一个高效的列式数据库管理系统，专为在线分析处理（OLAP）而设计。本文将介绍如何使用 PySpark 连接
# Pyspark 连接 Hudi 的使用指南
Apache Hudi 是一个开源的数据湖解决方案，支持高效的数据写入、更新和删除操作。Hudi 提供了一种高效的方式来管理大规模的数据集，尤其是在流式和批处理场景中。本文将介绍如何使用 Pyspark 连接 Hudi，并提供代码示例，帮助你轻松上手。
## Apache Hudi 简介
Hudi 提供了 ACID 事务支持，允许用户在数据湖中
## PySpark连接节点
在PySpark中，连接节点是非常重要的概念，它代表了分布式集群中的一个计算资源。通过连接节点，我们可以利用集群中的多个节点来并行处理大规模数据，提高数据处理的效率和速度。
### 什么是PySpark连接节点？
PySpark连接节点是指在Spark集群中的一个计算节点，用于执行Spark任务和处理数据。在一个分布式集群中，通常会有多个连接节点，每个节点都具有
原创
2024-05-05 06:26:24
24阅读
# 使用 PySpark 连接 MySQL 数据库
PySpark 是 Apache Spark 的 Python API，它提供了用于分布式计算的强大功能。在实际的数据分析和处理中，我们通常需要从关系型数据库中读取数据，对其进行处理和分析。本文将介绍如何使用 PySpark 连接 MySQL 数据库，并且展示了一些常见的数据读取和写入操作。
## 准备工作
在开始之前，我们需要确保已经安装
原创
2023-07-31 11:37:06
463阅读
# pyspark 断开连接
## 引言
在使用 pyspark 进行大数据分析时，我们经常需要连接到 Spark 集群进行数据处理。然而，当我们完成了数据处理任务后，我们需要断开与集群的连接，以释放资源并避免不必要的费用。本文将介绍如何在 pyspark 中断开与 Spark 集群的连接，并提供代码示例。
## pyspark 简介
pyspark 是一种用于大规模数据处理的开源分布式计
原创
2024-01-12 04:00:30
111阅读
