一：RDD简介(一)RDD概念RDD(Resilient Distributed DataSet)，弹性分布式数据集，是Spark中最基本，也是最重要的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知度调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能重用工作集，这极大地提升了查询速度。因为有RDD，
转载
2023-07-21 15:01:12
592阅读
其实在spark上构建一个项目是一个很简单的事情，比较繁琐的是环境的搭建。spark上实现一个项目就和实现一个普通的非分布式的项目一样，下面用两个例子来说明：1、Wordcount程序（spark和Hadoop对比）（1）Hadoop比较繁琐，需要写一个map程序，实现单词的切分，以及进行发送出去（也就是写到磁盘的过程），然后你还要写一个reduce程序，将相同的单词进行计数累加，最后你还要写一个
转载
2023-07-17 16:39:46
83阅读
文章目录一.Spark streaming介绍1.1 Spark streaming简介1.2 Spark 与storm区别1.3 一个简单的例子二.Spark Streaming的组件介绍2.1 Streaming Context2.2 Dstream(离散流)2.1 Receiver2.2 数据源2.3 可靠性2.4 Dstream的操作2.5 缓存2.6 Checkpoint三.一个简单的
转载
2024-10-24 20:49:09
55阅读
spark项目技术点整理1.性能调优： 1>分配更多的资源：性能调优的王道就是分配和增加更多的资源。写完一个spark作业后第一个要是调节最优的资源配置，能够分配的资源达到你的能力范围的顶端后，才是考虑以后的性能调优。 2>分配那些资源：executor,cpu per executor,memory per executor.,driver memory 3>在哪里分配：
转载
2023-08-01 14:07:01
191阅读
【导读：数据是二十一世纪的石油，蕴含巨大价值，这是·情报通·大数据技术系列第[73]篇文章，欢迎阅读和收藏】1 基本概念无论 Windows 或 Linux 操作系统，构建 Spark 开发环境的思路一致，基于 Eclipse 或 Idea ，通过 Java 、 Scala 或 Python 语言进行开发。安装之前需要提前准备好 JDK 、 Scala 或 Python 环境，然后在 Eclips
转载
2023-08-21 20:46:47
93阅读
# 搭建Spark SQL项目的步骤
## 1. 创建一个新的Spark SQL项目
首先，我们需要创建一个新的Spark SQL项目。可以按照以下步骤进行操作：
1. 使用命令行或IDE（如IntelliJ IDEA）创建一个新的Scala项目。
2. 在项目的根目录下创建一个`build.sbt`文件，并添加以下内容：
```scala
name := "SparkSQLProjec
原创
2024-02-13 10:00:33
159阅读
前面安装好三节点的centos 6.5 和配置好静态ip,这里就不多说了 创建kfk用户，然后重启 设置主机名 接下来是主机名与ip地址的映射 配置完了重启 重启后可以看到我们的主机名改变了 接下来在windows下的映射 找到这个路径下的hosts文件，用记事本编辑 在后面加上 通过软件 实现远程
原创
2022-12-28 21:08:07
86阅读
文章目录一、新建项目二、配置Maven环境三、配置Scala环境四、测试准备五、
原创
2022-08-12 10:43:35
145阅读
一、Spark开发环境准备工作由于Spark仅仅是一种计算框架，不负责数据的存储和管理，因此，通常都会将Spark和Hadoop进行统一部署，由Hadoop中的HDFS、HBase等组件负责数据的存储管理，Spark负责数据计算。安装Spark集群前，需要安装Hadoop环境 二、了解Spark的部署模式（一）Standalone模式Standalone模式被称为集群单机模式。该模式下，
固定开头，菜鸡一只，如有说错，请大家批评指出，一定改正！事情是这样，当我们学习spark的时候，搭建一个环境是最简单也是最开始我们要做的，一般情况下，我们都是使用虚拟机（linux机器）来搭建spark的环境，然后让spark运行在yarn上（其实也有其他几个模式，但是yarn模式是较常见的通用的资源管理平台）但是本文要说的是如何在生产（环境）服务器上，搭建自己的spark环境 需要准备
转载
2023-12-15 10:12:12
0阅读
文章目录一、Spark简介二、RDD和DSM（分布式共享内存）三、Spark实现1.Job Scheduling2.Interpreter Integration（解释器的集成）3.Memory Management4.Support for Checkpointing四、PageRank代码1.PageRank算法简介2.应用程序代码（1）Scala语法（2）PageRank的代码（3）执行P
转载
2023-08-28 14:20:59
98阅读
Spark On Yarn完全分布式搭建 Spark On Yarn的搭建分为三个阶段，第一个是Zookeeper集群的搭建，第二是Hadoop集群的搭建，第三是Spark集群的搭建。所以以下将按照这三个步骤来给大家进行展示Spark On Yarn完全分布式搭建。
一、准备
1、软件及版本 1.&n
转载
2024-06-18 13:22:42
97阅读
1 两种解决方案1基于文件系统的单点恢复，主要用于开发或者测试环境，spark提供目录保存spark application和worker的注册信息，并将它们的恢复状态写入该目录中。一旦master发生故障，就可以通过重新启动master进程(sbin/start-master.sh)，恢复已运行的spark application和worker的注册信息。2基于zookeeper的standby
转载
2023-10-20 21:32:17
97阅读
准备好相关环境主要是在集群电脑上安装好java JDK,设置好电脑主机名称，配置Ip地址，利用ssh进行电脑间的连接，并测试好网络连接可靠。搭建hadoop系统(sprak本身不依赖hadoop,这里我想把hadoop用起来)，同时可以预装python、pycharm这些可能用到的编程语言和开发环境。hadoop系统如何搭建可参考我之前的博文。安装spark至官网下载相应版本的spark安装文件
转载
2023-07-20 18:21:21
8阅读
通常写spark的程序用scala比较方便，毕竟spark的源码就是用scala写的。然而，目前java开发者特别多，尤其进行数据对接、上线服务的时候，这时候，就需要掌握一些spark在java中的使用方法了 一、map map在进行数据处理、转换的时候，不能更常用了 在使用map之前 首先要定义一个转换的函数 格式如下：Function<String, LabeledPoint&
转载
2023-07-31 15:42:13
135阅读
标题：如何为IDEA搭建Maven项目一、搭建Maven环境 1、首先进入Maven官网下载apache-maven-3.8.2-bin.zip压缩包，截图如下：2、并将下载后的Maven压缩包解压，我解压的路径为E:\Maven，（提示：此步的解压路径中最好不要出现中文路径和含有空格的英文路径）截图如下所示：3、配置Maven的环境变量： 1）点击打开设置-----系统----关于-----高级
转载
2023-09-06 13:03:30
89阅读
开发环境Ubuntu pycharmspark-kafka 环境搭建使用 pip 下载最新的 pyspark ，不能直接链接 kafka，需下载额外的 jar 包，我遇到了好多坑。zkpython 安装使用公司的网络，和校园网的概念是一样的，所以 dns 有问题，在网上看到在自家的 wifi 的环境下是可以的，所以回到家里面，终于有了网，但是下载 zkpython 的时候，说缺少 zookeepe
转载
2023-12-14 16:47:53
58阅读
网上的普遍太久远，不太适配，记录自己历经三天的完美搭建
原创
2024-04-14 10:20:24
85阅读
1.配置JDK 省略2.配置scala 省略3.配置hadoop 1.下载所需要的hadoop版本，并解压 https://archive.apache.org/dist/hadoop/common/ 下载之后解压到一个目录下，例如： F:\bigdata\software\hadoop-2.8.5 2.配置环境变量
转载
2023-06-14 18:44:31
281阅读
搭建 Spark 是一个非常有趣的过程，它能够帮助我处理大数据和进行分布式计算。在这篇博文中，我将详细记录搭建 Spark 的过程，包括环境准备、分步指南、配置详解、验证测试、优化技巧和扩展应用。
## 环境准备
### 软硬件要求
在搭建 Spark 之前，我首先确保我的硬件和软件环境满足以下要求：
- **硬件要求**：
- 内存：至少 8GB RAM（推荐 16GB 以上）
