初始化Spark编写一个Spark程序第一步要做的事情就是创建一个SparkContext对象，SparkContext对象告诉Spark如何连接到集群。在创建一个SparkContext对象之前，必须先创建一个SparkConf对象，SparkConf对象包含了Spark应用程序的相关信息。每个JVM只能运行一个SparkContext，在创建另一个新的SparkContext对象前，必须将旧的
转载
2023-06-19 06:54:40
89阅读
一、完全分布式安装前提： 已安装scala（2.11.8）、hadoop（2.7.7）1、配置到环境变量：vim /etc/profile(这里是修改的root的环境变量配置，一般修改~/.bash_profile个人用户下的环境变量比较稳妥)在配置文件末尾追加上如下内容：
export SPARK_HOME=/home/hadoop/apps/spark
export PATH=$PATH:$S
转载
2023-10-09 13:40:24
104阅读
前提条件：先安装jdk官方下载spark-2.4.4-bin-hadoop2.7.tgz官方地址：http://spark.apache.org/downloads.html下载具体版本地址http://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.4.4/spark-2.4.4-bin-hadoop2.7.tgz在linux中可以直接...
原创
2021-07-27 17:38:36
3770阅读
文章目录hadoop&spark集群配置网络配置(桥接模式)ip配置修改用户名（所有节点）配置ssh免密码登录安装JDK1.8.0环境(所有节点)安装Hadoop2.10.0(所有节点)遇到的问题安装关系型数据库MySQL（主节点）安装zookeeper-3.5.8(所有节点)遇到的问题zookeeper基础知识安装spark3.0.1(所有节点)遇到的问题安装hbase2.3.3遇到的
转载
2024-10-11 12:52:14
0阅读
SparkStreaming是Spark的一个流式计算框架，它支持对许多数据源进行实时监听，例如Kafka, Flume, Kinesis, or TCP sockets，并实现实时计算的能力，但准确来说应该是伪实时，因为它的基本原理就是定时接收数据流，然后将其转化为许多量小的RDD集合，然后对其进行计算汇总，如下图： SparkStreaming的流式计算其实可以分为很多种类，让我们一步步分开来
转载
2023-09-21 08:23:12
74阅读
在Linux下使用PyCharm配置Spark开发环境是许多开发者的必备技能之一。Spark作为大数据处理框架在数据领域有着广泛的应用，而PyCharm作为一款功能强大的集成式开发环境则为开发者提供了便捷的开发工具。本文将介绍如何在Linux系统下配置PyCharm以便进行Spark开发。
首先，我们需要确保已经安装了Java和Spark。可以通过以下命令来检查Java和Spark的版本：
``
原创
2024-04-09 11:11:20
142阅读
# 在Linux下重启Spark集群
在大数据处理的世界中，Apache Spark因其速度和易用性而倍受欢迎。在日常使用中，可能会遇到需要重启Spark集群的情况，比如配置修改、资源调整或故障恢复等。本文将指导你如何在Linux环境下重启Spark集群，包括代码示例和一些注意事项。
## Spark集群架构概述
在深入重启的过程之前，我们先了解一下Spark集群的基本架构。Spark集群主
原创
2024-10-19 03:34:45
134阅读
在前一篇文章中，我们已经搭建好了Hadoop的群集，接下来，我们就是需要基于这个Hadoop群集，搭建Spark的群集。由于前面已经做了大量的工作，所以接下来搭建Spark会简单很多。 首先打开三个虚拟机，现在我们需要安装Scala，因为Spark是基于Scala开发的，所以需要安装Scala。在U
原创
2021-07-22 15:02:24
93阅读
最终91行为: set JAVA_OPTS=-XX:MaxPermSize=128m %OUR_JAVA_OPTS% -Xms%OUR_JAVA_MEM% -Xmx%OUR_JAVA_MEM% -Dscala.usejavacp=true -Xss10m 5. 补配hadoop环境变量 HADOOP
原创
2022-05-05 21:55:59
1017阅读
Windows平台环境搭建JDK1.8-8u201Scala2.11.8spark2.2.0hadoop2.7.2sbt0.13.13.1
1. 首先安装 JDK
1.JDK下载地址：http://www.oracle.com/technetwork/java/javase/downloads/index.html点开链接你应该看到如下图所示的界面：2.点击上图中箭头所指的地方，会出现下面的这个界
本案例软件包：链接：https://pan.baidu.com/s/1zABhjj2umontXe2CYBW_DQ 提取码：1123（若链接失效在下面评论，我会及时更新）.目录（1）安装Spark1.先用xftp将安装包传到home/hadoop/Downloads文件夹下，然后解压安装。2.解压缩：3. 更改文件夹名称：4.修改hadoop用户对文件夹spark的访问权限：（2）配置
转载
2023-10-25 09:52:29
98阅读
# Spark 与 MySQL 的科学计数法
在大数据处理中，Apache Spark 与 MySQL 数据库的结合使用是常见的场景。本文将介绍如何在 Spark 中使用 MySQL 并处理科学计数法。
## 什么是科学计数法？
科学计数法是一种表示非常大或非常小的数字的方法，通常形式为 `a × 10^n`，其中 `1 ≤ |a| < 10`，`n` 是一个整数。例如，`1.23e9` 表
原创
2024-07-19 12:31:14
72阅读
Linux是一种自由的操作系统，被广泛应用于服务器、超级计算机、嵌入式系统等领域。在Linux系统中，有许多强大的数学工具，可以用来进行各种数学运算和分析。其中，一个被广泛使用的数学工具就是红帽软件公司开发的数学软件包mathematics。
Mathematics在Linux下是一个非常强大的数学工具，它提供了丰富的数学函数和算法，可以用来进行各种数学运算和分析。Mathematics支持多种
原创
2024-05-27 10:26:32
132阅读
在Linux下保存文件是一项非常基础但却十分重要的操作。Linux提供了多种方式让用户能够灵活地保存文件并且能够保障文件的安全性。
首先，我们可以使用命令行工具来保存文件。在Linux系统中，用户可以通过使用命令行工具如cp、mv、rm等来保存文件。其中，cp命令可以将一个文件拷贝到指定的目录中，mv命令可以将文件移动到指定的目录中，rm命令可以删除文件。这些命令给用户提供了很大的灵活性，让用户
原创
2024-02-21 14:05:27
89阅读
在Linux下编程，是广大开发者们所追求和实践的目标。红帽作为一家在开源领域中崭露头角的公司，为Linux操作系统的开发和推广做出了巨大的贡献。本文将介绍Linux下编程的重要性以及红帽在这一领域中的角色。
Linux是一个自由和开放源代码的操作系统，它的内核由许多神奇的开发者共同维护，世界各地都有无数的编程爱好者贡献自己的智慧和力量。相对于其他商业操作系统，Linux具有更高的自由度和可定制性
原创
2024-02-01 16:26:15
35阅读
1、特点快如闪电的集群计算：是Hadoop的100倍，磁盘计算快10倍大规模快速通用的计算引擎：支持Java/scala/python/R 提供80+种操作符，容易构建并行应用 组合SQL 流计算 复杂分析运行环境：Hadoop mesos,standalone等2、spark模块 spark core 核心模块spark SQL&
转载
2024-01-12 14:35:22
47阅读
Apache POI是一个用于读写Microsoft Office文件的开源Java库。其中的XSSFWorkbook类可以用来处理Excel文件的操作。本文将主要介绍在Linux系统下如何使用XSSFWorkbook来读写Excel文件。
首先，要在Linux系统下使用XSSFWorkbook，我们需要先安装Apache POI库。可以通过Maven等依赖管理工具来引入Apache POI库。
原创
2024-04-23 11:23:15
69阅读
# Linux下Spark的启动方式详解
Apache Spark是一种开源的大数据处理框架，广泛用于大规模数据处理，尤其是实时数据处理。在Linux环境下启动Spark需要一系列步骤，本文将对整个流程进行详细的讲解。
## 流程概述
以下是Linux下Spark启动的简化流程图：
| 步骤 | 描述 |
|-------
原创
2024-10-12 04:34:38
339阅读
# 在Linux下搭建Spark环境的完整指南
## 1. 流程概述
在Linux系统中搭建Apache Spark环境通常可以大致分为以下几个步骤：
| 步骤 | 描述 |
|------|----------------------------|
| 1 | 安装Java |
| 2 | 下载Ap
1.jdk和scala的安装配置1.1 spark官方下载路径链接：https://www.apache.org/dyn/closer.lua/spark/spark-2.3.1/spark-2.3.1-bin-hadoop2.7.tgz1.2 windows下的spark开发环境配置注意：windows下开发spark不需要在本地安装hadoop，但是需要winutils.exe、hadoop.
转载
2023-11-30 21:39:19
95阅读
