一、Spark简介 1、什么是Spark 发源于AMPLab实验室的分布式内存计算平台，它克服了MapReduce在迭代式计算和交互式计算方面的不足。 相比于MapReduce，Spark能充分利用内存资源提高计算效率。 2、Spark计算框架 Driver程序启动很多workers,然后workers在（分布式）文件系统中读取数据后转化为RDD（弹性分布式数据集），最后对R
转载
2023-08-06 08:55:15
173阅读
目录num-executorsexecutor-memoryexecutor-coresdriver-memoryspark.default.parallelismspark.storage.memoryFraction（Spark1.6之前的参数）命令例子总结：driver-memory 使用collect算子需要设置，其他情况不用设置num-executors=50~100 比较好（与集群节点
转载
2024-03-05 15:35:53
29阅读
# Java Spark输出结果到文件教程
## 整体流程
以下是实现Java Spark输出结果到文件的步骤：
```mermaid
pie
title Java Spark输出结果到文件流程
"初始化SparkSession" : 20
"读取数据" : 30
"进行数据处理" : 40
"保存结果到文件" : 10
```
## 每一步具体操作
原创
2024-05-03 07:20:44
71阅读
哈喽大家好，这里是java小白成长记！昨天给大家分享了“1+1=2”用Java怎么写代码，不知大家在尝试的过程中有没有发现，这个代码太单一了，什么意思呢？就是说这个代码只能计算1+1，如果想算1+2呢？我们要去改代码，计算其他的？再去改？这未免太low了吧!!那我们能不能不改代码就去计算其他的呢？答案当然是肯定的，下面就给大家分享一下方法。我们的目标就是想计算什么，就在DOS命令窗口中输入什么！对
转载
2024-10-22 17:23:48
21阅读
对于任何一门语言，要想达到精通的水平，研究它的执行原理(或者叫底层机制)不失为一种良好的方式。在本篇文章中，将重点研究java源代码的执行原理，即从程序员编写JAVA源代码，到最终形成产品，在整个过程中，都经历了什么？每一步又是怎么执行的？执行原理又是什么？ 一 编写java源程序java源文件:指存储java源码的文件。先来看看如下代码：//MyTest被public修饰，故存储该java源码
转载
2023-07-25 19:24:27
126阅读
问题描述同事在执行sql查询直接用limit 查看几条数据时发现报错，但是用count或* 查询是显示有数据。第一感觉真的很奇怪，后面发现是马虎的锅；select * from tableName ; 正确显示数据；select * from tableName limit 2; 查询报错（因为公司日志复制不出来，只好敲出来一部分，剩余上图了）java.lang.UnsupportedO
转载
2024-01-20 22:24:19
73阅读
print函数python输出主要使用print函数，print函数介绍：print(*objects, sep=' ', end='\n', file=sys.stdout, flush=False)*objects表示要打印的值，表示多个无名参数或需要打印的值；sep=' '，对应上面要打印的值中间间隔，默认一个空格；end='\n'，传入值打印完后的结束符号，默认为换行符，可以自行设置；fi
转载
2023-09-11 12:08:41
320阅读
word_count
在大数据学习上，就行刚开始编程时候打印“
Hello world
”一样，
Spark
的
word_count
的解决实现确实比较优雅，只需要一条语句就解决了： sc.textFile(filePath).flatMap(line==>line.split(“\\s+”
转载
2024-03-02 09:01:12
35阅读
上一节我们通过简单的一个案列认识了SparkStreaming，接下来，我们将超越简单的示例，详细介绍 Spark Streaming 的基本知识。1、链接与 Spark 类似，Spark Streaming 可以通过 Maven Central 获得。要编写自己的 Spark Streaming 程序，您必须向 SBT 或 Maven 项目添加以下依赖项。-- maven
<depende
转载
2024-01-05 10:35:27
24阅读
System.out.println是一个Java语句，一般情况下是将传递的参数，打印到控制台。System：是 java.lang包中的一个final类。根据javadoc，“java.lang.System该类提供的设施包括标准输入，标准输出和错误输出流; 访问外部定义的属性和环境变量; 一种加载文件和库的方法; 以及用于快速复制数组等一部分的实用方法… ”out：是System类的静态成员字
# Spark运行WordCount没有输出的原因及解决办法
Apache Spark 是一个快速的、通用的集群计算系统，广泛应用于大数据处理与分析。WordCount 是 Spark 中经典的初学示例，用于统计文本中每个单词出现的次数。但是，有时在运行 WordCount 时可能不会产生任何输出，本文将探讨可能的原因以及解决方法，并提供代码示例。
## WordCount代码示例
首先，让
# Spark Cluster运行结果定位指南
在大数据领域，Apache Spark是一个强大的工具，能够处理大量的实时数据。今天，我们将介绍如何找到Spark集群的运行结果，并将整个流程分解为几个容易理解的步骤。以下是步骤概览：
| 步骤 | 描述 |
|------|------|
| 1 | 启动Spark集群 |
| 2 | 提交Spark任务 |
| 3 | 监控
原创
2024-10-28 06:04:16
73阅读
前情提要：Spark RPC框架源码分析（一）简述一. Spark RPC概述上一篇我们已经说明了Spark RPC框架的一个简单例子，Spark RPC相关的两个编程模型，Actor模型和Reactor模型以及一些常用的类。这一篇我们还是用上一篇的例子，从代码的角度讲述Spark RPC的运行时序，从而揭露Spark RPC框架的运行原理。我们主要将分成两部分来讲，分别从服务端的角度和客户端的角
转载
2024-08-05 22:31:48
24阅读
spark中用sql方式查询的方法步骤
转载
2019-10-08 21:36:00
190阅读
函数函数的参数位置参数默认参数可变参数(传入tuple)def calc(numbers):
sum = 0
for n in numbers:
sum = sum + n * n
return sum我们把函数的参数改为可变参数：def calc(*numbers):
sum = 0
for n in numbers:
su
转载
2024-06-27 14:12:16
66阅读
spark默认使用log4j记录日志。目标：将spark日志按照天输出到日志中，并且只保留15天的记录。以下介绍两种办法：1、日志重定向+shell脚本定时删除日志（1）日志重定向：sh spark-submit.sh >> log/`date +%Y-%m-%d`.log 2>&1 &生成形如 ： 2020-03-03.log （2）删除日志脚本：#!
转载
2023-06-21 18:11:06
373阅读
# Python代码输出网页运行结果
## 介绍
Python是一种流行的编程语言，它被广泛应用于网页开发。Python提供了许多库和框架，可以帮助开发人员轻松地创建和管理网页。本文将介绍如何使用Python代码输出网页运行结果，并提供一些示例代码来帮助读者更好地理解。
## 使用Python输出网页运行结果
要使用Python输出网页运行结果，我们可以使用Python的Web框架，如Dj
原创
2023-09-02 16:05:32
371阅读
一、程序交互1、什么是程序交互？ name=input('输入用户名：') #无论用户输入何种内容，input都会存成字符串格式 print(name)2、为啥要有程序交互？ 让计算机能够模拟人，去接受客户的输入的信息二、注释单行注释：#多行注释:''' '''代码注释原则:不用全部加注释，只需要在自己觉得重要或不好理解的部分加注释即可注释可以用中文或英文，但绝对不要拼音噢三、数据类型数字：定义
# 如何使用Hive和Spark统计记录数
## 引言
在大数据分析和处理中，统计数据集的记录数是一个常见的任务。Hive和Spark是两个常用的工具，可以用来处理和分析大规模数据集。本文将介绍如何使用Hive和Spark来统计记录数，并给出相关的示例代码。
## Hive中统计记录数
Hive是一个基于Hadoop的数据仓库工具，它使用类SQL的查询语言HQL来进行数据分析和查询。在Hi
原创
2023-12-31 05:41:07
75阅读
# 如何将 Spark 计算结果输出到指定位置
在大数据处理中，Apache Spark 是一个非常强大的工具，它可以处理大量的数据并进行复杂的计算。然而，初学者常常会困惑于如何将计算结果输出到所需的位置。在本篇文章中，我们将详细介绍如何实现这一目标，并逐步解读实现流程。
## 整体流程
为了方便理解，我们可以将整个过程划分成以下几个步骤：
| 步骤 | 描述
