上一篇文章中我们介绍了spark-submit脚本如何提交参数给spark服务器，以及spark如何发起一个spark application，最后spark application启动后又会调用我们自己编辑的WordCount主类。这里我们接着追踪源码介绍。追踪源码之前先简单介绍下driver概念，这样我们查看源码的过程中不至于太迷糊。driver：用户提交的应用程序代码在spark中运行起来就
转载
2023-11-07 07:21:09
54阅读
使用内置 Spark 操作的 iServer 是一个强大的数据处理平台，本博文将详细记录解决这一主题的问题过程，以帮助广大数据工程师更好地使用 iServer。接下来我们将进行一系列的环境准备、配置、验证、优化及扩展应用的指导。
## 环境准备
在开始之前，我们需要确保软硬件环境满足要求。以下是 iServer 和 Spark 的准备要素。
**软硬件要求**
- 操作系统：支持 Linux
spark实现UV统计
原创
2022-11-03 14:40:35
77阅读
Spark三种运行模式1.standalone模式与MapReduce1.0框架类似，Spark框架本身也自带了完整的资源调度管理服务，可以独立部署到一个集群中，而不需要依赖其他系统来为其提供资源管理调度服务。在架构的设计上，Spark与MapReduce1.0完全一致，都是由一个Master和若干个Slave构成，并且以槽（slot）作为资源分配单位。不同的是，Spark中的槽不再像MapRed
转载
2023-10-17 14:31:45
47阅读
废话不多说，具体实现代码如下import org.apache.spark.SparkConfimport org.apache.spark.SparkContextimport org.a
原创
2022-11-03 14:15:34
59阅读
1.上传spark-2.4.0-bin-hadoop2.6.tgz到/opt目录，并解压到/usr/localtar -zxf /opt/spark-2.4.0-bin-hadoop2.6.tgz -C /usr/local/ 进入/usr/local/spark-2.4.0-bin-hadoop2 ...
转载
2021-10-21 19:11:00
91阅读
2评论
Spark Structured Streaming 结构化流Structured Streaming是一个构建在Spark SQL基础上可靠具备容错处理的流处理引擎。Structured Streaming提供快速，可扩展，容错，端到端的精确一次流处理，而无需用户推理流式传输。流数据处理的三种语义：最少一次（at least once）： 流数据中的记录最少会被处理一次（1-n）最多一次（at
转载
2024-09-11 11:34:23
48阅读
目录sparkSQL概述sparkSQLsparkSQL特点DataFrameDataSet sparkSQL概述sparkSQL定义：sparkSQL是spark用于结构化数据处理的spark模块。优势：（1）数据兼容：SparkSQL不但兼容Hive，还可以从RDD、parquet文件、JSON文件中获取数据，未来版本甚至支持获取RDBMS数据以及cassandra等NOSQL数据；
转载
2023-08-11 22:27:40
82阅读
1、sorted(iterable[, key][, reverse])从Iterable中的项返回新的排序列表。 有两个指定关键字的可选参数：[, key]、[, reverse]。key指定一个参数的函数，该函数用于从每个列表元素中提取比较key：key=str.lower。默认值为None(直接比较元素)。reverse是一个布尔值。如果设置为True，则列表元素将进行排序，就好像每个比较都
转载
2024-06-14 22:38:32
16阅读
python内置函数与使用
原创
2018-04-18 18:26:52
515阅读
点赞
基础小函数、字符串函数、序列函数序列、元组、列表小函数max() 求最大值(列表、元组、序列)min() 求最小值len() 求长度>>> a = [1,2,3,4]>>> max(a)4>>> min(a)1>>> len(a)4>>>运算小函数divmod()
原创
2021-07-24 15:11:46
208阅读
# 使用365内置Python解决实际问题
在日常工作中，我们经常需要处理各种数据问题，而Microsoft 365中的内置Python功能可以为我们提供一种便捷而灵活的解决方案。本文将以生成项目计划的甘特图和项目状态图为例，介绍如何在365中使用内置Python解决实际问题。
## 什么是甘特图？
甘特图是一种常用的项目管理工具，用于展示项目任务的时间进度。它通过横坐标表示时间，纵坐标表示
内置函数使用方式
原创
精选
2023-02-24 11:09:41
259阅读
目录41. 彩色图像到黑白图像转换器所需的库用法例子42. CricBuzz 分数更新如何跑43.CSV 到 Excel要求44. 当前城市天气45. 目录管理器46. Excel 文件合并所需的库用法47. 扩展IP地址信息运行程序输出48.列表转换器的Excel到Python列表所需的库用法49. Python 中的文件资源管理器对话框1.使用tkinter2.使用PyQt50. 文件共享机器
# 如何实现Spark内置的REST API
在大数据处理领域，Apache Spark是一款强大而灵活的计算引擎。它提供了丰富的功能，其中包括内置的REST API。通过REST API，我们可以远程监控和操作Spark集群。本文将指导你如何实现Spark的内置REST API，帮助你更好地理解和使用该功能。
## 流程概述
为了实现Spark REST API的功能，我们可以将整个流程划
文章目录简介测试tpcds-kitspark-sql-perf生成数据执行查询查询结果TPC-DSFAQ 简介spark-sql-perf 是一个 spark sql 性能测试框架，可以用来进行一些基准测试。测试环境：spark 2.4.0spark-sql-perf_2.11-0.5.0-SNAPSHOT测试tpcds-kit通过 tpcds-kit 生成 TPC-DS 数据。sudo yum
序列化和压缩在分布式计算中，序列化和压缩是提升性能的两个重要手段。Spark通过序列化将链式分布的数据转化为连续分布的数据， 这样就能够进行分布式的进程间数据通信或者在内存进行数据压缩等操作，通过压缩能够减少内存占用以及I/O和网络数据传输开销， 提升Spark整体的应用性能。序列化在Spark中内置了两个数据序列化类：JavaSerializer和KryoSerializer，这两个继承于抽象类
转载
2023-09-29 22:23:44
52阅读
SparkR突然有个想法，R只能处理百万级别的数据，如果R能运行在Spark上多好！搜了下发现13年SparkR这个项目就启动了，感谢美帝！1.你肯定得先装个spark吧。看这：Spark本地模式与Spark Standalone伪分布模式2.你肯定得会R吧。看这：R语言入门3.启动SparkR就可以了3.1启动于本地（单机）Spark also provides an experimental&
目录：5、SparkStreaming中的操作函数分析5.1、Transformations5.1.1、map(func)5.1.2、flatMap(func)5.1.4、union(otherStream)5.1.5、count()5.1.6、reduce(func)5.1.8、reduceByKey(func, [num Tasks])5.1.9、join(otherStream, [numT
转载
2023-12-09 21:53:30
90阅读
这里写自定义目录标题合并文件乱码问题saveTextFile的压缩问题python只能读本地文件 最近遇到了要把spark中的数据拿到python中进行再处理的过程。 常规操作是df.write.format(“csv”).mode(“overwrite”).save("./test.csv")或者是rdd.saveAsTextFile("./test.text")本来以为常规的保存之后，就能够
转载
2023-09-15 22:33:57
89阅读
