一、数据读写(1)从文件系统加载数据创建RDD ①本地文件：sc.textFile("file:///data/spark/buyer_favorite") ②HDFS文件：sc.textFile("hdfs://localhost:9000/spark/buyer_favorite")(2)通过并行集合创建RDD val array = Array(1,2,3
转载
2023-11-06 13:07:12
87阅读
在当今数据驱动的时代，Apache Spark作为一种强大的分布式计算框架，正不断地被各类企业应用于处理大规模数据集。其中，Spark Shell编程为数据分析师和工程师提供了一个便捷的交互式环境，使得操作和调试变得更加灵活。在这篇博文中，我将详细记录如何解决“Spark Shell编程”问题的过程。
## 背景定位
在我们的业务场景中，客户希望通过实时数据分析来提升决策效率。在此过程中，我们
Spark 编程指南spark特性： 提供了java scala python 和R的api支持。 在生产环境上扩展超过8000个节点。 可以在内存中缓存交互中间数据的能力：提炼一个工作集合，缓存它，反复查询。 低级别的水平伸缩的数据检索可以通过scala或者python 命令行进行交互。 高级别的流处理库spark streaming可以处理流数据。 通过spark sql支持结构化
转载
2023-11-10 11:15:02
79阅读
概述Spark主要抽象弹性分布式数据集（RDD）——横跨集群所有节点进行并行计算的分区元素集合；用户可以要求Spark将RDD持久化到内存中，来让它在并行计算中高效地重用RDDs能在节点失败中自动地恢复过来共享变量（Shared Variables）两种类型的共享变量
广播变量——在所有节点的内存中缓存一个值；累加器——仅仅能执行“添加”操作初始化Spark初始化SparkSpark 编程的
转载
2023-08-17 18:45:39
80阅读
GraphX编程指南GraphX 是新的图形和图像并行计算的Spark API。从整理上看，GraphX 通过引入 弹性分布式属性图(Resilient Distributed Property Graph)继承了Spark RDD：一个将有效信息放在顶点和边的有向多重图。为了支持图形计算，GraphX 公开了一组基本的运算（例如，subgraph，jo
原创
2021-10-14 16:47:37
187阅读
Linux系统是一种开源的操作系统，拥有丰富的命令行工具和脚本语言，其中最为常用的就是shell编程。而在Linux系统中，最为著名的shell编程指南之一就是红帽Linux的shell编程指南。
红帽Linux作为一家知名的Linux发行版提供商，其开发的Linux系统在企业和个人用户中都有着广泛的应用。红帽Linux的shell编程指南提供了丰富的内容，旨在帮助用户深入了解Linux系统下的
原创
2024-03-18 11:04:12
75阅读
文章目录零、IDEA的scala环境配置0.1 spark和scala之间的关系0.2 编写项目（0）创建项目（1）配置pom.xml文件：（2）配置对应环境（3）测试代码（4）控制台出去日志信息（5）注意事项0.3 IDEA中切换python环境一、scala特点1.1 面向对象特性1.2 函数式编程1.3 静态类型1.4 代码简单测试栗子二、scala基础语法12.1 基本语法（1）基本规范
转载
2024-02-02 18:57:47
47阅读
RDD 介绍RDD，全称Resilient Distributed Datasets（弹性分布式数据集），是Spark最为核心的概念，是Spark对数据的抽象。RDD是分布式的元素集合，每个RDD只支持读操作，且每个RDD都被分为多个分区存储到集群的不同节点上。除此之外，RDD还允许用户显示的指定数据存储到内存和磁盘中，掌握了RDD编程是SPARK开发的第一步。1:创建操作（creation op
转载
2023-07-15 11:51:57
0阅读
本文为《老男孩培训》待出书草稿，对应的VIP视频已录制完毕。欢迎企业、出版社及个人咨询合作,联系方式见博客首页。目录：1.1 Shell脚本简介 41.1.1什么是Shell？ 41.1.2什么是Shell脚本? 41.1.3 Shell程序在运维工作的作用地位? 51.1.4脚本语言的种类 61.1.4.1 Shel
原创
2013-05-03 21:01:42
6454阅读
点赞
11评论
Linux Unix Shell编程指南是一本经典的编程指南，它为使用Linux和Unix操作系统的开发人员和系统管理员提供了全面的指导和参考。Shell编程是一种脚本语言编程，通过编写一系列的命令和脚本，可以自动化执行许多重复性的任务，提高工作效率。本文将介绍Linux Unix Shell编程指南的重要性以及它对于开发人员和系统管理员的帮助。
首先，Linux Unix Shell编程指南提
原创
2024-02-06 15:15:28
105阅读
Linux系统是一种开源的操作系统，广泛应用于各个领域。在Linux系统中，Shell编程是一种非常重要的编程方式，可以通过Shell脚本来实现系统管理、文件操作、数据处理等功能。而红帽企业是一家专注于开源软件和服务的公司，其旗下的红帽Linux操作系统（Red Hat Enterprise Linux）被广泛应用于企业级系统中。
在学习Linux和Shell编程的过程中，有一本非常经典的书籍—
原创
2024-03-07 11:01:53
76阅读
一、 以编程方式执行Spark SQL查询1． 编写Spark SQL程序实现RDD转换成DataFrame前面我们学习了如何在Spark Shell中使用SQL完成查询，现在我们通过IDEA编写Spark SQL查询程序。Spark官网提供了两种方法来实现从RDD转换得到DataFrame，第一种方法是利用反射机制，推导包含某种类型的RDD，通过反射将其转换为指定类型的DataFrame，适用于
转载
2023-12-29 17:45:34
24阅读
Spark Streaming 是核心Spark API的扩展，可实现实时数据流的可伸缩，高吞吐量，容错流处理。可以从许多数据源（例如Kafka，Flume，Kinesis或TCP sockets）中提取数据，并且可以使用复杂的算法处理数据，这些算法用高级函数表示，如map、reduce、join和 ...
转载
2021-05-03 23:16:46
382阅读
2评论
OverviewSpark Streaming（下称streaming）是Spark core的拓展，一个易扩展、高吞吐、高容错的流式数据处理系统。streaming-archstrea...
转载
2021-06-10 21:00:46
215阅读
OverviewSpark Streaming（下称streaming）是Spark core的拓展，一个易扩展、高吞吐、高容错的流式数据处理系统。streaming-archstrea...
转载
2021-06-10 21:00:47
222阅读
Spark编程指南 译者说在前面：近期在学习Spark相关的知识，在网上没有找到比較详细的中文教程，仅仅找到了官网的教程。出于自己学习同一时候也造福其它刚開始学习的人的目的，把这篇指南翻译成了中文。笔者水平有限，文章中难免有很多谬误，请高手指教。 本文翻译自Spark Programming Gui
转载
2017-07-28 09:56:00
233阅读
2评论
Spark Streaming编程指南
概览Spark Streaming 是基于Spark 核心API的扩展，使高伸缩性、高带宽、容错的流式数据处理成为可能。数据可以来自于多种源，如Kafka、Flume、Kinesis、或者TCP sockets等，而且可以使用map、reduce、join 和 window等高级接口实现复杂算法的处理。最终，处理的数据可以被推送到数据库
总览第一、每个spark 应用都有一个驱动程序去运行着主函数和再每个节点上的并行操作。
spark提供了一个RDD（弹性分布式数据集）的数据集合，可以通过不同的节点并行操作运算，可以通过hdfs文件构建。RDD可以在内存中进行缓存，当需要复用的时候会有更高的效率。第二、提供了共享变量（shared varibales）在不同节点的并行操作中使用。一个是广播变量（broadcast variable
转载
2023-11-29 12:27:16
56阅读
Spark Structured Streaming入门操作
原创
精选
2023-10-19 11:36:09
266阅读
Linux与Unix Shell编程指南是一本针对操作系统上编程语言的指南，其中包括了一系列关于Linux与Unix shell下编程的技巧、方法和最佳实践。对于技术人员和程序员来说，熟练掌握Linux与Unix shell编程是非常重要的，因为它们可以帮助他们更高效地管理和操作系统。
在Linux与Unix shell编程指南中，读者可以学习到如何使用不同的shell命令来增强系统的性能和功能
原创
2024-02-28 11:58:45
66阅读
