Spark编程指南 译者说在前面：近期在学习Spark相关的知识，在网上没有找到比較详细的中文教程，仅仅找到了官网的教程。出于自己学习同一时候也造福其它刚開始学习的人的目的，把这篇指南翻译成了中文。笔者水平有限，文章中难免有很多谬误，请高手指教。 本文翻译自Spark Programming Gui
转载
2017-07-28 09:56:00
233阅读
2评论
一、数据读写(1)从文件系统加载数据创建RDD ①本地文件：sc.textFile("file:///data/spark/buyer_favorite") ②HDFS文件：sc.textFile("hdfs://localhost:9000/spark/buyer_favorite")(2)通过并行集合创建RDD val array = Array(1,2,3
转载
2023-11-06 13:07:12
87阅读
Spark 编程指南spark特性： 提供了java scala python 和R的api支持。 在生产环境上扩展超过8000个节点。 可以在内存中缓存交互中间数据的能力：提炼一个工作集合，缓存它，反复查询。 低级别的水平伸缩的数据检索可以通过scala或者python 命令行进行交互。 高级别的流处理库spark streaming可以处理流数据。 通过spark sql支持结构化
转载
2023-11-10 11:15:02
79阅读
概述Spark主要抽象弹性分布式数据集（RDD）——横跨集群所有节点进行并行计算的分区元素集合；用户可以要求Spark将RDD持久化到内存中，来让它在并行计算中高效地重用RDDs能在节点失败中自动地恢复过来共享变量（Shared Variables）两种类型的共享变量
广播变量——在所有节点的内存中缓存一个值；累加器——仅仅能执行“添加”操作初始化Spark初始化SparkSpark 编程的
转载
2023-08-17 18:45:39
80阅读
GraphX编程指南GraphX 是新的图形和图像并行计算的Spark API。从整理上看，GraphX 通过引入 弹性分布式属性图(Resilient Distributed Property Graph)继承了Spark RDD：一个将有效信息放在顶点和边的有向多重图。为了支持图形计算，GraphX 公开了一组基本的运算（例如，subgraph，jo
原创
2021-10-14 16:47:37
187阅读
文章目录零、IDEA的scala环境配置0.1 spark和scala之间的关系0.2 编写项目（0）创建项目（1）配置pom.xml文件：（2）配置对应环境（3）测试代码（4）控制台出去日志信息（5）注意事项0.3 IDEA中切换python环境一、scala特点1.1 面向对象特性1.2 函数式编程1.3 静态类型1.4 代码简单测试栗子二、scala基础语法12.1 基本语法（1）基本规范
转载
2024-02-02 18:57:47
47阅读
RDD 介绍RDD，全称Resilient Distributed Datasets（弹性分布式数据集），是Spark最为核心的概念，是Spark对数据的抽象。RDD是分布式的元素集合，每个RDD只支持读操作，且每个RDD都被分为多个分区存储到集群的不同节点上。除此之外，RDD还允许用户显示的指定数据存储到内存和磁盘中，掌握了RDD编程是SPARK开发的第一步。1:创建操作（creation op
转载
2023-07-15 11:51:57
0阅读
Spark Streaming 是核心Spark API的扩展，可实现实时数据流的可伸缩，高吞吐量，容错流处理。可以从许多数据源（例如Kafka，Flume，Kinesis或TCP sockets）中提取数据，并且可以使用复杂的算法处理数据，这些算法用高级函数表示，如map、reduce、join和 ...
转载
2021-05-03 23:16:46
382阅读
2评论
OverviewSpark Streaming（下称streaming）是Spark core的拓展，一个易扩展、高吞吐、高容错的流式数据处理系统。streaming-archstrea...
转载
2021-06-10 21:00:46
210阅读
OverviewSpark Streaming（下称streaming）是Spark core的拓展，一个易扩展、高吞吐、高容错的流式数据处理系统。streaming-archstrea...
转载
2021-06-10 21:00:47
222阅读
Spark Streaming编程指南
概览Spark Streaming 是基于Spark 核心API的扩展，使高伸缩性、高带宽、容错的流式数据处理成为可能。数据可以来自于多种源，如Kafka、Flume、Kinesis、或者TCP sockets等，而且可以使用map、reduce、join 和 window等高级接口实现复杂算法的处理。最终，处理的数据可以被推送到数据库
总览第一、每个spark 应用都有一个驱动程序去运行着主函数和再每个节点上的并行操作。
spark提供了一个RDD（弹性分布式数据集）的数据集合，可以通过不同的节点并行操作运算，可以通过hdfs文件构建。RDD可以在内存中进行缓存，当需要复用的时候会有更高的效率。第二、提供了共享变量（shared varibales）在不同节点的并行操作中使用。一个是广播变量（broadcast variable
转载
2023-11-29 12:27:16
56阅读
Spark Structured Streaming入门操作
原创
精选
2023-10-19 11:36:09
266阅读
Spark Structured Streaming入门操作
原创
2021-07-12 16:38:28
1110阅读
练就一身的本事不是一天两天的事情，同样，想要大牛一样的编码技能也非一日之功。冰冻三尺非一日之寒，想要提升自己的编码技能，我们需要每天实操联系。今天就给Python新手一些编程建议。1、Python箴言打开Python交互终端并运行下面命令:import this然后命令会有一些输出，仔细阅读它，因为它对Python程序员真的很重要：2、清空Python交互终端命令在使用 Python 交
转载
2024-01-15 21:59:56
71阅读
场景第一次使用Intellij IDEA开发第一个spark应用程序？对 idea的操作相当不熟悉?听别人说spark高手更喜欢使用IDEA? 怎么在Intellij Idea导入 spark的源代码？使用 eclipse-scala阅读spark源代码相当不方便:没法在一个源文件中直接关联查询另一个源文件，必须另外从新ctrl+shift+t! 怎么编写脚本提交spark应用程序到spark
转载
2023-12-14 13:42:25
41阅读
主要是翻译官网的编程指南，自己调整了一下内容安排，同时为了偷懒大量参考了淘宝的翻译版嘿嘿。但他们的编程指南主要是写java、scala语言用的，要求掌握sbt（scala），maven（java），我选择python就是因为提交简单嘛。 + scala-2.11.1shell交互式编程 cd到spark的顶层目录中 cd ~/spark-1.0.1 然后运行spark-shell即可。这里因为
转载
2024-05-23 12:07:32
27阅读
前言： Spark SQL是Spark大数据框架的一部分， 支持使用标准SQL查询和HiveQL来读写数据，可用于结构化数据处理，并可以执行类似SQL的Spark数据查询，有助于开发人员更快地创建和运行Spark程序。 全书分为4篇，共9章，第一篇讲解了Spark SQL发展历史和开发环境搭建。第二篇讲解了Spark SQL实例，使得读者掌握Spark SQL的入门操作，了 解Spark RDD、
转载
2024-05-17 22:42:18
168阅读
目录1、原地交换两个数字2、链状比较操作符3、使用三元操作符来实现条件赋值4、多行字符串5、存储列表元素到新的变量6、打印引入模块的绝对路径7、交互环境下的“_”操作符8、字典/集合推导9、调试脚本10、开启文件分享11、检查python中的对象12、简化if语句13、运行时检测python版本14、组合多个字符串15、四种翻转字符串、列表的方式16、用枚举在循环中找到索引17、定义枚举量18、从
转载
2024-09-09 12:21:02
47阅读
# 理解Python编程竞赛
Python编程竞赛是一个让编程爱好者和学生展示其编程才能的激动人心的平台。许多人参与这些竞赛，希望通过解决问题来提高自己的编程技能。本文将介绍Python编程竞赛中的基本概念和一些实用技巧，并展示一些简单的代码示例来帮助理解。
## Python编程竞赛的基本结构
在编程竞赛中，参赛者通常需要在有限的时间内解决多个问题。每个问题一般都会有明确的输入和输出要求。
