Apache Spark 是加州大学伯克利分校的 AMPLabs 开发的开源分布式轻量级通用计算框架。由于 Spark 基于内存设计，使得它拥有比 Hadoop 更高的性能(极端情况下可以达到 100x)，并且对多语言(Scala、Java、Python)提供支持。其一栈式设计特点使得我们的学习和维护成本大大地减少，而且其提供了很好的容错解决方案 业务场景我们每天都有来自全国各地的天然气
转载
2024-07-04 19:57:19
39阅读
1.基于内存实现了数据的复用与快速读取 具有较多迭代次数是图计算算法的一个重要特点。在海量数据背景下，如何保证图计算算法的执行效率是所有图计算模型面对的一个难题。基于MapReduce的图计算模型在进行迭代计算过程中，中间数据的操作都是基于磁盘展开的。这使得数据的转换和复制开销非常大，其中包括序列化开销等。除此之外，许多与图结构信息相关的数据无法进行重用，这使得系统不得不
转载
2024-07-05 21:41:39
22阅读
package com.test;import java.util.*;import org.apache.spark.SparkConf;import org.apache.spark.TaskContext;import org.apache.spark.api.java.*;import org.apache.spark.api.java.function.*;import org.apac
原创
2022-02-13 13:37:57
497阅读
package com.test;import java.util.*;import org.apache.spark.SparkConf;import org.apache.spark.TaskContext;import org.apache.spark.api.java.*;import org.apache.spark.api.java.function.*;import o...
原创
2021-07-29 09:20:42
474阅读
所有RDD行动算子如下：aggregate、collect、count、first、foreach、reduce、take、takeOrdered、takeSample、saveAsObjectFile、saveAsTextFile具体解释和例子1. aggregate 概念 1.将每个分区里面的元素进行聚合，然后用combine函数将每个分区的结果和初始值(zeroValue)进行combine
转载
2023-11-26 21:03:35
84阅读
文章目录 Transformation算子Spark算子：RDD基本转换操作(1)–map、flatMap、distincmapflatMapdistinctSpark算子：RDD基本转换操作(2)–coalesce、repartitioncoalescerepartitionSpark算子：RDD基本转换操作(3)–randomSplit、glomrandomSplitglomSpark算子：R
转载
2023-11-23 20:20:10
51阅读
Spark（四）— Spark Streaming一.概述二.使用2.1 基础环境 （wordcount测试）2.2 DStream输出2.3 自定义采集器 — 对接Kafka2.4 DStream - 有状态转化2.5 DStream - 无状态操作 Transform2.6 DStream - 无状态操作 join2.7 滑动窗口常用函数2.7.1 window2.7.2 countByWi
转载
2023-12-12 17:49:39
105阅读
一个Spark应用开发的简单例子这个实验楼上的项目题目是某年《高校云计算应用创新大赛》里的最后一道题，题目是莎士比亚文集词频统计并行化算法。下面是我通过实验楼的教程的学习记录。目录一个Spark应用开发的简单例子我需要做的准备工作复习编程模型项目准备题目的具体描述啥是停词表资源下载开搞初始化_spark启动_创建基本对象_创建RDD我需要做的准备工作复习编程模型Spark 上开发的应用程序都是由一
转载
2023-07-18 22:56:18
981阅读
本文将会介绍四个Demo案例，分别是updateStateByKey算子的使用，SparkStreaming写入MySQL，窗口函数使用和黑名单过滤。。。案例一、updateStateByKey算子的使用首先先看一下updateStateByKey的介绍 这个算子可以在保持任意状态下去更新信息，但是有两个要求：状态可以是任意类型定义状态的更新，要用函数指定更新前的状态和更新后的状态需求：统计到目前
转载
2024-06-04 08:12:33
74阅读
当我对Scala（Spark的编写语言）感兴趣时，我在2013年底首次听说了Spark。 一段时间后，我做了一个有趣的数据科学项目，试图预测《泰坦尼克号》的生存情况 。 事实证明，这是进一步介绍Spark概念和编程的好方法。 我强烈建议有志向的Spark开发人员寻找入门的地方。 如今，Spark已被Amazon，eBay和Yahoo!等主要公司采用。 许多组织在具有数千个节点的群集上运行S
转载
2024-01-09 13:12:09
162阅读
1. 运行架构SparkStreaming的主要功能包括流处理引擎的流数据接收与存储以及批处理作业的生成与管理，而Spark核心负责处理Spark Streaming发送过来的作用。Spark Streaming分为Driver端和Client端，运行在Driver端为Streaming Context实例。该实例包括DStreamGraph和JobScheduler（包括ReceiveTrack
转载
2023-10-27 20:26:09
125阅读
1) Spark是什么 Spark，是一种“One Stack to rule them all”的大数据计算框架，是一种基于内存计算的框架，是一种通用的大数据快速处理引擎。 这一站式的计算框架，包含了Spark RDD(这也是Spark Core用于离线批处理)、Spark SQL(交互式查询)、Spark Streamin
转载
2023-08-11 16:59:04
36阅读
Spark初见
Spark是一个基于内存的开源计算框架，于2009年诞生于加州大学伯克利分校AMPLab（AMP：Algorithms，Machines，People），它最初属于伯克利大学的研究性项目，后来在2010年正式开源，并于 2013 年成为了 Apache 基金项目，到2014年便成为 Apache 基金的顶级项目，该项目整个发展历程刚过六
转载
2023-07-09 14:32:47
79阅读
HBase 使用场景和成功案例有时候了解软件产品的最好方法是看看它是怎么用的。它可以解决什么问题和这些解决方案如何适用于大型应用架构，能够告诉你很多。因为HBase有许多公开的产品部署，我们正好可以这么做。本章节将详细介绍一些人们成功使用HBase的使用场景。注意：不要自我限制，认为HBase只能解决这些使用场景。它是一个初生的技术，根据使用场景进行创新正驱动着系统的发展。如果你有新想法
转载
2023-07-21 15:47:42
67阅读
一、wordCount原理深度分析二、代码实现编写Spark应用程序,本地执行，是可以执行在eclipse中的main方法中，执行的第一步：创建SparkConf对象，设置Spark应用的配置信息，使用setMaster()可以设置Spark应用程序要连接的Spark集群的master节点的url，但是如果设置为local则代表，在本地运行SparkConf conf = new SparkCon
转载
2023-10-23 10:35:34
58阅读
前言继Tensorflow笔记系列之后，我准备写一篇Spark笔记系列。本文是系列的第一篇《原理篇》，看完本文你能收获：1.啥是Spark？2.SparkCore是怎么运作的？3.SparkSQL为什么这么快？废话少说，进入正文。（本文持续写作中，大家想看什么内容可评论区留言）一、基础引用官网的介绍：Apache Spark™is a unified analytics engine
转载
2023-09-21 06:18:12
68阅读
摘要： spark的优势：（1）图计算，迭代计算（2）交互式查询计算
spark特点：（1）分布式并行计算框架（2）内存计算，不仅数据加载到内存，中间结果也存储内存
为了满足挖掘分析与交互式实时查询的计算需求，腾讯大数据使用了Spark平台来支持挖掘分析类计算、交互式实时查询计算以及允许误差范围的快速查询计算，目前腾讯大数据拥有超过200台的Spark集群，并独立维护
转载
2023-08-07 08:07:24
652阅读
Spark成功案例目前大数据在互联网公司主要应用在广告、报表、推荐系统等业务上。在广告业务方面需要大数据做应用分析、效果分析、定向优化等，在推荐系统方面则需要大数据优化相关排名、个性化推荐以及热点点击分析等。这些应用场景的普遍特点是计算量大、效率要求高。Spark恰恰满足了这些要求，该项目一经推出便受到开源社区的广泛关注和好评。并在近两年内发展成为大数据处理领域最炙手可热的开源项目。本章将列举国内
转载
2023-05-22 15:35:37
269阅读
一、Spark框架Spark 框架模块包含：Spark Core、 Spark SQL、 Spark Streaming、 Spark GraphX、 Spark MLlib，而后四项的能力都是建立在核心引擎之上。【Spark Core】：Spark的核心，Spark核心功能均由Spark Core模块提供，是Spark运行的基础。Spark Core以RDD为数据抽象，提供Python、Java
转载
2023-09-09 22:13:22
106阅读
Kafka streams的相关中文资料非常少，笔者希望借该代码讲述一下自己对kafka streams API的用法。 kafka streams从0.10.0开始引入，现在已经更新到0.11.0。首先它的使用成本非常低廉，仅需在代码中依赖streams lib，编写计算逻辑，启动APP即可。其次它的负载均衡也非常简单暴力，增加
转载
2024-04-19 13:12:34
83阅读
