spark
UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架。
1、Spark Streaming：支持高吞吐量、支持容错的实时流数据处理
2、Spark SQL， Data frames: 结构化数据查询
3、MLLib：Spark 生态系统里用来解决大数据机器学习问题的模块
4、GraphX是
转载
2024-01-14 08:44:43
137阅读
Spark的认识（四）1、本文内容1、掌握SparkStreaming底层原理2、掌握Dstream常用操作3、掌握SparkStreaming整合flume4、掌握SparkStreaming整合kafka2、SparkStreaming概述2.1 什么是sparkStreamingSpark Streaming makes it easy to build scalable fault-tol
转载
2023-10-30 19:00:20
81阅读
sparkStreaming与storm的区别： Sparkstreaming处理数据的过程：sparkstreaming：数据是一段时间处理的，是一个微批处理，这个时间是由自己人为设定的。sparkstreaming的吞吐量高。Storm：是纯实时处理数据的，Storm擅长处理简单的汇总型业务，sparkstreaming擅长处理复杂的计算型的数据。Sparkstreaming可以通过
转载
2024-01-16 05:38:53
188阅读
一、Spark框架预览 主要有Core、GraphX、MLlib、Spark Streaming、Spark SQL等几部分。 GraphX是进行图计算与图挖掘，其中主流的图计算框架现在有：Pregal、HAMA、Giraph（这几部分采用超步即同步的方式），而GraphLab与Spark GraphX采用异步的方式进行。它与Spark SQL进行协作时，一般是用SQL语句来进行ETL（Ext
转载
2023-08-05 01:02:04
61阅读
1、什么是Spark？ Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MadReduce所具有的优点；但不同于MapReduce的是Job中间输出的结果可以保存在内存中，从而不需要读写HDFS，因此Spark能更好地适用于数据挖掘与
转载
2023-09-25 10:11:59
503阅读
Apache Spark™ is a fast and general engine for large-scale data processing.Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而
转载
2023-08-10 09:12:42
594阅读
Tackling Fake News Detection by Continually Improving Social Context Representations using Graph Neural Networks基于持续增强社交上下文表示的图神经网络虚假新闻检测论文作者：Nikhil Mehta, Maria Leonor Pacheco, Dan Goldwasser 2
转载
2024-01-16 20:41:43
55阅读
Spark系列面试题Spark面试题（一）Spark面试题（二）Spark面试题（三）Spark面试题（四）Spark面试题（五）——数据倾斜调优Spark面试题（六）——Spark资源调优Spark面试题（七）——Spark程序开发调优Spark面试题（八）——Spark的Shuffle配置调优1、Spark中的HashShufle的有哪些不足？1）shuffle产生海量的小文件在磁盘上，此时会
转载
2024-01-12 12:06:00
27阅读
Spark StreamingSpark Streaming 知识点超详细文档！！！可以让基础小白快速入门。有丰富的小案例，边学边练！！Spark Streaming是Spark平台上针对实时数据进行流式计算的组件，提供了丰富的处理数据流的API。SparkStreaming 准实时（秒，分钟），微批次（时间）的数据处理框架第1章 SparkStreaming概述1.1 Spark Streami
转载
2023-11-12 15:24:13
10阅读
今天先安装好了spark，利用spark里自带的Scala运行了几个简单的Scala程序，看教学视频了解了点儿简单的语法，截图如下： 接着安装scala ide for eclipse，安装在了usr/local目录下，本以为他会正常的替代原来的eclipse，因为我之前有这样直接解压到里面直接就替换了，这次解压之后不仅之前的还在，而且两个eclipse都没法正常使用了&nb
转载
2023-12-12 15:31:18
281阅读
Spark ML的数据类型Local vector本地向量具有整数类型和基于0的索引和double类型的值，存储在一台机器上。 MLlib支持两种类型的本地向量稠密本地向量 dense local vector稀疏本地向量 sparse local vectorimport org.apache.spark.mllib.linalg.{Vector, Vectors}
## 创建稠密向量
转载
2023-08-08 21:46:52
50阅读
# Sparkling 函数概述与应用
在数据科学和编程中，Sparkling 函数以其高效的数据处理能力和简便的使用方式吸引了众多开发人员的关注。本篇文章将深入探讨 Sparkling 函数的特点、应用场景，以及如何在实践中运用这一强大的工具。我们还会通过代码示例和状态图帮助更好地理解这一概念。
## 什么是 Sparkling 函数？
Sparkling 函数是指一类在 Apache S
Sparkle是一个非常简单且易用的macOS应用程序更新框架，目前众多知名macOS App都在使用，包括微信、迅雷等 ，如下图： 官网地址：https://sparkle-project.org/Github：https://github.com/sparkle-project/Sparkle原理：提前在服务器配置好的xml文件，然后每
转载
2024-01-08 20:45:34
649阅读
什么是私域流量？以往流量在互联网行业中是指网站的访问量。以前用来衡量互联网流量的指标有两个，PV(Page View-页面浏览次数)和UV(Unique Visitor-独立访客数)，像我们日常听到的一些术语，“IP数”、DAU、MAU都类似于UV，都是在描述流量的指标概念。 流量是实体经济和线上运营的重要概念。对于实体店铺而言指代的是客流量，对于网络衍生的各类平台和产品而言指代的是热
在 LinkedIn，我们非常依赖离线数据分析来进行数据驱动的决策。多年来，Apache Spark 已经成为 LinkedIn 的主要计算引擎，以满足这些数据需求。凭借其独特的功能，Spark 为 LinkedIn 的许多关键业务提供支持，包括数据仓库、数据科学、AI/ML、A/B 测试和指标报告。需要大规模数据分析的用例数量也在快速增长。从 2017 年到现在，LinkedIn 的 Spark
转载
2023-11-01 21:02:12
33阅读
一、概述1.什么是spark从官网http://spark.apache.org/可以得知：Apache Spark™ is a fast and general engine for large-scale data processing. 主要的特性有：Speed：快如闪电（HADOOP的100倍+） Easy to Use：Scala——Perfect、Python——Nice
转载
2023-10-19 17:13:32
47阅读
# 实现一个 Sparkling 规则引擎的步骤指南
作为一名经验丰富的开发者，我将引导你一步步实现一个基本的“Sparkling 规则引擎”。这个规则引擎允许用户定义规则，并在数据运行时对其进行动态评估。我们将一起来建立这个项目的基本架构。
## 流程概述
以下是将要实施的步骤概述：
| 步骤 | 描述
1.1.1. Application/App：Spark应用程序 指的是用户编写的Spark应用程序/代码，包含了Driver功能代码和分布在集群中多个节点上运行的Executor代码。 Spark应用程序，由一个或多个作业JOB组成(因为代码中可能会调用多次Action)，如下图所示:
&
转载
2023-08-07 15:52:28
246阅读
# 如何实现“Spark Sparkle”
作为新手开发者，掌握如何实现“Spark Sparkle”可以为你在数据处理和分析领域打下坚实的基础。本文将逐步带你了解整个实现过程，从准备环境，到具体代码实现，直到你能独立完成项目。
## 流程概述
在开始写代码之前，我们先来了解一下整个流程。下面是实现“Spark Sparkle”的主要步骤：
| 步骤 | 说明 |
|------|----
# 实现sparkle groupbykey
## 1. 整个流程
下面是实现"sparkle groupbykey"的整个流程表格：
| 步骤 | 操作 |
| ---- | ---- |
| 1 | 创建一个SparkContext对象 |
| 2 | 读取数据创建一个RDD |
| 3 | 对RDD进行map操作，将数据映射为键值对 |
| 4 | 使用group
原创
2024-03-13 06:28:09
10阅读
