Example代码分析 val ssc = new StreamingContext(sparkConf, Seconds(1));
// 获得一个DStream负责连接 监听端口:地址
val lines = ssc.socketTextStream(serverIP, serverPort);
// 对每一行数据执行Split操作
val words = lines.flatMap(_.
using System;
using System.Collections.Generic;
using System.IO;
using System.Linq;
using System.Net;
using System.Text;
using GearUp.Crawler.Entities;
using HtmlAgilityPack;
using System.Threading.T
转载
2015-04-11 20:25:00
132阅读
2评论
1.陷门函数陷门函数：正向计算是很容易的，但若要有效的执行反向计算则必须要知道
原创
2022-12-27 12:52:09
171阅读
数据清洗时数据科学项目的第一步，往往也是最重要的一步。 本章主要做数据统计（总数、最大值、最小值、平均值、标准偏差）和判断记录匹配程度。Spark编程模型 编写Spark程序通常包括一系列相关步骤： 1. 在输入数据集上定义一组转换。 2. 调用action，用以将转换后的数据集保存到持久存储上，或者把结果返回到驱动程序的本地内存。 3. 运行本地计算，本地计算处理
转载
2023-08-13 15:19:08
59阅读
Delta 原本是在 Databricks Runtime 里面的一个增值功能，在 spark + AI Summit 2019 大会上，官方以 Apache License 2.0 协议开源。spark 一直在往批流统一的方向上演进，有了 structured streaming 之后，就实现了引擎内核的批流统一，API 也高度统一，比如一个流式任务和离线任务的代码可能只有 read/write
开启Spark任务监控
原创
2019-05-14 14:20:11
1743阅读
本文主要记录我使用Spark以来遇到的一些典型问题及其解决的方法，希望对遇到相同问题的同学们有所帮助。1. Spark环境或配置相关Q: Sparkclient配置文件spark-defaults.conf中，spark.executor.memory和spark.cores.max应该怎样合理配置？A: 配置前，须要对spark集群中每一个节点机器的core和memory的配置有基本了解。比方由
目录数据说明需求1：Top10 热门品类需求说明实现方案一需求分析需求实现实现方案二需求分析需求实现实现方案三需求分析需求实现需求 2：Top10 热门品类中每个品类的 Top10 活跃Session 统计需求说明需求分析需求实现 数据说明在前面的博客中已经介绍了了 Spark 的基础编程方式，接下来，再看下在实际的工作中如何使用这些 API 实现具体的需求。这些需求是电商网站的真实需求，所以在
数据倾斜概念什么是数据倾斜 大数据下大部分框架的处理原理都是参考mapreduce的思想：分而治之和移动计算，即提前将计算程序生成好然后发送到不同的节点起jvm进程执行任务，每个任务处理一小部分数据，最终将每个任务的处理结果汇总，完成一次计算。
如果在分配任务的时候，数据分配不均，导致一个任务要处理的数据量远远大于其他任务，那么整个作业一直在等待这个任务完成，而其他机器的资源完全没利用起来，
转载
2023-08-29 16:24:26
32阅读
吴友强：腾讯TDF和CDP实践吴友强中生代技术AmazonKinesisStreamAmazonKinesisstream是数据记录的有序序列。流中的每条记录均具有一个由Streams分配的序列号。流中的数据记录将分发到分片中。数据记录数据记录是存储在AmazonKinesisstream中的数据单位。数据记录由序列号、分区键和数据Blob组成，后者是不可变的字节序列。Streams不以任何方式检
原创
2021-04-23 12:13:35
729阅读
1.Spark是什么？定义：Apache Spark是用于大规模数据处理的统一分析引擎。RDD是一种分布式内存抽象，其使得程序员能够在大规模集群中做内存运算，并且有一定的容错方式。而这也是整个Spark的核心数据结构，Spark整个平台都围绕着RDD进行统一分析引擎？spark是一款分布式内存计算的统一分析引擎，其特点是对任意类型的数据进行自定义计算。spark可以计算：结构化，非结构化等各种类型
转载
2023-08-01 19:21:10
146阅读
Spark-性能调优-系列文章
原创
2021-07-27 15:18:37
338阅读
Spark及其生态简介一、Spark简介二、Spark Core简介三、Spark SQL简介四、Spark Streaming五、Spark MLlib六、GraphX七、集群管理器八、Spark的用户和用途 一、Spark简介Spark 是一个用来实现快速而通用的集群计算的平台，官网上的解释是：Apache Spark™是用于大规模数据处理的统一分析引擎。 Spark 适用于各种各样原先需要
前言Spark的性能优化案例分析（上），介绍了软件性能优化必须经过进行性能测试，并在了解软件架构和技术的基础上进行。今天，我们通过几个 Spark 性能优化的案例，看一看所讲的性能优化原则如何落地。如果你忘记了性能优化的原则，可以返回上一期复习一下。参考spark submit参数及调优Spark 性能优化基于软件性能优化原则和 Spark 的特点，Spark 性能优化可以分解为下面几步。1. 性
目录什么是spark： 功能历史上和hadoop的区别：spark的五大核心模块：➢ Spark Core什么是spark：简单一点Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。属于mapreduce的加强版本，结合了其优点而且spark是可以将数据保存在内存中从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的
转载
2023-08-10 14:14:42
51阅读
spark数据分析
与蒂姆联系 蒂姆是我们最受欢迎和最多产的作家之一。 在developerWorks上浏览Tim的所有文章 。 查看Tim的个人资料，并与他，其他作者以及developerWorks社区中的其他开发人员联系 。 Spark是一个新兴的大数据分析解决方案，旨在使用内存处理实现高效的群集计算。 它的目标使用模型包括那些包含迭代算法的模型（即那些可以从将数据保留
转载
2023-08-29 14:10:39
59阅读
文章目录Spark简介1.1 spark 是什么？1.2 spark的优点？1.3 spark架构1.3.1 角色说明：1.3.2 用户程序从最开始的提交到最终的计算执行，需要经历以下几个阶段： Spark简介1.1 spark 是什么？spark是大数据分析引擎，集批处理，实时流计算处理分布式数据集。Spark实现了一种分布式的内存抽象，称为弹性分布式数据集（Resilient Distrib
转载
2023-09-05 20:53:02
189阅读
spark官网地址：http://spark.apache.org/1、什么是spark?1)、spark是2008年诞生于加州大学伯克利分校AMP实验室开发的通用大数据框架。2010年开源,2013年6月成为apache孵化项目,2014年2月成为apache顶级项目。2）、spark是一种快速、通用、可扩展的大数据分析引擎。3）、spark是用scala进行编写的框架,为了更好学习spark,
转载
2023-08-07 07:28:16
52阅读
# 使用Spark进行分析
## 简介
在这篇文章中，我将向你解释如何使用Spark分析数据。Spark是一个强大的开源分布式计算系统，它可以处理大规模数据集并提供高性能的数据处理能力。通过使用Spark，我们可以对数据进行复杂的分析和挖掘。
## 分析流程
以下是我们实现“Spark分析”的整个流程。你可以通过下面的表格来了解每个步骤的具体内容。
| 步骤 | 描述 |
|
# Spark分析场景实现流程
## 1. 概述
在进行Spark分析场景实现之前，首先需要了解Spark的基本概念和相关知识。Spark是一个快速、通用的大数据处理框架，可以轻松地处理大规模数据集，并支持多种数据处理场景。本文将介绍如何使用Spark实现分析场景，包括数据准备、数据清洗、数据分析和可视化展示。
## 2. 分析场景实现步骤
下面是实现Spark分析场景的基本步骤，可以用表格
