数据清洗时数据科学项目的第一步，往往也是最重要的一步。 本章主要做数据统计（总数、最大值、最小值、平均值、标准偏差）和判断记录匹配程度。Spark编程模型 编写Spark程序通常包括一系列相关步骤： 1. 在输入数据集上定义一组转换。 2. 调用action，用以将转换后的数据集保存到持久存储上，或者把结果返回到驱动程序的本地内存。 3. 运行本地计算，本地计算处理
转载
2023-08-13 15:19:08
70阅读
目录数据说明需求1：Top10 热门品类需求说明实现方案一需求分析需求实现实现方案二需求分析需求实现实现方案三需求分析需求实现需求 2：Top10 热门品类中每个品类的 Top10 活跃Session 统计需求说明需求分析需求实现 数据说明在前面的博客中已经介绍了了 Spark 的基础编程方式，接下来，再看下在实际的工作中如何使用这些 API 实现具体的需求。这些需求是电商网站的真实需求，所以在
转载
2023-11-06 18:42:48
28阅读
spark中redis用法 spark redis
转载
2023-05-30 23:40:55
118阅读
1.Spark是什么？定义：Apache Spark是用于大规模数据处理的统一分析引擎。RDD是一种分布式内存抽象，其使得程序员能够在大规模集群中做内存运算，并且有一定的容错方式。而这也是整个Spark的核心数据结构，Spark整个平台都围绕着RDD进行统一分析引擎？spark是一款分布式内存计算的统一分析引擎，其特点是对任意类型的数据进行自定义计算。spark可以计算：结构化，非结构化等各种类型
转载
2023-08-01 19:21:10
188阅读
Example代码分析 val ssc = new StreamingContext(sparkConf, Seconds(1));
// 获得一个DStream负责连接 监听端口:地址
val lines = ssc.socketTextStream(serverIP, serverPort);
// 对每一行数据执行Split操作
val words = lines.flatMap(_.
转载
2023-10-09 20:44:22
65阅读
Spark 是专为大规模数据处理而设计的快速通用的计算引擎，起源于UC Berkeley AMP lab的一个研究项目。相比传统的Hadoop(MapReduce) ，Spark的性能快了将近100x倍。Spark在计算中用到的数据可能会存在DWS、HBase或者HDFS上，其读写速度都和Spark计算的速度相差甚远。而Redis基于内存的读写可以成功解决这个问题，于是诞生了Spark-Redis
转载
2023-09-18 22:35:45
366阅读
首先添加依赖<dependency>
<groupId>com.redislabs</groupId>
<artifactId>spark-redis_2.11</artifactId>
<version>2.4.2</version>
</dependency&g
转载
2023-06-11 15:03:44
167阅读
做一个实时系统，用到了kafka，redis，sparkStream，很经典的一个架构。kafka的生产者就不写了，这边只涉及sparksteam写消费者代码，存到redis。KafkaToRedis kafkaToRedis=new KafkaToRedis();
SparkConf conf = new SparkConf().setAppName("kafka_to_redis")
转载
2023-06-11 15:04:09
150阅读
在工作中，需要将用户离线的推荐商品打分批量存储到redis上，其数据量达到50亿(粒度为用户-商品)，数据存储于hive或者来源于spark的DataFrame。本文将介绍如何用pyspark将数据存到redis，并优化缩短其运行时间。1、开始的地方在推荐场景中，通常需要取的是用户最喜欢的TOP-N个商品，首先想到的redis数据结构就是有序集合，通常使用zadd函数来添加元素。表tmp_user
转载
2023-10-07 18:36:53
121阅读
spark数据分析
与蒂姆联系 蒂姆是我们最受欢迎和最多产的作家之一。 在developerWorks上浏览Tim的所有文章 。 查看Tim的个人资料，并与他，其他作者以及developerWorks社区中的其他开发人员联系 。 Spark是一个新兴的大数据分析解决方案，旨在使用内存处理实现高效的群集计算。 它的目标使用模型包括那些包含迭代算法的模型（即那些可以从将数据保留
转载
2023-08-29 14:10:39
63阅读
目录什么是spark： 功能历史上和hadoop的区别：spark的五大核心模块：➢ Spark Core什么是spark：简单一点Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。属于mapreduce的加强版本，结合了其优点而且spark是可以将数据保存在内存中从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的
转载
2023-08-10 14:14:42
51阅读
spark-shell 读写hdfs 读写hbase 读写redis1.进入spark-shell环境 standalone方式，spark通过
zookeeper做了
HA（Highe Available）,spark master在机器hadoop31和hadoop33上面，登录时候指定每个worker在跑spark-shell任务时候使用内存为4GB
转载
2024-03-05 22:05:57
312阅读
最近在处理数据时，需要将原始数据与Redis的数据进行join，在读取Redis的过程中，碰到了一些问题，顺便做个笔记，希望对其他同学也有所帮助。实验过程中，当数据量还是十万级别的时候，逐个读取Redis并无压力；但当数据量达到千万级别时，问题就油然而生了，即使是使用Spark的mapPartitions也无法解决。因此，就考虑使用Redis的pipeline了（如果你有更好的方法，还请不吝赐教）
转载
2023-08-15 17:14:08
131阅读
前言Spark的性能优化案例分析（上），介绍了软件性能优化必须经过进行性能测试，并在了解软件架构和技术的基础上进行。今天，我们通过几个 Spark 性能优化的案例，看一看所讲的性能优化原则如何落地。如果你忘记了性能优化的原则，可以返回上一期复习一下。参考spark submit参数及调优Spark 性能优化基于软件性能优化原则和 Spark 的特点，Spark 性能优化可以分解为下面几步。1. 性
转载
2024-04-07 20:09:42
72阅读
Spark及其生态简介一、Spark简介二、Spark Core简介三、Spark SQL简介四、Spark Streaming五、Spark MLlib六、GraphX七、集群管理器八、Spark的用户和用途 一、Spark简介Spark 是一个用来实现快速而通用的集群计算的平台，官网上的解释是：Apache Spark™是用于大规模数据处理的统一分析引擎。 Spark 适用于各种各样原先需要
转载
2023-10-03 20:09:40
47阅读
及“跑步点亮北京”的可视项目设计目录1.引言2.大数据采集2.1.大数据特征2.2.采集方式“跑步点亮北京”的数据采集方式2.3.存储方式a)Hadoop(HDFS)b)Redis内存数据库（Geo）2.4数据处理(1) HDFS 列表(2)数据添加(3) 数据清洗(
原创
2022-03-28 14:49:10
570阅读
及“跑步点亮北京”的可视项目设计目录1.引言2.大数据采集2.1.大数据特征2.2.采集方式“跑步点亮北京”的数据采集方式2.3.存储方式a)Hadoop(HDFS)b)Redis内存数据库（Geo）2.4数据处理(1) HDFS 列表(2)数据添加(3) 数据清洗(
原创
2021-07-01 16:46:17
497阅读
文章目录1. Master2. Worker3. Master上创建，Worker上遍历4. Worker上按分区遍历5. 使用静态类型，按分区遍历6. 使用单例模式，按分区遍历7. 使用单例模式，Driver上定义，分区上遍历 这几天碰到了类似的问题, 网上查的一些资料, 这里记录一下~1. Master将所有的数据全部回收到master, 然后在master进行集中处理连接池代码:publi
转载
2024-01-02 12:05:09
76阅读
# 使用Spark进行回归分析的科普
在数据科学中，回归分析是一种重要的统计方法，它用于研究变量之间的关系。在面对大规模数据时，Apache Spark以其高效的分布式计算能力，越来越多地被用于回归分析。本篇文章将带您了解Spark回归分析的基础知识，并通过实际的代码示例来展示其使用方式。
## 1. 什么是回归分析？
回归分析的主要目标是建立变量之间的关系模型。通过回归分析，我们可以预测一
基于Spark和SparkSQL的NetFlow流量的初步分析——scala语言标签： NetFlow Spark SparkSQL本文主要是介绍如何使用Spark做一些简单的NetFlow数据的处理，是基于 IntelliJ IDEA开发Spark 的Maven项目，本文会介绍一些简单的NetFlow基础知识，以及如何在 IntelliJ IDEA 上开发Maven项目，用Scala 写的一些简
