文章目录简单使用python简单使用./bin/run-example SparkPi 10 运行一个样例代码，实际=
原创
2022-12-03 00:01:12
933阅读
SparkStreaming 案例实操一、环境准备1、pom 文件2、生产数据二、需求一：广告黑名单1) 思路分析2) 存放黑名单用户的表3) 存放单日各用户点击每个广告的次数4) 代码实现5) 优化三、需求二：广告点击量实时统计1、思路分析2、MySQL 建表代码实现四、需求三：最近一小时广告点击量1、 思路分析2、代码实现优化页面展示 一、环境准备1、pom 文件<?xml versi
转载
2023-11-19 07:03:52
14阅读
大家好我是一名数据科学与大数据专业的一名大二学生，对大数据处理和大数据分析很感兴趣，写博客只是记录我学习的过程，并且与大家分享学习经验！ 下面为大家带来运用spark运算框架对流数据进行词频统计案例！1、首先新建一个maven项目导入spark-streaming程序开发所需依赖<dependency>
<groupId>org.apache.spa
转载
2023-11-10 13:11:44
85阅读
文章目录一、提出任务二、完成任务（一）、新建Maven项目（二）、添加相关日志依赖和构建插件（三）、创建日志属性文件（四）、创建分组排行榜榜单单例对象（五）本地运行程序，查看结果（六）交互式操作查看中间结果1、读取成绩文件得到RDD2、利用映射算子生成二元组构成的RDD3、按键分组得到新的二元组构成的RDD4、按值排序，取前三5、按指定格式输出结果 一、提出任务分组求TOPN是大数据领域常见的需
转载
2023-10-29 00:33:31
136阅读
常用APISpark官方文档SparkConfclass pyspark.SparkConf(loadDefaults=True, _jvm=Non
原创
2022-12-04 07:39:02
370阅读
1.Spark简单介绍什么是Spark? Spark是UC BerkeleyAmp实验室开源的类Hadoop MapReduce的通用并行计算框架 Spark VS MapReduceMapReduce ①.缺少对迭代计算以及DAG运算的支持 ②.Shuffle过程多次排序和落地，MR之间的数据须要
转载
2017-07-05 09:25:00
125阅读
2评论
文章目录Spark 案例实操一、数据准备二、案例需求需求1：Top10 热门品类说明需求说明代码示例代码优化（aex） Spark 案例实操一、数据准备在之前的学习中，我们已经学习了 Spark 的基础编程方式，接下来，我们看看在实际的工作中如何使用这些 API 实现具体的需求，这些需求是电商网站的真实需求，所以在实现功能前，我们必须先把数据准备好。 上面的数据是从数据文件中截取的一部分内容，表
转载
2023-09-25 09:40:24
132阅读
spark常用的启动方式 一、Local(本地模式) Spark单机运行，一般用于开发测试。可以通过Local[N]来设置，其中N代表可以使用N个线程，每个线程拥有一个core。如果不指定N，则默认是1个线程（该线程有1个core）。spark-submit 和 spark-submit --mas
转载
2021-01-23 18:45:00
294阅读
2评论
一、hive环境准备 1、安装hive 按照hive安装步骤安装好hive CREATE USER 'spark'@'%' IDENTIFIED BY '123456'; GRANT all privileges ON hive.* TO 'spark'@'%'; 1 2 flush privile
转载
2021-01-23 18:43:00
372阅读
2评论
一、flume安装 （一）概述 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。Flume可以采集文件，socket数据包等各种形式源数据，又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中，一般的采集需求，通过对flume的简单配置即可
转载
2021-01-23 18:42:00
466阅读
2评论
由于目前很多spark程序资料都是用scala语言写的，但是现在需要用python来实现，于是在网上找了scala写的例子改为python实现 1、集群测试实例 代码如下：from pyspark.sql import SparkSession if __name__ == "__main__":
转载
2021-01-23 18:21:00
458阅读
2评论
总结与体会1.项目总结本次项目实现了Spark 单机模式Python版的安装;介绍了与Spark编程有关的一些基本概念.特别对RDD的创建、转换和行动操作做了比较详细的说明;对从RDD 到DataFrame的实现进行了案例训练，包括 json 文件、csv文件和普通文本文件生成 Spark DataFrame 的多种练习:详细讲解了Spark综合编程，特别对 Python可视化编程做了详尽的描述和
转载
2023-08-13 20:33:31
128阅读
全文共10887字，预计阅读时间70分钟。第二章 Spark入门介绍与基础案例1. 第一步：下载Apache Spark安装包 1.1 Spark的目录和文件2. 第二步：使用Scale或者PySpark Shell 2.1 使用本地机器3. 第三步：理解Spark应用的概念
转载
2023-08-15 18:15:20
292阅读
Spark大数据分析与实战：Spark SQL编程初级实践一、安装Hadoop和Spark具体的安装过程在我以前的博客里面有，大家可以通过以下链接进入操作：提示：如果IDEA未构建Spark项目，可以转接到以下的博客：IDEA使用Maven构建Spark项目：二、启动Hadoop与Spark查看3个节点的进程masterslave1slave2三、Spark SQL基本操作将下列JSON格式数据复
转载
2023-09-12 22:02:36
147阅读
Spark是基于Hadoop的大数据处理框架，相比较MapReduce，Spark对数据的处理是在本地内存中进行，中间数据不需要落地，因此速度有很大的提升。而MapReduce在map阶段和Reduce阶段后都需要文件落地，对于连续的数据处理，就需要写多个MapReduce Job接力执行。
转载
2023-05-26 06:19:17
131阅读
在master节点上执行如下命令：/opt/hadoop/sbin/start-all.sh //启动hadoop集群
/opt/spark/sbin/start-all.sh //启动spark集群1.在master的/opt目录下新建file1.txt数据文件直接复制file1.txt:1,1768,50,155
2,1218,600,211
3,2239,788,242
4,3101,28
转载
2023-11-10 11:12:49
64阅读
常用APIclass pyspark.StorageLevel(useDisk, useMemory, useOffHeap, deserialized, repli
原创
2022-12-04 07:38:44
308阅读
# Spark 实战教程：大数据处理的利器
Apache Spark 是一个强大的大数据处理框架，广泛应用于数据分析、机器学习和流处理等领域。它以快速、易用而著称，特别适合于大规模数据处理。本文将为您介绍 Spark 的基本概念和实战代码示例，帮助您快速上手。
## Spark 基本概念
Spark 的核心是一个分布式计算框架，它能够在集群上并行处理数据。其主要组成部分包括：
- **RD
原创
2024-10-20 06:41:01
31阅读
## Spark Hive实战：利用Spark SQL与Hive进行大数据分析
在大数据生态中，Apache Spark和Apache Hive都是非常流行的工具。Spark因其高速的处理能力和灵活性而受到青睐，而Hive则是用于数据仓库和SQL查询的工具，便于分析和处理大规模数据。本文将结合Spark和Hive，通过实际代码示例，演示如何在Spark中使用Hive数据，以及如何进行基本的数据处
初始化操作spark shell: bin/pyspark 每个spark应用都由一个驱动器程序(driver program)来发起集群上的各种并行操作，驱动器程序包含应用的main函数，并且定义了集群上的分布式数据集，还对这些分布式数据集应用了相关操作，驱动器程序通过一个sparkcontext对象来访问spark(sc),这个对象代表对计算集群的一个连接。可以用它来创建
