文章目录简单使用python简单使用./bin/run-example SparkPi 10 运行一个样例代码，实际=
原创
2022-12-03 00:01:12
933阅读
文章目录一、提出任务二、完成任务（一）、新建Maven项目（二）、添加相关日志依赖和构建插件（三）、创建日志属性文件（四）、创建分组排行榜榜单单例对象（五）本地运行程序，查看结果（六）交互式操作查看中间结果1、读取成绩文件得到RDD2、利用映射算子生成二元组构成的RDD3、按键分组得到新的二元组构成的RDD4、按值排序，取前三5、按指定格式输出结果 一、提出任务分组求TOPN是大数据领域常见的需
转载
2023-10-29 00:33:31
136阅读
SparkStreaming 案例实操一、环境准备1、pom 文件2、生产数据二、需求一：广告黑名单1) 思路分析2) 存放黑名单用户的表3) 存放单日各用户点击每个广告的次数4) 代码实现5) 优化三、需求二：广告点击量实时统计1、思路分析2、MySQL 建表代码实现四、需求三：最近一小时广告点击量1、 思路分析2、代码实现优化页面展示 一、环境准备1、pom 文件<?xml versi
转载
2023-11-19 07:03:52
14阅读
大家好我是一名数据科学与大数据专业的一名大二学生，对大数据处理和大数据分析很感兴趣，写博客只是记录我学习的过程，并且与大家分享学习经验！ 下面为大家带来运用spark运算框架对流数据进行词频统计案例！1、首先新建一个maven项目导入spark-streaming程序开发所需依赖<dependency>
<groupId>org.apache.spa
转载
2023-11-10 13:11:44
85阅读
常用APISpark官方文档SparkConfclass pyspark.SparkConf(loadDefaults=True, _jvm=Non
原创
2022-12-04 07:39:02
370阅读
1.Spark简单介绍什么是Spark? Spark是UC BerkeleyAmp实验室开源的类Hadoop MapReduce的通用并行计算框架 Spark VS MapReduceMapReduce ①.缺少对迭代计算以及DAG运算的支持 ②.Shuffle过程多次排序和落地，MR之间的数据须要
转载
2017-07-05 09:25:00
125阅读
2评论
文章目录Spark 案例实操一、数据准备二、案例需求需求1：Top10 热门品类说明需求说明代码示例代码优化（aex） Spark 案例实操一、数据准备在之前的学习中，我们已经学习了 Spark 的基础编程方式，接下来，我们看看在实际的工作中如何使用这些 API 实现具体的需求，这些需求是电商网站的真实需求，所以在实现功能前，我们必须先把数据准备好。 上面的数据是从数据文件中截取的一部分内容，表
转载
2023-09-25 09:40:24
132阅读
一、hive环境准备 1、安装hive 按照hive安装步骤安装好hive CREATE USER 'spark'@'%' IDENTIFIED BY '123456'; GRANT all privileges ON hive.* TO 'spark'@'%'; 1 2 flush privile
转载
2021-01-23 18:43:00
372阅读
2评论
一、flume安装 （一）概述 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。Flume可以采集文件，socket数据包等各种形式源数据，又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中，一般的采集需求，通过对flume的简单配置即可
转载
2021-01-23 18:42:00
466阅读
2评论
spark常用的启动方式 一、Local(本地模式) Spark单机运行，一般用于开发测试。可以通过Local[N]来设置，其中N代表可以使用N个线程，每个线程拥有一个core。如果不指定N，则默认是1个线程（该线程有1个core）。spark-submit 和 spark-submit --mas
转载
2021-01-23 18:45:00
294阅读
2评论
由于目前很多spark程序资料都是用scala语言写的，但是现在需要用python来实现，于是在网上找了scala写的例子改为python实现 1、集群测试实例 代码如下：from pyspark.sql import SparkSession if __name__ == "__main__":
转载
2021-01-23 18:21:00
458阅读
2评论
总结与体会1.项目总结本次项目实现了Spark 单机模式Python版的安装;介绍了与Spark编程有关的一些基本概念.特别对RDD的创建、转换和行动操作做了比较详细的说明;对从RDD 到DataFrame的实现进行了案例训练，包括 json 文件、csv文件和普通文本文件生成 Spark DataFrame 的多种练习:详细讲解了Spark综合编程，特别对 Python可视化编程做了详尽的描述和
转载
2023-08-13 20:33:31
128阅读
全文共10887字，预计阅读时间70分钟。第二章 Spark入门介绍与基础案例1. 第一步：下载Apache Spark安装包 1.1 Spark的目录和文件2. 第二步：使用Scale或者PySpark Shell 2.1 使用本地机器3. 第三步：理解Spark应用的概念
转载
2023-08-15 18:15:20
292阅读
Spark是基于Hadoop的大数据处理框架，相比较MapReduce，Spark对数据的处理是在本地内存中进行，中间数据不需要落地，因此速度有很大的提升。而MapReduce在map阶段和Reduce阶段后都需要文件落地，对于连续的数据处理，就需要写多个MapReduce Job接力执行。
转载
2023-05-26 06:19:17
131阅读
Spark大数据分析与实战：Spark SQL编程初级实践一、安装Hadoop和Spark具体的安装过程在我以前的博客里面有，大家可以通过以下链接进入操作：提示：如果IDEA未构建Spark项目，可以转接到以下的博客：IDEA使用Maven构建Spark项目：二、启动Hadoop与Spark查看3个节点的进程masterslave1slave2三、Spark SQL基本操作将下列JSON格式数据复
转载
2023-09-12 22:02:36
147阅读
在master节点上执行如下命令：/opt/hadoop/sbin/start-all.sh //启动hadoop集群
/opt/spark/sbin/start-all.sh //启动spark集群1.在master的/opt目录下新建file1.txt数据文件直接复制file1.txt:1,1768,50,155
2,1218,600,211
3,2239,788,242
4,3101,28
转载
2023-11-10 11:12:49
64阅读
常用APIclass pyspark.StorageLevel(useDisk, useMemory, useOffHeap, deserialized, repli
原创
2022-12-04 07:38:44
308阅读
## Spark SQL实战
### 简介
Spark SQL是Apache Spark的一个模块，提供了用于处理结构化数据的高级数据处理接口。它支持使用SQL语法进行查询，以及与DataFrame和DataSet API进行交互。Spark SQL在处理大规模数据时具有高性能和可扩展性。
本文将介绍如何使用Spark SQL进行数据处理和分析，并提供一些示例代码。首先，我们将简要介绍Spa
原创
2023-10-25 18:41:51
18阅读
在这篇博文中，我们将深入探讨如何在 Windows 平台上进行 Spark 实战的设置和应用。无论你是第一次接触 Spark，还是想要在 Windows 环境中建立一个高效的数据处理框架，希望这些内容能够帮助你快速上手。
## 环境准备
首先，我们需要为 Spark 的运行准备相关环境。下面列出了前置依赖的安装步骤和一个甘特图来帮助你规划这个过程。
### 前置依赖安装
确保你的系统已经安
在这个博文中，我将分享一个关于如何在 Spark 上进行实战项目的过程，涵盖了从环境准备到扩展应用的各个方面。这些执行步骤和配置详解能够帮助你更好地理解和实施 Spark 项目。
## 环境准备
### 软硬件要求
- **硬件要求**
- CPU: 至少4核
- RAM: 至少8GB
- 硬盘: 至少50GB的可用空间
- **软件要求**
- Java 8或以上版本
