一 SparkSQL 是什么1.1 SparkSQL 的出现契机数据分析的方式 数据分析的方式大致上可以划分为 SQL 和 命令式两种：命令式在前面的 RDD 部分, 非常明显可以感觉的到是命令式的, 主要特征是通过一个算子, 可以得到一个结果, 通过结果再进行后续计算.命令式的优点操作粒度更细, 能够控制数据的每一个处理环节操作更明确, 步骤更清晰, 容易维护支持非结构化数据的操作命令式的缺点需
转载
2023-10-03 16:46:00
243阅读
文章目录需求一、数据字段说明1.1 日期数据1.2 订单头数据1.3 订单明细数据二、分析步骤2.1 计算所有订单中每年的销售单数、销售总额。2.2 计算所有订单中每年的最大金额订单的销售额。2.3 计算所有订单中每年最畅销的货品。2.4 全部代码三、总结 需求假设某公司为你提供以下数据，改数据包括3个.txt文档数据，分别为日期数据、订单头数据、订单明细数据。让你根据公司所提供的的数据进行如下
转载
2023-08-10 08:55:04
182阅读
文章目录第1章 Spark SQL概述1.1 什么是Spark SQL1.2 RDD vs DataFrames vs DataSet1.2.1 RDD1.2.2 Dataframe1.2.3 Dataset1.2.4 三者的共性1.2.5 三者的区别第2章 执行SparkSQL查询2.1 命令行查询流程2.2 IDEA创建SparkSQL程序第3章 SparkSQL解析3.1 新的起始点Spa
转载
2023-10-11 22:24:32
120阅读
1、Spark是什么？Spark是一个用来实现快速而通用的集群计算平台。在速度方面，Spark扩展了广泛使用的MR（MapReduce以后就叫mr）计算模型，而且高效地支持更多计算模式，包括交互式查询和流处理。在处理大规模数据集时，速度是非常重要地。速度快就意味着我们可以进行交互式地数据操作，否则我们每次操作就需要等待数分钟甚至数小时。Spark的一个主要特点就是能够在内存中进行计算，因而更快。不
转载
2023-08-10 08:54:53
165阅读
Spark 经典论文笔记Resilient Distributed Datasets : A Fault-Tolerant Abstraction for In-Memory Cluster Computing为什么要设计spark现在的计算框架如Map/Reduce在大数据分析中被广泛采用，为什么还要设计新的spark？Map/Reduce提供了高级接口可以方便快捷的调取计算资源，但是缺少对分布
转载
2023-06-19 11:18:14
215阅读
拷贝hive-site.xml到spark的conf目录下面 打开spark的conf目录下的hive-site.xml文件 加上这段配置（我这里三个节点的spark都这样配置） 把hive中的mysql连接包放到spark中去 检查spark-env.sh的hadoop配置项 检查dfs是否启动了
原创
2022-06-17 22:57:05
51阅读
文章目录写入到Mysql写入parquet文件写入文本文件写入到Mysql val df7_1 = spark.createDataFrame(List( ("Alice", "Female", "20"),
原创
2022-02-10 10:31:46
617阅读
文章目录写入到Mysql写入parquet文件写入文本文件写入到Mysql val df7_1 = spark.createDataFrame(List
原创
2021-05-31 17:16:15
1042阅读
文章目录读取json , csv 文件读取parquet文件读取代码中数据读取Mysql中数据读取json , csv 文件i
原创
2021-05-31 17:16:29
361阅读
文章目录读取json , csv 文件读取parquet文件读取代码中数据读取Mysql中数据读取json , csv 文件import org.apache.spark.sql.SparkSessionobject TestSQL2 { def main(args: Array[String]): Unit =
原创
2022-02-10 10:29:32
244阅读
通过分析出租车数据，然后使用KMeans对经纬度进行聚类，然后按照（类别，时间）进行分类，再统计每个类别每个时段的次数。数据地址 链接: https://pan.baidu.com/s/166dKRUpryHWZ2F8wLA3eyw 密码: g9dz数据格式以及意义：111,30.655325,104.072573,173749
111,30.655346,104.072363,173828
11
转载
2023-07-05 09:25:36
108阅读
一、数据倾斜的原理在执行shuffle操作的时候，大家都知道是按照key来进行values的数据的输出、拉取和聚合的。同一个key的values，一定是分配到一个reduce task进行处理的。假设多个key对应的values，总共是90万。但是问题是可能某个key对应了88万数据，key-88万values，分配到一个task上去面去执行。另外两个task，可能各分配到了1万数据，可能是数百个
转载
2023-10-13 22:59:49
99阅读
Spark快速大数据分析这本书用Java/Python/Scala三种语言介绍了Spark的基本概念和简单操作，对于入门Spark是一个不错的选择，这里做一个总结，方便以后查看。
转载
2019-06-30 21:23:00
184阅读
背景：给定一数据集，结构如下：数据说明：字段字段说明positionName职位名称salary薪水workYear工作年限city城市companyShortName公司简称companySize公司规模district所在区financeStage融资阶段industryField所在领域thirdType职位类型resumeProcessDay简历日处理resumeProcessRate简历
转载
2024-03-14 20:48:45
50阅读
在上一篇文章中，我们了解了什么是Apache Spark以及如何它是如何协助我们进行大数据处理分析。 Spark SQL是Apache Spark大数据框架的一部分，用来对结构化数据进行处理，且允许使用SQL查询Spark数据。我们可以执行ETL抽取不通格式的数据（如JSON，Parquet或者数据库），然后进行特定的查询。 在序列文章的第二部分，我们将了解Spark SQL库，它是如何通过S
转载
2023-10-20 06:49:15
71阅读
1、点击流数据模型
1.1、点击流概念
点击流（Click Stream）是指用户在网站上持续访问的轨迹。这个概念更注重用户浏览网站的整个流程。用户对网站的每次访问包含了一系列的点击动作行为，这些点击行为数据就构成了点击流数据（Click Stream Data），它代表了用户浏览网站的整个流程。 点击流和网站日志是两个不同的概念。点击流是从用户的角度出发，注
转载
2023-08-23 15:19:36
40阅读
# 数据分析 spark
## 简介
在当今数据爆炸的时代，数据分析已经成为各行各业的必备技能。而Apache Spark作为一个强大的分布式计算框架，被广泛应用于大规模数据处理和分析中。本文将介绍什么是数据分析，以及如何使用Spark进行数据分析。
## 什么是数据分析
数据分析是指利用各种统计方法和技术对数据进行分析，以发现数据中隐藏的模式、规律和趋势。通过数据分析，我们可以从海量数据
原创
2024-03-17 06:53:19
17阅读
spark案例1、sparkpihadoop@ddai-master:/opt/spark-2.1.0-bin-hadoop2.7$ vim SparkPihadoop@ddai-master:/opt/spark-2.1.0-bin-hadoop2.7$ run-example SparkPi 10 >
原创
2022-05-09 20:35:22
548阅读
文章目录用例1：数据清洗用例2：用户留存分析用例3：活跃用户分析用例4：活跃用户地域信息分析用例5：用户浏览深度分析 本项目用到的文件获取如下,提取码: 6xdx 点我获取文件 注意:本文都是在spark-shell环境下完成 用例1：数据清洗读入日志文件并转化为RDD[Row]类型按照Tab切割数据过滤掉字段数量少于8个的import org.apache.spark.sql.Row
impo
转载
2023-08-04 10:26:24
131阅读
数据清洗时数据科学项目的第一步，往往也是最重要的一步。 本章主要做数据统计（总数、最大值、最小值、平均值、标准偏差）和判断记录匹配程度。Spark编程模型 编写Spark程序通常包括一系列相关步骤： 1. 在输入数据集上定义一组转换。 2. 调用action，用以将转换后的数据集保存到持久存储上，或者把结果返回到驱动程序的本地内存。 3. 运行本地计算，本地计算处理
转载
2023-06-28 19:33:14
415阅读
