Apache Spark 是一个快速和通用的大型数据处理引擎。 一、Spark 的特点 速度：在内存中运行程序要比Hadoop MapReduce快100倍，磁盘上的速度要快10倍。Apache Spark拥有一个先进的DAG执行引擎，它支持非循环数据流和内存计算。易用性：在Java、Scala、Python、r中快速编写应用程序。Spark提供了超过80个高级运算，这些运算可以轻松构建并行应用
转载
2024-08-14 15:38:44
17阅读
第9章Spark SQL
Spark SQL提供3个主要的功能：
1.可以从结构化的数据源中加载数据（例如，JSON，Hive和Parquet）
2.可以使用SQL查询数据，无论是在Spark程序内还是使用诸如JDBC或ODBC这种连接器。
3.使用Spark程序的时候，Spark SQL提供了丰富的集成，在SQL和Python或Java或
转载
2023-10-30 19:28:05
94阅读
1、RDD提供了两种类型的操作：transformation和action所有的transformation都是采用的懒策略，如果只是将transformation提交是不会执行计算的，计算只有在action被提交的时候才被触发。1）transformation操作：得到一个新的RDD，比如从数据源生成一个新的RDD，从RDD生成一个新的RDDmap(func):对调用map的RDD数据集中的每个
转载
2023-11-24 13:25:09
216阅读
文章目录Spark 基础一、Spark的介绍1.定义2.Spark VS MapReduce3.Spark内置模块二、安装Spark1.Spark相关地址2.重要角色2.1 Driver/Driver Program（驱动器）2.2 Executor（执行器）2.3 Spark的提交流程3. Standalone模式（伪分布式）4. Spark On Yarn模式4.1Yarn与Standalo
转载
2023-08-30 22:13:04
85阅读
从大方向来说，Spark 算子大致可以分为以下两类:
1）Transformation 变换/转换算子：这种变换并不触发提交作业，完成作业中间过程处理。
2）Action 行动算子：这类算子会触发 SparkContext 提交 Job 作业。
从小方向来说，Spark 算子大致可以分为以下三类:
1）Value数据类型的Transformation算子
2）Key-Value数据类型
转载
2023-07-21 20:16:33
130阅读
toDF()创建、createDataFrame()创建以及读取文件创建和JDBC连接
首先我们要创建SparkSessionval spark = SparkSession.builder()
.appName("test")
.master("local"
转载
2023-07-26 20:57:57
105阅读
Memcached add 命令用于将 value(数据值) 存储在指定的 key(键) 中。如果 add 的 key 已经
原创
2023-04-14 19:45:43
51阅读
Memcached add 命令用于将 value(数据值) 存储在指定的 key(键) 中。 如果 add 的 key 已经存在，则不会更新数据，之前的值将仍然保持相同，并且您将获得响应 NOT_STORED。
原创
2018-09-19 17:36:00
199阅读
# Dockerfile ADD命令教程
## 介绍
在使用Docker进行应用程序的容器化时，我们通常需要将应用程序的源代码或其他依赖文件添加到Docker镜像中。Dockerfile是用于定义Docker镜像的脚本文件，在其中可以使用ADD命令来将文件添加到镜像中。本教程将详细介绍如何使用Dockerfile的ADD命令。
## 教程步骤
以下是使用Dockerfile ADD命令的步骤概
原创
2023-08-19 05:29:52
80阅读
# DockerFile中的ADD命令详解
在使用Docker构建镜像的过程中，我们通常需要将本地的文件或目录复制到镜像中。DockerFile中的`ADD`命令就是用来实现这个功能的。本文将详细介绍`ADD`命令的用法，并通过代码示例来帮助读者更好地理解。
## 什么是DockerFile
DockerFile是一种用来构建Docker镜像的文本文件，其中包含了一条条的命令，这些命令按照顺
原创
2023-09-01 04:18:21
373阅读
# 使用Spark的date_add函数计算上月日期
在大数据处理和分析的领域，Apache Spark是一个非常强大的分布式计算框架。它提供了多种内置函数来处理日期和时间，本文将重点介绍如何使用Spark的`date_add`函数来计算上个月的日期。
## 1. Spark SQL中的日期函数
Spark SQL提供了多种日期函数，可以为数据分析提供便利。其中，`date_add`函数用于
文章目录Spark基础知识一、Spark框架1.Spark介绍2.Spark四大特点3.Spark框架模式4.Spark运行模式二、本地模式1.环境配置2.运行spark-shell3.Spark WordCount4.WEB UI监控5.运行圆周率PI三、Spark Standalone集群1.Standalone 架构2.解压、配置环境变量3.Spark 应用架构4.WEB UI 监控5.S
转载
2023-08-25 13:37:32
118阅读
一、Spark SQL的基础： 1、Spark SQL的简介 Spark SQL is Apache spark’s module for working with structured data Spark SQL 是apache spark用来出来结构化数据的模块 特点： (1)容易集成成，安装好spark后就带有spark sql了 (2)统一的数据访问接口DataFrame (3)兼容hi
转载
2023-08-19 20:00:44
82阅读
Set数据类型Api(1).SetAdd：添加数据,可以单独1个key-1个value,也可以1个key-多个value添加
(2).SetLength：求key集合的数量
(3).SetContains：判断key集合中是否包含指定值
(4).SetRandomMember：随机获取指定key集合中的一个值或n个值
(5).SetMembers：获取key中的所有值,数据类型要一致，便于存储
(
转载
2023-08-09 21:30:59
276阅读
前言在平时的 Spark 处理中常常会有把一个如 2012-12-12 这样的 date 类型转换成一个 long 的 Unix time 然后进行计算的需求.下面是一段示例代码:val schema = StructType(
Array(
StructField("id", IntegerType, nullable = true),
StructFie
转载
2024-06-03 21:22:12
188阅读
git add 命令可将该文件添加到暂存区。 添加一个或多个文件到暂存区： git add [file1] [file2] ... 添加指定目录到暂存区，包括子目录： git add [dir] 添加当前目录下的所有文件到暂存区： git add . 以下实例我们添加两个文件： $ touch RE
转载
2021-03-04 22:57:00
209阅读
2评论
文章目录Spark介绍启动工作（单机伪分布式）数据以学生成绩数据创建RDD从内存中已有数据创建RDDparallelizemakeRDD从外部存储创建RDD从HDFS文件创建RDD从Linux本地文件创建RDD任务实现查询学生成绩表中的前5名使用map转换数据使用sortBy()排序使用collect()查询使用flatMap转换数据使用take()方式查询某几个值任务实现 Spark介绍Apa
转载
2023-08-21 16:49:44
190阅读
1、git 会将工作区中的文件使用 hash sha-1 算法得到 40 位的 blob 对象 hash 字符串文件，
原创
2023-01-15 10:38:32
242阅读
# Dockerfile的ADD命令
在Docker中，Dockerfile是一种用于自动化构建Docker镜像的文件格式。其中的ADD命令用于将文件和目录复制到镜像中的指定位置。本文将详细介绍ADD命令的使用方法，并通过代码示例进行演示。
## ADD命令的语法
ADD命令的基本语法如下：
```
ADD
```
其中，``是要复制的文件或目录在构建环境中的路径，``是文件或目录在
原创
2023-11-12 07:38:02
232阅读
# 深入了解 Docker 的 ADD 命令
在现代软件开发中，Docker 已成为一种流行的工具。它提供了一个轻量级的虚拟化环境，使得应用程序及其依赖项可以快速地打包、分发和部署。在 Dockerfile 中，有许多命令具有特定的功能，其中 **ADD** 命令常用于将文件或目录复制到 Docker 镜像中。
## 什么是 ADD 命令？
`ADD` 命令的主要用途是将本地文件或目录复制到
原创
2024-09-03 04:14:56
287阅读
