文章目录一、数据结构——RDD二、RDD实现World Count三、算子1、转化算子transcation2、动作算子action3、引起shuffle过程的Spark算子四、宽窄依赖五、RDD缓存1、级别2、cache()、persist()、checkpoint()区别六、广播变量和累加器1、广播变量2、累加器 一、数据结构——RDD什么是RDD? RDD（Resilient Distr
转载
2024-08-16 13:49:52
65阅读
Spark权威指南读书笔记（四） 聚合与连接一、聚合函数大多数聚合函数位于org.apache.spark.sql.functions。当给定多个输入值时，聚合函数给每个分组计算出一个结果。count使用count对指定列进行计数或者使用count(*)或count(1)对所有列进行计数。需要注意的是，当执行count(*)时，Spark会对null值进行计数；而当对某指定列计数时，则不会对nul
转载
2023-06-21 12:43:17
1064阅读
引言count()是Python中的内置函数。它将返回列表或字符串中给定元素的个数。灵活运用count可以帮助我们简便地解决很多问题。问题在大小为2N的数组A中有N+1个不同的元素
原创
2022-05-30 10:06:42
819阅读
在Excel中，如果要计数，一般情况下都使用Count系列，如Count函数，数值计数；Counta函数，非空单元格计数；Countblank函数，空单元格计数；Countif函数，单条件计数；Countifs：多条件计数。但在实际的应用中，还可以用Frequency来计数，而且效率更高，更简单。一、Count系列计数。1、Count。功能：计算区域中包含数字的单元格个数。语法结构：=
转载
2023-12-07 12:21:56
247阅读
在excel中count函数的功能是：计算数字的个数，对给定数据集合或者单元格区域中数据的个数进行计数。COUNT函数用来计算所列参数中数值的个数，即为实现计数功能的函数。COUNT函数，用于Excel中对给定数据集合或者单元格区域中数据的个数进行计数。COUNT函数只能对数字数据进行统计，对于空单元格、逻辑值或者文本数据将被忽略，因此可以利用该函数来判断给定的单元格区域中是否包含空单元格。语法：
转载
2023-07-18 16:50:12
141阅读
你几乎就在那里,无论是虚拟机还是物理机,这些设置总是可以改变的.我将展示3种方法.一些预先信息：1)如果可能的话,最好以root身份执行.2)/ unix上的proc不是一个真正的文件系统,它是一个内存内核文件系统,但它看起来像一个普通的磁盘文件系统.您可以将其称为“假文件系统”或“特殊文件系统”,您无法使用vi或任何其他编辑器编辑这些假文件,因为它们不是文件,它们看起来就像文件.几年前我遇到了同
转载
2024-10-19 07:04:18
31阅读
数量查询时，有如下几种方式：1.下面三种方式，在多数情况下效率是基本相同的，
原创
2023-01-10 11:34:23
145阅读
1，概念开窗函数与聚合函数一样，都是对行的集合组进行聚合计算。它用于为行定义一个窗口（这里的窗口是指运算将要操作的行的集合），它对一组值进行操作，不需要使用GROUP BY子句对数据进行分组，能够在同一行中同时返回基础行的列和聚合列。 2，开窗函数格式 函数名(列) OVER(partition by … order by …rows|range)3，具体解释3.1，分类1，聚
转载
2024-01-28 05:48:20
341阅读
为什么建议尽量在Spark中少用GroupByKey，让我们看一下使用两种不同的方式去计算单词的个数，第一种方式使用reduceByKey ；另外一种方式使用groupByKey，代码如下： 01
# User: 过往记忆
02
# Date: 2015-05-18
03
# Time: 下午22:26
04
# bolg: http://www.it
# Hive 中 COUNT IF 函数的用法
在大数据处理领域，Hive 是一个流行的数据仓库工具，能便捷地处理存储于 Hadoop 中的大量数据。在 Hive 中，COUNT IF 函数是一个非常有用的聚合函数，可以根据指定条件计算满足条件的记录数。本文将通过一个实际案例，帮助您掌握 COUNT IF 函数的用法。
## 实现流程概述
为了使用 Hive 的 COUNT IF 函数，我们
原创
2024-08-26 05:51:48
266阅读
count()聚合计算count()是聚合函数，对于返回的结果集，一行行地判断，累计值加1，最后返回累计值，count(*)、count(主键ID)和count(1)表示返回满足条件的结果集的总行数。
count(）聚合函数统计非NULL与NULL值的区别：
1、count(字段)不统计NULL记录，即表示满足条件的数据行里参数字段不为NULL的行
2、count(1)和count(*
转载
2021-06-22 15:14:06
649阅读
我们稍做修改
select partition_date,count(user_id),
count(distinct if(user_is_new = 1, user_id, 0)) --注意新增用户量的统计,加了distinct去重
from dw.nice_live_dw_user_active_day
where location_city like '%xxx%' and parti
countcount是一种最简单的聚合函数，一般也是我们第一个开始学习的聚合函数，那么他们之间究竟由什么区别呢？有的人说count（1）和count（*）他们之间有区别，而有的人说他们之间没有区别那么他们之间到底有没有区别呢。从执行结果来说：count（1）和count（*）之间没有区别，因为count（*）count（1）都不会去过滤空值，
但count（列名）就有区别了，因为cou
转载
2023-09-05 16:20:45
380阅读
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.rdd.RDD
/**
* Created by EA on 2016/8/24.
*/
object Test3 {
def main(args: Array[ String ]) {
val conf = new SparkConf(
转载
2023-11-07 10:12:04
70阅读
目录一、统计某一种类型的不重复的个数 二、分组后再统计某一种类型的不重复的个数三、分组后统计汇总的数据和某一种类型的不重复的个数最近遇到一个问题，需要分组统计某种类型的金额总和跟该类型的记录数量。测试数据类似如下的情况：我使用的mysql数据库，建表语句如下：create table student(
id decimal(18) primary key,
name varchar(12
转载
2024-07-15 13:00:31
152阅读
在使用 Apache Spark 进行大数据处理时，`filter` 函数是一个非常重要的工具。`filter` 函数用于根据特定条件从数据集中筛选出所需的数据。例如，当我们想在员工数据集中找出特定部门的员工时，`filter` 函数就能发挥其强大的作用。下面我们将详细介绍 `spark filter` 函数的用法，从背景到具体实现，走一遍完整的流程。
```mermaid
timeline
reduceByKey函数ＡＰＩ： 该函数利用映射函数将每个K对应的V进行运算。 其中参数说明如下： - func：映射函数，根据需求自定义； - partitioner：分区函数； - numPartitions：分区数，默认的分区函数是HashPartitioner。 返回值：可以看出最终是返回
转载
2017-10-28 21:10:00
118阅读
2评论
RDD中的函数传递在实际开发中我们往往需要自己定义一些对于RDD的操作，那么此时需要主要的是，初始化工作是在Driver端进行的，而实际运行程序是在Executor端进行的，这就涉及到了跨进程通信，是需要序列化的。传递一个方法 1．创建一个类class Search(query:String) {
// 过滤包含字符串的数据
def isMatch(s:String):Boolean={
转载
2024-09-10 22:36:29
28阅读
Java并发编程小总结：CountDownLatch、CyclicBarrier和Semaphore这几个类都是在JUC下，也就是java.util.concurrent包下。这两天学习了一下并发编程中的三个类的使用和一些应用场景，所以做一下记录和总结，方便自己日后再查看复现。1、CountDownLatch。这个类的核心思想总结为8个字“秦灭6国，一统华夏”。它可以实现的是一个类似计数器的功能，
转载
2023-10-22 12:08:08
68阅读
Spark性能调试是使用Spark的用户在进行大数据处理的时候必须面对的问题，性能调优的方法有很多，这里首先介绍一种常见的调优问题-小分区合并问题。小分区合并问题介绍在使用Spark进行数据处理的过程中，常常会使用filter方法来对数据进行一些预处理，过滤掉一些不符合条件的数据。在使用该方法对数据进行频繁过滤或者是过滤掉的数据量过大的情况下就会造成大量小分区的生成。在Spark内部会对每一个分
转载
2023-10-05 16:31:26
92阅读
