SparkStreaming是Spark的一个流式计算框架，它支持对许多数据源进行实时监听，例如Kafka, Flume, Kinesis, or TCP sockets，并实现实时计算的能力，但准确来说应该是伪实时，因为它的基本原理就是定时接收数据流，然后将其转化为许多量小的RDD集合，然后对其进行计算汇总，如下图： SparkStreaming的流式计算其实可以分为很多种类，让我们一步步分开来
转载
2023-09-21 08:23:12
74阅读
# Spark 与 MySQL 的科学计数法
在大数据处理中，Apache Spark 与 MySQL 数据库的结合使用是常见的场景。本文将介绍如何在 Spark 中使用 MySQL 并处理科学计数法。
## 什么是科学计数法？
科学计数法是一种表示非常大或非常小的数字的方法，通常形式为 `a × 10^n`，其中 `1 ≤ |a| < 10`，`n` 是一个整数。例如，`1.23e9` 表
原创
2024-07-19 12:31:14
72阅读
1、特点快如闪电的集群计算：是Hadoop的100倍，磁盘计算快10倍大规模快速通用的计算引擎：支持Java/scala/python/R 提供80+种操作符，容易构建并行应用 组合SQL 流计算 复杂分析运行环境：Hadoop mesos,standalone等2、spark模块 spark core 核心模块spark SQL&
转载
2024-01-12 14:35:22
47阅读
目录session聚合统计（统计出访问时长和访问步长，各个区间的session数量占总session数量的比例） 如果不进行重构，直接来实现，思路 普通实现思路的问题 重构实现思路 开发Spark大型复杂项目的一些经验准则重构的代码UserVisitSessionAnalyzeSpark.javaDateUtils.javaConstants.j
1.apark资源调度整合任务调度(前两天分别详细写到spark资源调度和spark任务调度) 如下图: 2.shuffer及调优: hashshuffer sortshuffer shuffer有两个阶段： shuffer write:将数据写到磁盘小文件 shuffer read:将数据从小文件中读取出来 shuffer调优: SparkConf.
转载
2024-09-13 11:41:53
94阅读
目前针对于高级语言如C++,JAVA,C#等工程都有相关的代码覆盖率统计工具，但是对于oracle存储过程或者数据库sql等方面的项目，代码覆盖率统计和扫描工具相对较少。因此针对这种情况，设计了代码覆盖率统计工具，其实oracle已经提供了较好的代码profiler包，本文主要介绍利用DBMS_PROFILER设计的代码覆盖率统计工具。1.代码打桩获取代码覆盖率的前提是，需要对被测代码进行prof
一、Xshell是什么 Xshell是可以通过它支持的协议来访问远程的服务器主机的终端模拟软件。就是通过这个软件可以访问远程的服务器 百度百科：Xshell [1] 是一个强大的安全终端模拟软件，它支持SSH1, SSH2, 以及Microsoft Windows 平台的TELNET 协议。Xshell 通过互联网到远程主机的安全连接以及它创新性
转载
2024-09-03 10:43:24
36阅读
# Spark 中的去重计数实现教程
在大数据处理的过程中，经常需要对数据进行去重和计数。在 Apache Spark 中，我们可以非常方便地实现这一过程。本文将详细介绍如何在 Spark 中实现去重计数，包括步骤、代码示例及相应注释，帮助刚入行的小白开发者快速上手。
## 一、整体流程
下面是实现“Spark agg 去重计数”的流程步骤概述：
| 步骤编号 | 步骤描述
初始化Spark编写一个Spark程序第一步要做的事情就是创建一个SparkContext对象，SparkContext对象告诉Spark如何连接到集群。在创建一个SparkContext对象之前，必须先创建一个SparkConf对象，SparkConf对象包含了Spark应用程序的相关信息。每个JVM只能运行一个SparkContext，在创建另一个新的SparkContext对象前，必须将旧的
转载
2023-06-19 06:54:40
89阅读
本文主要介绍四个问题：什么是Spark Streaming实时计算？Spark实时计算原理流程是什么？Spark 2.X下一代实时计算框架Structured StreamingSpark Streaming相对其他实时计算框架该如何技术选型？本文主要针对初学者，如果有不明白的概念可了解之前的博客内容。1、什么是Spark Streaming？与其他大数据框架Storm、Flink一样，Spark
转载
2023-08-28 16:36:36
74阅读
目录一.引言二.atomic.LongAccumulator1.构造方法2.使用方法3.创建并使用三.Spark.util.LongAccumulator1.构造方法2.使用方法一.引言使用 Spark 进行大数据分析或相关操作时，经常需要统计某个步骤或多个步骤的相对耗时或数量，java.util 与 spark.util 都提供了原子计数器。如果是 spark on Local ，可以
转载
2023-12-26 16:55:45
44阅读
常用Action算子1、countByKey算子功能：统计key出现的次数（一般适用于KV型的RDD） 用法：result = rdd1.countByKey()
print(result)代码示例：# coding:utf8
from pyspark import SparkConf, SparkContext
if __name__ == '__main__':
# 通过Spark
转载
2024-05-17 03:17:37
21阅读
文章目录一、前言1、表现形式2、出现错误的sql二、问题排查1、数据表结构2、错误推测3、最终原因三、解决方案1、更改数据结构（1）表结构（2）分别更新两个字段为 科学计数法 ：2.251799813685248e152、按位或上一个值 一、前言 这个问题也是比较奇怪的，明明设置的是varchar类型，但存储的结果却是科学计数
转载
2023-09-04 15:05:57
267阅读
看到以前很细的关于排序的文章，偷偷的将其收入希望可以让更多人看到。 最近在使用Spark进行一些日志分析，需要对日志中的一些(key,value)型数据进行排序，并取出value最多的10条数据。经过查找资料，发现Spark中的top()函数可以取出排名前n的元素，以及sortBy()函数可以对(key,value)数据根据value进行排序，原以为一切都很好
转载
2024-07-29 22:31:18
7阅读
WordCount程序首先看来一个快速入门案例，单词计数 这个需求就是类似于我们在学习MapReduce的时候写的案例需求这样的：读取文件中的所有内容，计算每个单词出现的次数这个需求就没什么好分析的了，咱们之前在学习MapReduce的已经分析过了，接下来就来看一下使用 Spark需要如何实现。Scala代码开发这里先使用Scala开发，sdk版本为：scala-2.11.12 以下为配置scal
转载
2023-11-26 16:17:48
367阅读
下面的代码对文件里的单词进行计数，筛选出现过10次的单词，然后对这些单词中的每个字符出现的次数进行计数。最后，通过collect action操作触发job的执行。这些转换中有两个是stage边界（它们有宽依赖）。代码中的两个reduceByKey转换是生成3个stage的原因：val words = sc.textFile("textFilePath").flatMap(_.split(' ')
转载
2023-07-10 17:05:05
165阅读
# 使用Spark统计数据分布的科学探讨
在大数据处理方面，Apache Spark 是一个非常强大的工具。其快速处理海量数据的能力，使得它被广泛应用于各类数据分析任务中。其中，统计数据分布是数据分析中的一个关键环节。本文将介绍如何使用Spark对数据分布进行统计，并通过代码示例加以说明。
## 数据分布的基本概念
数据分布是指在一个特定的数据集中，不同数值出现的频率或概率分布。了解数据分布
挺操蛋的一道题，我他妈的都服了。。。出这道题我怕是毙了首先题目里就有几个坑：1.可能有前导零，比如说000.00012.可能有零，比如说000.0000000哎，思路感觉最重要，对于字符串处理一定要有思路，知道先干嘛，后干嘛；首先就要去除前导零，把他变成一个纯净的浮点数；去除前导零，我们就可以进行分类讨论，因为必定会出现两种情况：1.第一位是小数点，此时该数为小数；2.第一位是数字，此时该数为大于
单词计数：直接查看官网：http://spark.apache.org/examples.html小案例，自己再次基础上进一步的实现，我用了两种语言实现主要文件：
原创
2022-10-31 12:36:52
386阅读
# 实现Spark中的金额科学计数法问题
在处理大数据时，尤其是在使用Apache Spark进行数据分析，可能会遇到金额的科学计数法表示问题。这会影响数据的可读性和进一步分析的准确性。本文将指导你如何在Spark中处理这个问题，确保金额格式正确，易于理解。
## 整体流程
在实现这个功能的过程中，我们可以将整个流程分为以下步骤：
| 步骤 | 描述
