1.关于Spark Spark最初由美国加州伯克利大学（UCBerkeley）的AMP（Algorithms, Machines and People）实验室于2009年开发，是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序。Spark在诞生之初属于研究性项目，其诸多核心理念均源自学术研究论文。2013年，Spark加入Apac
转载
2024-09-14 09:47:27
19阅读
文章目录RDD的依赖RDD的缓存DAG的生成以及shuffle的过程什么是DAGshuffle的过程SortShuffleManager基本介绍 RDD的依赖RDD和它依赖的父RDD的关系有两种不同的类型，即窄依赖（narrow dependency）和宽依赖（wide dependency）。 窄依赖 窄依赖指的是每一个父RDD的Partition最多被子RDD的一个Partition使用 总
# Spark任务的停止调用
在使用Spark进行大规模数据处理的过程中，我们常常需要控制任务的启动和停止。尤其是在任务运行时间较长、数据量较大的情况下，及时停止任务可以节省计算资源，提高效率。本文将介绍如何在Spark中停止任务的调用，并通过一个实际问题和示例来解释。
## 问题描述
假设我们有一个大型电商网站的用户购买记录数据集（以JSON格式存储），我们需要通过Spark进行分析处理。
原创
2024-01-06 05:38:53
115阅读
简述Spark的宽窄依赖，以及Spark如何划分stage，每个stage又根据什么决定task个数? Stage：根据RDD之间的依赖关系的不同将Job划分成不同的Stage，遇到一个宽依赖则划分一个Stage。Task：Stage是一个TaskSet，将Stage根据分区数划分成一个个的Task。 请列举Spark的transformation算子（不少于8个），并简述功能
转载
2024-02-04 11:27:22
45阅读
Apache Spark是一种快速通用的集群计算系统。 它提供Java，Scala，Python和R中的高级API，以及支持通用执行图的优化引擎。 它还支持一组丰富的高级工具，包括用于SQL和结构化数据处理的Spark SQL，用于机器学习的MLlib，用于图形处理的GraphX和Spark Streaming。Spark优点：减少磁盘I/O：随着实时大数据应用越来越多，H
转载
2023-12-25 10:11:05
64阅读
前言最近在搞hadoop+spark+python,所以就搭建了一个本地的hadoop环境,基础环境搭建地址hadoop2.7.7 分布式集群安装与配置本篇博客主要说明,如果搭建spark集群并集成到hadoop安装流程安装spark需要先安装scala 注意在安装过程中需要对应spark与scala版本, spark 也要跟hadoop对应版本,具体的可以在spark官网下载页面查看下载sacl
Hadoop是对大数据集进行分布式计算的标准工具，这也是为什么当你穿过机场时能看到”大数据(Big Data)”广告的原因。它已经成为大数据的操作系统，提供了包括工具和技巧在内的丰富生态系统，允许使用相对便宜的商业硬件集群进行超级计算机级别的计算。2003和2004年，两个来自Google的观点使Hadoop成为可能：一个分布式存储框架(Google文件系统)，在Hadoop中被实现为HDFS；一
转载
2023-12-28 16:16:17
37阅读
在Spring Boot项目中，控制器（Controller）是应用程序与外部世界进行交互的主要入口。为了确保控制器的正常工作，测试其方法是非常重要的一环。本文将介绍如何测试Spring Boot控制器的方法，包括代码示例和测试相关的最佳实践。
## 1. 测试的重要性
在Spring Boot应用中，控制器通常负责处理HTTP请求、返回响应以及与服务层进行交互。确保这些控制器能够正确处理请求
原创
2024-08-30 08:37:52
43阅读
GTest是Google开发的跨平台而且开源的C++单元测试框架，很好很强大。首先奉上下载地址：https://code.google.com/p/googletest/ 。关于GTest在Windows下使用，CoderZh给出了十分详尽的使用指南： 。这里，是我在Linux下初尝GTest 1.6.0。生成gtest库编写简单功能函数编写单元测试代码编译与运行测试
生成gtest的静态
什么是Spark spark是基于内存的用于大规模数据处理(离线计算、实时计算、快速查询)的统一分析引擎。 也是一个生态系统。 Spark的特点 1、速度快 比MapReduce块10-100倍 2、易用(算法多) MR只支持一种计算 算法，Spark支持多种算法。 3、通用 Spark可以支持离线计算、实时计算、快速查询(交互式)、机器学习、图计算 4、兼容性强 支持大数据中现有的Ya
转载
2024-10-07 12:40:22
28阅读
package com.spark.optimization.p2
import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}
/**
* 过滤掉少数几个发生数据倾斜的key，这样这些key便不会参与计算，
* 也就不会再发生数据倾斜dataskew了。
* 需要注意的一点：
转载
2023-11-29 09:03:14
37阅读
目录1 Standalone 架构2 配置、部署及启动2.1 解压、环境变量2.2 Workers主机名称2.3 配置Master、Workers、HistoryServer2.4 创建EventLogs存储目录2.5 配置Spark应用保存EventLogs2.6 设置日志级别2.7 分发到集群所有机器2.8 启动服务进程2.9 提交运行圆周率3 Spark 应用架构4 WEB UI 监控5 S
转载
2023-07-16 22:20:13
63阅读
# Python数据导入World的简单教程
在编程的世界里，数据导入是一个非常重要的任务。在这篇文章中，我们将介绍如何在Python中导入数据，并将这些数据导入到一个World类型（可以理解为一个地理信息系统）的示例应用中。对于一个刚入行的小白来说，理解整个流程是至关重要的。下面是简单的流程图和每一步的详细步骤。
## 流程步骤
| 步骤 | 描述
原创
2024-08-24 08:44:19
35阅读
一、前言在文章《DPDK系列之十一：容器云的数据通道加速》中提到，社区改进了virtio来支持基于DPDK的容器NFV或者上层应用。本文对于基于virtio-user(容器虚拟化网络前端)和vhost-user(容器虚拟化网络后端)与DPDK技术的结合进行分析：virtio-user对于DPDK的支持vhost-user对于DPDK的支持自二、virtio-user对于容器内DPDK PMD的
转载
2024-10-27 21:52:31
215阅读
测试用例（testcase）是为了某个特殊目标而编制的一组测试输入、执行条件以及预期结果，以便测试某个程序路径或核实是否满足某个特定需求。等价类划分法 等价类划分是把所有可能的输入数据,即程序的输入域划分成若干部分（子集）,然后从每一个子集中选取少数具有代表性的数据作为测试用例.该方法是一种重要的,常用的黑盒测试用例设计方法 等价类划分法首先要做的是划分等价类，包括有两种不同的情况:有效等价类和无
文章目录python编程快速上手（持续更新中…）推荐系统基础一、spark介绍1.1 spark概述1、什么是spark2、为什么要学习spark3、spark特点1.2 spark启动（local模式）和WordCount(演示)二、RDD概述2.1 什么是RDD2.2 RDD的创建三、spark-core RDD常用算子练习3.1 RDD 常用操作3.2 RDD Transformation
Spark数据处理Spark作为分布式数据处理的一个开源框架，因其计算的高效性和简洁的API而广受欢迎。一般来说，Spark大部分时候被用来进行批处理。但现在Spark通过其SparkStreaming模块也实现了一定的流处理的功能。Spark流处理的过程Spark中的流处理实际上并不是真正的流处理。Spark实现流处理的方法是通过mini-batch来对输入数据进行分块（但这个分块频率非常高以至
转载
2024-06-11 07:00:21
30阅读
以wordcount理解spark的执行过程：
1、代码以及交互界面的回应:
（RDD是spark的核心抽象，所有的计算都围绕RDD进行，生成RDD，然后可以对RDD进行各种操作，
这些操作主要有两类：
Transformation（转换）
[一个RDD进过计算生成一个新的RDD,比如接下来示例中的flatMap、map、reduceByKey]
和
A
转载
2024-08-06 13:08:19
97阅读
# 探索Geohash算法在Spark中的应用
作为一名刚入行的开发者，你可能对Geohash算法和Spark的结合感到困惑。别担心，这篇文章将带你一步步了解如何将Geohash算法应用在Spark中。
## 什么是Geohash算法？
Geohash是一种将二维的地理坐标（经纬度）转换为一维字符串的方法。它将地球表面划分为多个小格子，每个格子对应一个唯一的字符串。这种算法在地理空间数据的处
原创
2024-07-20 07:37:44
111阅读
# Python如何获取HTML中的script中的JSON数据
在爬取网页数据的过程中，我们有时会遇到需要从HTML页面中提取JavaScript中的JSON数据的情况。本文将介绍如何使用Python获取HTML中的script标签中的JSON数据，并提供代码示例。
## 1. 使用BeautifulSoup解析HTML
首先，我们需要使用Python的一个HTML解析库来解析HTML页面
原创
2023-11-14 14:01:48
1288阅读
