文章目录准备知识DAG概述shuffle概述SortShuffleManager普通机制bypass机制Spark任务调度流程准备知识要弄清楚Spark的任务调度流程，就必须要清楚RDD、Lineage、DAG和shuffle的相关知识，关于RDD和Lineage，我的这两天文章已经有过相关介绍，感兴趣可以去看一看【Spark】RDD(Resilient Distributed Dataset)究
转载
2023-07-12 15:28:13
87阅读
Gensim（generate similarity）是一个简单高效的自然语言处理Python库，用于抽取文档的语义主题（semantic topics）。Gensim的输入是原始的、无结构的数字文本（纯文本），内置的算法包括Word2Vec，FastText，潜在语义分析（Latent Semantic Analysis，LSA），潜在狄利克雷分布（Latent Dirichlet Alloca
转载
2023-12-31 13:49:21
100阅读
""" 基于gensim模块的中文句子相似度计算思路如下： 1.文本预处理：中文分词，去除停用词 2.计算词频 3.创建字典（单词与编号之间的映射） 4.将待比较的文档转换为向量（词袋表示方法） 5.建立语料库 6.初始化模型 7.创建索引 8.相似度计算并返回相似度最大的文本 """代码下载地址：https://github.com/yip522364642/ChineseSimilarity-
转载
2024-01-11 13:38:45
132阅读
文章目录一、什么是Spark二、RDD的五大特性三、解释RDD的五大特性四、RDD的三类算子五、Spark Application的大概运行流程 一、什么是SparkApache Spark是一个开源的分布式计算框架，用于处理大规模的数据。旨在快速进行数据分析、快速运行和快速开发。Spark不是由一个人开发的，而是诞生于美国加州大学伯克利分校的AMP实验室。于2010年开放源码，2012年发布了
转载
2023-12-27 15:42:54
51阅读
一、Transformation算子练习
一、map(func)
说明:返回一个新的RDD，该RDD由每一个输入元素经过func函数转换后组成
scala> var source = sc.parallelize(1 to 10)
source: org.apache.spark.rdd.RDD[Int]= ParallelCollectionRDD[8] at parallelize at
转载
2024-05-19 12:31:25
16阅读
# Spark 有状态计算的实现
在现代大数据处理领域，Apache Spark 是一个非常强大的工具。其核心功能之一就是处理有状态流数据。这篇文章将带你了解如何在 Spark 中实现有状态计算的过程。我们会分步骤进行讲解，并提供必要的代码示例。最后，还会进行一个总结。
## 流程概述
以下是实现 Spark 有状态计算的步骤：
| 步骤 | 描述
原创
2024-09-18 07:12:05
28阅读
Spark总结Spark配置函数建立连接1>SparkConf().setAppName("xxx").setMaster("local") 设置配置文件2> SparkContext.parallelize(Array(1,2,2,4),4)将数据进行4个分片，分别存在不同的集群中3> .textFile("path") 加载数据关闭连接4> SparkContext.s
转载
2024-05-19 02:31:48
60阅读
word2vec的基础知识介绍参考上一篇博客和列举的参考资料。首先利用安装gensim模块，相关依赖如下，注意版本要一致： Python >= 2.7 (tested with versions 2.7, 3.5 and 3.6) NumPy >= 1.11.3 SciPy &g
转载
2023-10-07 16:14:31
252阅读
# 使用Spark集群运行SparkSQL的完整教程
欢迎来到Spark世界！情不自禁地想让你成为一名出色的开发者。如果你刚刚入行，面对“Spark集群中如何运行SparkSQL”的问题，别担心！本文将详细解析如何在Spark集群上使用SparkSQL的整个流程，以及每一步的实现代码。
## 1. 流程概述
为了成功运行SparkSQL，我们需要完成以下几个步骤：
| 步骤
原创
2024-09-28 04:37:50
29阅读
Flume自定义拦截器开发1）进入IDEA，给
spark-log4j这个项目名称，单独加Module--->maven--->next--->Artifactld：log-flume--->next--->Module name：log-flume--->finish2）进入主的pom.xml添加flume的版本<properties>
转载
2024-09-21 07:24:59
27阅读
一、scala复习1. scala的简介
scala是一个面向对象，函数式的编程语言，运行在jvm上，可以调用java,c++,python等的api。追求优雅，简单。
我们学习的是2.11.8的版本。这周要学习的spark2.2.3版本是基于scala-2.11.8的
2. scala的安装（和安装jdk是一样的）
- windows平台：
(1)可以下载xxx.msi或者是xxx.z
关于“Spark有Windows版本吗”的问题，许多开发者和数据科学家在寻求一种高效的方式来搭建和使用Apache Spark环境。在这篇博文中，我将分享如何在Windows上安装和使用Apache Spark的策略，包括备份策略、恢复流程、可能的灾难场景，以及工具链集成等内容。
## 备份策略
在使用Spark的过程中，数据的安全性非常重要，因此我们需要制定合适的备份策略。我们将使用一些脚本
# 使用Spark包的Java实现
## 介绍
在Java开发中，使用Spark包可以帮助我们进行大数据处理和分析。本文将向刚入行的小白介绍如何在Java中使用Spark包，并提供详细的步骤和代码示例。
## 整体流程
首先，让我们来看一下使用Spark包的整体流程。下表展示了使用Spark包的步骤以及每一步需要做什么。
| 步骤 | 操作 |
| --- | --- |
| 步骤1 |
原创
2023-07-15 04:29:42
117阅读
## Spark中的临时表实现指南
在大数据处理中，Apache Spark 是一个非常流行的框架。在使用 Spark 进行数据处理时，有时我们需要创建临时表以方便进行 SQL 查询。在本篇文章中，我将给你详细介绍如何在 Spark 中创建和使用临时表。
### 流程概述
为了实现临时表的创建和使用，以下是整个流程的步骤表格：
| 步骤 | 描述
原创
2024-10-17 11:00:45
62阅读
# Spark官方镜像获取指南
## 文章概述
在大数据处理和分析的领域，Apache Spark广泛应用于机器学习、数据处理和分布式计算等场景。对于许多开发者而言，使用Docker镜像运行Spark是一个简便的选择，特别是对初学者来说更显得如此。本篇文章将详细介绍如何获取Apache Spark的官方镜像，并提供完整的步骤与代码示例，帮助你掌握这一过程。
### 流程概述
以下是获取Sp
一、本质Spark是一个分布式的计算框架，是下一代的MapReduce，扩展了MR的数据处理流程二、mapreduce有什么问题1.调度慢，启动map、reduce太耗时2.计算慢，每一步都要保存中间结果落磁盘3.API抽象简单，只有map和reduce两个原语4.缺乏作业流描述，一项任务需要多轮mr三、spark解决了什么问题1.最大化利用内存cache2.中间结果放内存，加速迭代3.将结果集放
转载
2023-10-05 16:12:17
176阅读
# Gensim库能在Java环境使用吗？
## 引言
Gensim是一个广泛使用的Python库，用于主题建模和文档相似度评分。因为它在自然语言处理中表现出色，很多人在使用Java这一环境时，希望将Gensim的功能引入Java项目中。本文将探讨如何实现在Java环境中利用Gensim库，并提供示例代码，帮助读者更好地理解这一过程。
## Gensim概述
Gensim提供了一系列处理文
原创
2024-10-28 05:42:44
78阅读
LDA：Latent Dirichlet Allocation 是一个很著名的文本模型，最初是在2003年被一群大牛提出的，包括David M.Blei 、Andrew Y.Ng等。和之前的pLSA文本模型相比，LDA算是贝叶斯观点的pLSA,所谓贝叶斯观点，就是什么都是不确定的，不像pLSA中的p(z|d)，虽然是个隐变量，但是还是确定的值，然而对于贝叶斯学派观点，其概率是不确定的，
转载
2024-05-14 06:22:29
35阅读
## 实现"java gensim"的流程
为了实现"java gensim"，我们需要按照以下步骤进行操作。下面的表格展示了整个流程：
| 步骤 | 操作 |
| ------| ------- |
| 1 | 安装Java开发环境 |
| 2 | 下载gensim库 |
| 3 | 导入gensim库 |
| 4 | 准备数据集 |
| 5 | 数据预处理 |
| 6 | 创建词袋模型 |
原创
2023-10-17 11:27:37
176阅读
# Spark的服务端架构解析
Apache Spark是一个强大的大数据处理框架，以其高效的批处理和流处理能力而受到广泛应用。很多人可能会疑问：“Spark有服务端吗？” 本文将深入探讨这个问题，介绍Spark的架构，具体的服务端组件以及如何在Spark中进行代码示例的使用。
## 1. Spark基础架构
Spark的设计采取了主从模式，主要由以下几个组件构成：
- **Spark D
原创
2024-09-17 07:14:37
43阅读
