一、Shuffle的含义 Hadoop中，Shuffle产生于Map和Reduce之间。 需要Shuffle的关键原因是某种具有共同特征的数据需要最终汇聚到一个计算节点上进行计算。 二、Shuffle操作可能面临的问题（运行Task时才会产生Shuffle操作）： 数据量可能较大，不同节点间网络传输问题； 数据如何分类，即如何Partition：Hash、Sort、Spark钨丝计划；
转载
2024-07-19 09:58:32
20阅读
RDD缓存1、概述2、 API2.1 cache()2.2 persist()3、存储级别4、如何选择存储级别5、清理缓存6、应用场景 1、概述Spark最重要的一个功能是它可以通过各种操作（operations）持久化（或者缓存）一个集合到内存中。当你持久化一个RDD的时候，每一个节点都将参与计算的所有分区数据存储到内存中，并且这些数据可以被这个集合（以及这个集合衍生的其他集合）的动作（act
转载
2024-09-29 13:24:52
27阅读
写在前面 本系列是综合了自己在学习spark过程中的理解记录 ＋ 对参考文章中的一些理解 ＋ 个人实践spark过程中的一些心得而来。写这样一个系列仅仅是为了梳理个人学习spark的笔记记录，所以一切以能够理解为主，没有必要的细节就不会记录了，而且文中有时候会出现英文原版文档，只要不影响理解，都不翻译了。若想深入了解，最好阅读参考文章和官方文档。 其次，本系列是基于目前最新的 spark 1.6
转载
2023-11-17 19:46:26
28阅读
SparkContext:Spark上下文：作用：连接Spark集群，用户创建RDD、累加器和广播。RDD：Resilient Distributed Dataset，弹性式分布式数据集：RDD代表一个不可变的,可并行操作的元素分区集合。RDD4种类型：a.创建RDD：3类(parallelize:将Seq序列数据转化为RDD、textFile将外部文件转化RDD、makeRDD将Seq序&nbs
转载
2024-01-03 12:27:42
30阅读
1. HBase读写的方式概况主要分为：纯Java API读写HBase的方式；Spark读写HBase的方式；Flink读写HBase的方式；HBase通过Phoenix读写的方式；第一种方式是HBase自身提供的比较原始的高效操作方式，而第二、第三则分别是Spark、Flink集成HBase的方式，最后一种是第三方插件Phoenix集成的JDBC方式，Phoenix集成的JDBC操作
转载
2023-08-18 22:05:12
103阅读
Spark科普定义概念RDD作业（Job），阶段（stages）, 任务应用上下文ApplicationContext转换和动作缓存运行作业机制执行器和任务管理器运行在Yarn上的Spark 定义Spark是用于大规模数据集群计算的矿建。它可以在YARN上处理HDFS的数据集，但是它并没有使用MapReduce作为它的分布式计算框架，而是自己实现。这样做的好处是提升了数据处理的效率，因为MapR
转载
2024-01-21 07:42:36
41阅读
数据分区并不是对所有的应用都有好处，如果RDD只被扫描一次，没有分区的必要。只有数据集多次在注入连接这种基于键的操作中使用时，分区才会有帮助。 Spark中所有的键值对RDD都可以进行分区。系统会根据一个针对键的函数对元素进行分组。尽管Spark没有给出显示控制每个键具体落在哪一个工作节点上的方法，但Spark可以确保同一组的键出现在同一个节点上
转载
2023-10-18 18:18:53
97阅读
数据类型基础一、什么是数据类型其实可以明白数据类型指的就是变量值的不同类型，姓名可能是一种数据类型、年龄可能是一种数据类型、爱好可能又是另一种数据类型二、为何对数据分类变量的是用来反映状态以及状态变化的，毫无疑问针对不同的状态就应该用不同类型的数据去标识。三、不同数据类型[数字类型][字符串类型][列表类型][字典类型][布尔类型]数字类型整型(int)1.1 作用表示人的年龄、各种号码、级别1.
转载
2023-09-29 07:07:52
170阅读
1.算子：RDD的方法就叫算子 RDD:spark中分区的集合 textFile(“文件路径”) parallilize(数组/元组/map等一系列集合)2.spark中算子分类： （1）Transformations类算子：不能自己执行，需要Action类算子。 flatMap,map,sortBy,sortByKey,mapToPair,reduceByKey （2）Action类算子：触发T
转载
2023-08-30 15:08:43
134阅读
与分类不同，聚类是在没有给定分类的情况下，根据数据相似度进行分组的一种方法。聚类模型可以建立在无类标记的数据上，是一种非监督学习算法。聚类根据数据自身的距离或相似度划分为若干组，划分的原则是组内距离最小化，而组间距离最大化。如下图所示：常见的聚类算法如下：K-Means、K-中心点、系统聚类K-Means聚类算法K-Means算法是典型的基于距离的非层次聚类算法，在最下化误差函数的基础上将数据划分
[论文笔记] R-CNN：Rich feature hierarchies for accurate object detection and semantic segmentation说在前面个人心得： 1. 流程：输入图像，产生2k个候选区域，输入CNN，得到特征向量输入SVM进行分类 2. CNN的输入是固定的（因为全连接的尺寸），但是候选区域的尺寸不固定了，所以要resize
数据分析学习总结笔记08：数据分类典型方法及其R语言操作1 判别分析1.1 判别分析简介1.1.1 判别分析概念1.1.2 判别分析的种类1.2 距离判别法1.2.1 两总体距离判别1.2.2 多总体距离判别1.3 Fisher 判别法1.3.1 Fisher 判别法原理1.3.2 Fisher 判别法步骤1.4 Bayes 判别法1.4.1 Bayes 判别法概念1.4.2 概率判别1.4.3
转载
2023-08-10 13:30:11
166阅读
# 使用 Spring 和 Spark 实现数据分类算法的指南
本文将指导你如何结合 Spring 框架和 Apache Spark 来实现一个简单的数据分类算法。随着数据科学的快速发展，能够处理和分析数据业已成为开发者的重要技能之一。在这篇文章中，我们将逐步介绍整个流程，代码示例，以及必要的注释，帮助你理解如何实践这一过程。
## 整体流程
首先，来看一下整个项目的基本流程：
| 步骤
【导读】近日，多伦多数据科学家Susan Li发表一篇博文，讲解利用PySpark处理文本多分类问题的详情。我们知道，Apache Spark在处理实时数据方面的能力非常出色，目前也在工业界广泛使用。本文通过使用Spark Machine Learning Library和PySpark来解决一个文本多分类问题，内容包括：数据提取、Model Pipeline、训练/测试数据集划分、模型训练和评价
转载
2023-10-09 00:49:28
104阅读
今天试用了一下Spark的机器学习，体验如下：第一步，导入数据我们使用Iris数据集，做一个分类，首先要把csv文件导入。这里用到了spark的csv包，不明白为什么这么常见的功能不是内置的，还需要额外加载。--packages com.databricks:spark-csv_2.11:1.4.0from pyspark.sql import SQLContext
sqlContext = S
转载
2024-06-30 16:25:52
45阅读
# 使用Python Spark将数据写入HBase
HBase是一个分布式、可扩展的NoSQL数据库，适合于处理大规模的数据集。与Spark结合后，它能够高效地读取和写入数据。本篇文章将介绍如何使用Python和Spark将数据写入HBase，并提供代码示例。
## 环境准备
首先，确保已安装以下环境：
- Python
- Apache Spark
- HBase
- PySpark
参考：http://docs.scala-lang.org/cheatsheets/index.html、http://docs.scala-lang.org/、http://www.scala-lang.org/api/2.10.4/#package变量 var x = 5变量好val x = 5不好x=6不变var x: Double = 5显式类型功能 好def f(x:
转载
2024-06-21 07:38:12
40阅读
R语言中的数据存储形式主要有以下几种方式数组，向量，矩阵，数据框，列表R语言中的可以处理的数据类型有以下几种方式数值类型，字符类型，逻辑类型，原声类型（二进制类型），复数类型数值类型 包括 实例标示，日期类型字符类型 包括 标称变量，序数变量R语言针对不同的数据类型处理的方式是不同的一、向量（每一个向量中的元素都是相同的数据类型）a <- c(1, 2, 5, 3, 6, -2,
转载
2023-10-03 10:21:42
80阅读
R语言——数据类型详解R语言支持的数据类型数值型整数型逻辑型字符型复数型原生型R语言的数据对象类型包括向量：一个向量只能有一种数据类型矩阵：一个矩阵只能有一种数据类型数组：一个数组只能有一种数据类型数据框：不同的列允许不同的数据类型因子：一个因子只能有一种数据类型列表：允许不同的数据类型如上图所示，标量、向量、矩阵和数组可以按同一类型来理解，这四种类型要求对象包含的数据均为同一类型，数组是多维度的
转载
2023-10-30 21:52:36
174阅读
“做好准备，用R创建出高品质的程序，迅速提高你的水平吧！ ” ——Patrick Breen，罗杰斯通信公司
任何数据分析的第一步，是按照需求的格式来创建含有研究信息的数据集，本节描述了向量、矩阵、数组、数据框以及列表的用法。熟悉这些数据结构以及访问其中元素的表述方法，十分有助于了解R的工作方式，但是也需要耐心来
转载
2023-06-21 19:09:30
1774阅读
