spark是一个基于内存的计算框架。它集成了离线批处理，sql类处理，实时处理/流式计算、机器学习和图计算计算模式。所以spark程序的优化对于spark执行效率来说是非常的重要的。1、1 开发调优开发调优首先需要了解一些spark开发的基本设计原则：（1）RDD lineage 设计；（2）算子的合理使用；（3）特殊的操作使用；在实际开发中需要结合自己的业务，来合理、灵活的开发程序；1、2 原则
转载
2024-02-26 06:26:47
12阅读
在实际工作中会遇到，最近有需求将产品炸开bom到底层，但是ERP中bom数据在一张表中递归存储的，不循环展开，是无法知道最底层原材料是什么。 在ERP中使用pl/sql甚至sql是可以进行炸BOM的，但是怎么使用spark展开，并且效率要不Oracle更高效的展开，是个问题。展开方法 有以下
转载
2024-06-21 09:22:37
148阅读
一、基本流程1.构建Spark Application的运行环境（启动SparkContext），SparkContext向资源管理器（可以是Standalone、Mesos或YARN）注册并申请运行Executor资源；2.资源管理器分配Executor资源并启动StandaloneExecutorBackend，Executor运行情况将随着心跳发送到资源管理器上；3.SparkContext
转载
2023-07-13 14:20:26
76阅读
spark开发教程 目录spark开发教程前言一、初始化spark二、获取数据源1.创建数据结构2.连接外部数据textfilejdbchive3. 数据处理rdd算子transform算子action算子dataframe操作dataset操作4. 共享变量5.写入数据总结 前言spark开发主要的基于RDD、Datasets、DataFrame、sql 。其中rdd是最核心的底层，Datase
转载
2023-07-06 20:03:01
113阅读
RDD编程Spark针对RDD的操作包括创建RDD，转换操作（返回RDD），行动操作（返回结果）RDD创建1：sc.parallelize(),需要把整个数据集加载到放在一台机器的内存中，多用于开发和原型测试 2：sc.textFile(),更常用的是从外部数据集的读取从文件系统中加载数据创建RDDtextFile(),该方法把文件的URI作为参数，这个URI可以是本地文件系统，或者分布式文件系统
转载
2023-09-20 21:23:00
68阅读
文章目录Spark是什么DAG有向无环图spark环境搭建Spark开发pyspark使用pythonSpark初始化创建RDD数据的读取和保存文本文件Json文件RDD的转换操作RDD的行动操作集合操作mysql读取 Spark是什么整个Hadoop生态圈分为分布式文件系统HDFS、计算框架MapReduce以及资源调度框架Yarn。但是随着时代的发展，MapReduce其高强度的磁盘IO、网
转载
2023-08-11 15:18:04
142阅读
1. 主要参考资料
http://spark.incubator.apache.org/docs/latest/scala-programming-guide.html
http://www.eecs.berkeley.edu/Pubs/TechRpts/2011/EECS-2011-82.pdf
2. 简介
每个Spark应用，都有一个驱
转载
2023-10-25 10:42:52
74阅读
# Spark 开发入门指南
Apache Spark 是一个现代的大数据处理框架，旨在为大规模数据处理提供高效和简便的解决方案。随着大数据时代的到来，Spark 逐渐成为数据科学家和工程师的首选工具之一。本文将介绍 Spark 的基本概念、核心组件、以及如何使用 Spark 进行开发。我们还将通过代码示例来帮助更好地理解 Spark 的使用。
## Spark 的基本概念
Spark 是一
开发工具和软件版本信息IDEA2019.2JAVA1.8Scala2.11.12Spark2.4.3Hadoop2.7.7WindowsWin10专业版64位Centos7.5 部署Spark和Hadoop本地模式1）下载spark和Hadoopspark，选择pre_build版本，也就是编译好的版本http://mirror.bit.edu.cn/apache/spark/spark
转载
2023-09-08 21:55:27
48阅读
图一Spark一个高速、通用大数据计算处理引擎。拥有Hadoop MapReduce所具有的优点，但不同的是Job的中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。它可以与Hadoop和Apache Mesos一起使用，也可以独立使用。作为大数据开发中最重要的技术点，为了达到工作中的需求，应该学习哪些技术呢
scala中的main函数 java.lang.NoSuchMethodError: scala.tools.nsc.interpreter.ILoop.main 在Object对象中，需要添加main函数才能够右键，run CacheLoader 添加了spark-network-common依赖
转载
2018-03-25 20:32:00
194阅读
2评论
使用scala开发spark入门总结一、spark简单介绍关于spark的介绍网上有很多，可以自行百度和google，这里只做简单介绍。推荐简单介绍连接：http://blog.jobbole.com/89446/1、 spark是什么？Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapRedu
转载
2024-01-31 20:53:36
24阅读
Spark基本开发流程
Spark 的层次 开发视角多涉及两种层面。 1.一种是Spark自身的开发， 这类开发涉及到Java和Sala以及一些底层的源码。了解这些内容，主要用于底层框架的开发以及针对Spark的二次开发，也就是Spark架构设计与实现。要求
转载
2023-08-03 11:15:47
180阅读
分类回归树（\(classification\ and\ regression\ tree,\ CART\)）既可用于分类也可用于回归。\(CART\)分类树、\(CART\) 回归树统称 \(CART\)\(CART\) 学习分三步：特征选择、决策树的生成、剪枝。\(CART\) 决策树是二叉树。对 \(CART\) 回归树用均方误差最小化准则，\(CART\) 分类树用基尼系数最小化（\(Gi
转载
2023-08-10 12:20:32
209阅读
package com.immooc.sparkimport org.apache.log4j.{Le
原创
2022-08-08 23:22:46
86阅读
# Spark决策树AUC
## 引言
随着机器学习的发展，决策树成为了一种非常受欢迎的分类和回归算法。决策树通过将数据集分割成不同的子集，以创建一个树状模型，然后根据特征的不同进行预测。决策树的优点在于易于理解和解释，且能够处理各种类型的数据。
在决策树模型中，评估模型的性能是非常重要的。常用的度量指标之一是AUC（Area Under the ROC Curve）指标。AUC度量了分类器的
原创
2023-08-13 07:44:01
233阅读
小王是一家著名高尔夫俱乐部的经理。但是他被雇员数量问题搞得心情十分不好。某些天好像所有人都來玩高尔夫，以至于所有员工都忙的团团转还是应付不过来，而有些天不知道什么原因却一个人也不来，俱乐部为雇员数量浪费了不少资金。 小王的目的是通过下周天气预报寻找什么时候人们会打高尔夫，以适时调整雇员数量。因此首先他必须了解人们决定是否打球的原因。 在2周时间内我们得到以下记录: 天气状况有晴，云和雨；气温用
# Spark DataFrame 决策树
在大数据处理和机器学习中，决策树是一种常用的分类和回归方法。Spark DataFrame 是 Apache Spark 中用于处理大规模数据的 API，结合起来可以实现高效的决策树模型训练和预测。
## 决策树简介
决策树是一种树形结构，其中每个内部节点表示一个特征属性的判断，每个分支代表一个判断结果，每个叶节点代表一个类别标签或者数值。决策树的
原创
2024-05-15 06:36:55
29阅读
在这篇博文中，我们将深度探讨如何在Java环境中使用Apache Spark构建决策树模型。我们将从环境配置开始，经过编译、参数调优、定制开发，最后进行性能对比，并总结错误集锦。这些内容将帮助你更好地理解和使用Java决策树与Spark的结合。
## 环境配置
首先，我们需要确保我们的开发环境设置正确。这包括安装Java、Apache Spark以及必要的依赖库。下面是一个简单的思维导图，能够
当使用Maven构建好项目后，现在要开始学习Spark的设计及具体实现，就是源码了。
在Google上查到的比较多的IDE就是Scala + Eclipse , Scala + NetBeans和Scala + IntelliJ Idea. 因为以前一直使用的Eclipse,所以Scala + Eclipse当然是优选了。
下了一个ScalaIDE,
转载
2023-12-07 00:05:41
40阅读
