51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
信创认证
公众号矩阵
移动端
视频课 免费课 排行榜 短视频 直播课 软考学堂
全部课程 软考 信创认证 华为认证 厂商认证 IT技术 PMP项目管理 免费题库
在线学习
文章 资源 问答 课堂 专栏 直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
CKA（Kubernetes 管理员认证）精品班
按照企业k8s需求进行技能培训，帮助用户快速拿下CKA认证，K8S采用新版本进行授课，课程内容全、讲解详细 。 免费试学
软考高级：系统架构设计师精品班
根据考试大纲对知识点、高频考点进行深入讲解，传授答题技巧及判断标准，助力高效备考。 免费试学
信创认证：系统架构师精品班（高级）
信息技术应用创新人才考试评价 免费试学

Spark介绍 | Spark入门介绍
前言Spark自从2014年1.2版本发布以来，已成为大数据计算的通用组件。网上介绍Spark的资源也非常多，但是不利于用户快速入门，所以本文主要通从用户的角度来介绍Spark，让用户能快速的认识Spark，知道Spark是什么、能做什么、怎么去做。Spark是什么摘用官网的定义：Spark是一个快速的、通用的分布式计算系统。提供了高级API，如：Java、Scala、Python和R。同时也支持
Java
原创
mb5fdb0a6739180
2021-03-30 06:35:29
1531阅读

spark详细介绍 spark简单介绍
SparkSpark简介 最初由美国加州伯克利大学的AMP实验室于2009年开发，是基于内存计算的大数据计算框架，可用于构建大型，低延迟的数据分析应用程序2014年打破了hadoop保持的基准排序记录Spark具有以下特点：运行速度快：使用DAG执行引擎以支持循环数据流与内存计算容易使用：支持使用scala,java,python和R语言进行编程，可以通过spark shell
spark详细介绍
数据
hive
依赖关系
转载
云端筑梦师
2023-11-07 06:39:27
61阅读

Spark（一）—— Spark介绍
文章目录1. 什么是Spark2. 为什么要学习Spark3. Spark特点4. Spark体系结构5. Spark运行机制及原理分析1. 什么是SparkApache Spark™
spark
Hadoop
资源管理
原创
程序员X小鹿
2024-04-22 10:58:40
33阅读

Spark 介绍 spark的dag
今天,我们就先聊一下spark中的DAG以及RDD的相关的内容　　1.DAG:有向无环图:有方向,无闭环,代表着数据的流向，这个DAG的边界则是Action方法的执行　　　　2.如何将DAG切分stage,stage切分的依据:有宽依赖的时候要进行切分(shuffle的时候,　　也就是数据有网络的传递的时候)，则一个wordCount有两个stage,　　一个是reduceByKey之前的，一个事
Spark 介绍
大数据
数据
有向无环图
业务逻辑
转载
mob64ca13f96cda
2023-12-07 08:53:21
54阅读

hadoop介绍 spark spark hadooprdd
     Spark经常需要从hdfs读取文件生成RDD，然后进行计算分析。这种从hdfs读取文件生成的RDD就是HadoopRDD。那么HadoopRDD的分区是怎么计算出来的？如果从hdfs读取的文件非常大，如何高效的从hdfs加载文件生成HadoopRDD呢？本篇文章探讨这两个问题。    SparkContext.objectFile方法经
hadoop介绍 spark
hdfs
加载
数据
转载
IT狼人9号
2023-07-12 13:56:24
68阅读

spark graphx介绍 spark ignition
本文基于 Spark 2.4.4 版本的源码，试图分析其 Core 模块的部分实现原理，其中如有错误，请指正。为了简化论述，将部分细节放到了源码中作为注释，因此正文中是主要内容。 第一部分内容见：Spark学习：Spark源码和调优简介 Spark Core (一）Task 阶段下面是重头戏submitMissingTasks，这个方法负责生成 TaskSet，并且将它提
spark graphx介绍
sparkcore分区
scala
数据
序列化
转载
mob64ca140c3859
2024-01-10 20:39:14
47阅读

Spark算子介绍
返回一个经过简化到numPartitions个分区的新RDD。这会导致一个窄依赖，例如：你将1000个分
spark
大数据
hadoop
scala
apache
原创
jast_zsh
2023-05-06 15:05:15
562阅读

SPARK模块介绍
# SPARK模块介绍 ## 1. 整体流程 ### 步骤 | 步骤 | 描述 | |---|---| | 1 | 下载并安装SPARK | | 2 | 创建SPARK应用程序 | | 3 | 编写SPARK应用程序代码 | | 4 | 运行SPARK应用程序 | ## 2. 具体步骤及代码示例 ### 步骤一：下载并安装SPARK 首先，你需要下载并安装SPARK。你可以在官方网站下
SPARK
应用程序
文本文件
原创
mob64ca12e5c0c2
2024-07-07 03:34:10
19阅读

Spark Store介绍
Spa金总额任务3：将任务2中的结果按照部门号进行升序排任务4：将任务2中的结果按照工资总额进行降序排三、编码实现创建maven工程添加spark相关依赖，在pom.xml中添加如下依赖<pack
Spark Store介绍
#scala
#spark
#big data
spark
转载
码海探险先锋
1月前
420阅读

spark详细介绍
Apache Spark是一种开源的分布式计算框架，广泛应用于大数据处理和分析。它提供了快速、通用和易于使用的计算模型，使得数据处理更为高效。本文将深入探讨Spark的背景定位、核心维度、特性拆解、实战对比、选型指南及生态扩展。 ### 背景定位 在大数据处理领域，Apache Spark作为一款高性能、通用的技术，有效弥补了Hadoop MapReduce在速度和灵活性上的不足。Spark于
数据处理
Hadoop
Apache
原创
mob649e816347dd
6月前
288阅读

Spark介绍，安装
1.简单介绍和安装：(1)Spark使用scala编写，运行在JVM（java虚拟机）上。所以，安装Spark需要先安装JDK。安装好java后，到官网下载安装包（压缩文件）：http://spark.apache.org/downloads.html ，当前使用的版本是：spark-1.6.1-bin-hadoop2.4.tgz。(2)解压，查看目录内容：tar -zxvf&
安装
介绍
Spark
原创
maninglwj
2016-09-01 17:02:48
873阅读

Spark MLlib介绍
Spark MLlib介绍Spark之所以在机器学习方面具有得天独厚的优势，有以下几点原因：（1）机器学习算法一般都有很多个步骤迭代计算的过程，机器学习的计算需要在多次迭代后获得足够小的误差或者足够收敛才会停止，迭代时如果使用Hadoop的MapReduce计算框架，每次计算都要读/写磁盘以及任务的启动等工作，这回导致非常大的I/O和CPU消耗。而Spark基于内存的计算模型天生就擅长迭代计算，多
机器学习
机器学习算法
迭代
转载
AI算法专家李智华
2023-05-31 11:57:28
97阅读

Spark的技能点 spark介绍
文章目录Spark历史Spark的内置项目Spark特点Spark名词解释 Spark历史Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。项目是用Scala进行编写。 目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkS
Spark的技能点
spark
大数据
SQL
Hadoop
转载
智能开发艺术家
2023-09-21 15:18:33
52阅读

apache spark 文档 apache spark介绍
1.Spark的产生背景 2.什么是Spark     http://spark.apache.org    Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。项目是用Sca
apache spark 文档
scala
spark
SQL
数据
转载
网络安全守护先锋
2023-08-05 16:07:29
76阅读

spark triplets方法介绍 spark curiosity
Spark集群的调度分应用间调度和应用内调度两种情况，下文分别进行说明。1. 应用间调度1) 调度策略1: 资源静态分区资源静态分区是指整个集群的资源被预先划分为多个partitions，资源分配时的最小粒度是一个静态的partition。根据应用对资源的申请需求为其分配静态的partition(s)是Spark支持的最简单的调度策略。我们已经知道，不同的应用有各自的Spark Context且占
spark triplets方法介绍
调度策略
spark
优先级
转载
feiry
2023-09-22 21:43:48
115阅读

Spark Streaming（一）—— Spark Streaming介绍
介绍Spark Streaming的特点、概念及常用的实时计算引擎的对比，讲述Spark Streaming内部结构，StreamingContext对象创建的两种方式，离散流DStream及窗口。
spark streaming
spark
Streaming
apache
原创 精选
程序员X小鹿
2024-04-22 10:57:39
238阅读

[Spark 学习]-- 1.1 Spark 框架介绍
Spark
学习
原创
high2011
2022-11-03 14:04:28
187阅读

spark mllib介绍 spark mllib 教程
机器学习实践：Spark MLlib库介绍与使用1、实验描述MLlib （ Machine Learning Library ）是 Spark 的一个机器学习库。它能够较容易地解决一些实际的大规模机器学习问题。本实验旨在学习 Spark 的机器学习库—— MLlib 的相关知识，了解 MLlib 与 ML 之间的区别和联系，掌握 MLlib 中的几个基本数据类型实验时长：90分钟主要步骤：学习Ml
spark mllib介绍
spark
机器学习
mllib
scala
转载
数据小探
2023-10-08 20:22:39
221阅读

Spark SQL（一）—— Spark SQL介绍
文章目录1. 什么是 Spark SQL2. 特点3. 为什么要学习Spark SQL4. 核心的概念：表（DataFrame 或 Dataset）1. 什么是 Spark SQLSpark
spark sql
SQL
Hive
数据
原创
程序员X小鹿
2024-04-22 10:58:52
26阅读

spark als介绍 spark als算法
ALS(alternating least squares ):交替最小二乘法1 含义 在现实中用户-物品-评分矩阵是及其大的，用户消费有限，对单个用户来说，消费的物品的非常有限的，产生的评分也是比较少的，这样就造成了用户-物品矩阵有大量的空值。  假定用户的兴趣只受少数因素的影响，所以用户-物品矩阵可以分解为用户的特征向量矩阵和物品的特征向量矩阵（降维了）。用户的特征向量距离表示用户的
spark als介绍
奇异值分解
特征向量
最小二乘
转载
laokugonggao
2023-12-19 21:53:21
172阅读
  • 1
  • 2
  • 3
  • 4
  • 5
精品课程领资料
免费资料>
2025软考
系统架构设计师 系统规划与管理师 软件设计师 系统集成项目管理工程师
信创认证
系统架构师 信创集成项目管理师 信创规划管理师 系统开发工程师
厂商认证
CKA/CKS架构师 红帽认证工程师 Oracle-OCP认证 Oracle-OCM认证
IT技术
数据库高级工程师 AIGC大模型实战 Linux云计算架构师 Python全栈开发
华为认证
数通HCIP认证 云计算HCIE认证 华为存储HCIE认证 HCIP安全认证
相关文章

hadoop spark简单介绍 hadoop、spark

Spark的RDD介绍

Spark--介绍/简介

spark triplets方法介绍

spark shuffle read 介绍

spark ui详细介绍

spark gateway作用 介绍

OpenFire、Spark、Smack介绍

spark介绍的论文

spark MR过程介绍

Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 全部文章 热门标签 班级博客
了解我们 网站地图 意见反馈
友情链接
鸿蒙开发者社区 51CTO学堂
51CTO 软考资讯