1. Spark是什么?Spark是一个并行数据处理框架。它允许开发快速、统一的大数据应用程序，将批处理、流处理和交互分析结合起来。 2. RDD是什么?Spark的主要核心抽象称为弹性分布式数据集。RDD是满足这些属性的分区数据的集合。不可变、分布式、延迟计算、可捕获是常见的RDD属性。 3. Immutable 是什么?一旦创建并赋值，就不可能更改，这个属性称为
转载
2024-03-03 22:30:13
22阅读
Spark核心概念——RDD RDD（抽象数据集的统称Spark是对RDD的其中一种实现）：Resilient Distributed Datasets，弹性分布式数据集 1.分布在集群中的只读对象集合（由多个Partition构成） 2.可以存储在磁盘或内存中（多种存储级别） 3.通过并行“转换”操作构造 4.失效后自动重构RDD基本操作（operator） 1.Transformat
原创
2022-11-28 15:42:03
95阅读
1. Spark概述1.1. 什么是Spark（官网：http://spark.apache.org） Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。目前，Spark生态系统已经发展成为一个包含多个子项目
转载
2023-08-10 17:06:01
87阅读
本文主要内容来自于《Hadoop权威指南》英文版中的Spark章节，能够说是个人的翻译版本号，涵盖了基本的Spark概念。假设想获得更好地阅读体验，能够訪问这里. 安装Spark 首先从spark官网下载稳定的二进制分发版本号,注意与你安装的Hadoop版本号相匹配： wget http://arc
转载
2018-04-11 12:07:00
292阅读
2评论
目录一、简介历史二、特点速度快易用通用兼容三、Spark组件Spark-Core 和 弹性分布式数据集(RDDs)Spark SQLSpark StreamingMLlibGraphX四、Spark和Hadoop的异同五、Spark开发语言对比 一、简介Spark 是一个快速(基于内存), 通用, 可扩展的集群计算引擎并且 Spark 目前已经成为 Apache 最活跃的开源项目, 有超过 10
转载
2023-11-29 09:03:00
69阅读
Spark笔记整理（二）：RDD与spark核心概念名词
原创
2018-04-25 16:58:35
10000+阅读
原标题：Spark核心技术原理透视一(Spark运行原理)在大数据领域，只有深挖数据科学领域，走在学术前沿，才能在底层算法和模型方面走在前面，从而占据领先地位。Spark的这种学术基因，使得它从一开始就在大数据领域建立了一定优势。无论是性能，还是方案的统一性，对比传统的Hadoop，优势都非常明显。Spark提供的基于RDD的一体化解决方案，将MapReduce、Streaming、SQL、Mac
转载
2023-08-10 17:05:03
38阅读
JavaScript的主要职责：负责用户跟网页之间的所有交互，具体来讲，大致包含以下部分：响应鼠标的点击、悬停等动作并实现相应的功能，比如搜索、登录、注册等实现酷炫的动画效果：网页上一些动画也是有js的参与，而跟鼠标有关联的动画会使用了大量js代码来完成提交数据和获取服务器传过来的数据。比如点击登录按钮后会将用户数据发送至服务器并接受服务器传过来的数据。JS主要由以下三部分组成：核心（ECMASc
转载
2023-06-30 15:50:03
69阅读
一、Spark 是什么spark是一个用来实现快速而通用的集群计算平台。spark各组件：1. Spark core实现了spark的基本功能，包括任务调度，内存管理，错误恢复，与存储系统交互等模块。spark core中还包含了对弹性分布式数据集（resilient distributed dataset，RDD）对API定义。RDD表示分布在多个计算节点上可以并行操作对原属集合，是spark主
转载
2023-09-21 20:49:19
72阅读
使用webpack进行打包就必须要掌握webpack的5个核心的概念 入口(entry) 入口起点(entry point) 指示 webpack 应该使用哪个模块，来作为构建其内部 依赖图(dependency graph) 的开始。进入入口起点后，webpack 会找出有哪些模块和库是入口起点（ ...
转载
2021-10-26 22:27:00
143阅读
2评论
核心类 整体类图如下图所示： 类名 作用 Authentication 身份认证，也就是登录，验证用户是不是拥有相应的身份 Authorization 授权，也就是权限验证，验证某个已认证的用户是否拥有某个权限 Session Manager 会话管理，就是用户登录后就是一次会话，在没有退出之前，它
原创
2020-10-29 15:21:00
150阅读
一、Spark的两种核心Shuffle Shuffle涉及磁盘的读写和网络的IO，因此shuffle性能的高低直接影响整个程序的性能。Spark也有map阶段和reduce阶段，因此也有Shuffle。 1）基于hash的shuffle 在每个Map阶段的task会为每个reduce阶段的task生成一个文件，通常会产生大量的文件（m * r）伴随着大量的随机磁盘IO与大量内存的开销。
转载
2023-08-12 21:20:04
104阅读
K8S的核心功能：1、 服务发现和负载均衡2、 容器排编和调度3、 故障自动处理4、 批量执行job任务5、 水平伸缩，弹性扩展6、 自动发布、应用回滚、持续交付举例说明：（来源于CNCF X 阿里云公开课）1、 调度：Kubernetes 可以把用户提交的容器放到 Kubernetes 管理的集群的某一台节点上去。Kubernetes 的调度器是执行这项能力的组件，它会观察正在被调度的这个容器的大小、规格。比如说它所需要的 CPU以及它所需要的 memory，然后在集群中找一台相对比较
原创
2022-04-14 10:56:16
339阅读
1 近实时近实时，两个意思，从写入数据到数据可以被搜索到有一个小延迟（大概1秒）；基于es执\
原创
2022-11-11 10:16:04
70阅读
洪流学堂，让你快人几步。你好，我是跟着大智学Unity的萌
原创
精选
2023-04-12 15:15:14
319阅读
vuex的核心概念 State State提供唯一的公共数据源， 所有共享的数据都要统放到Store的State中进行存储。 //创建store数据源， 提供唯一公 共数据 const store = new Vuex. Store ({ state:{ count: 0 } }) 组件访问Stat
原创
2022-01-18 11:08:39
103阅读
要使用nn.Module定义神经网络，需要继承nn.Module__init__和forward。除了使用PyTorch提供的损失函数外，还可以根据
原创
2024-05-11 16:01:19
49阅读
