一、Checkpoint到底是什么？1， Spark在生产环境下经常会面临Tranformations的RDD非常多（例如一个Job中包含1万个RDD）或者具体Tranformation产生的RDD本身计算特别复杂和耗时（例如计算时常超过1个小时），此时我们必须考虑对计算结果数据的持久化；2， Spark是擅长多步骤迭代，同时擅长基于Job的复用，这个时候如果能够对曾经计算的过
一、Broadcast彻底解密 1、Broadcast就是将数据从一个节点发送到其他节点。 2、Broadcast是分布式的共享数据，默认情况下只要程序运行Broadcast变量就会存在，因为Broadcast底层是由BlockManager管理的，但是也可以手动销毁Broadcast变量。 3、Broadcas
一、到底什么是Shuffle？ Shuffle中文翻译为“洗牌”，需要Shuffle的关键性原因是某种具有共同特征的数据需要最终汇聚到一个 计算节点上进行计算。 二、Shuffle可能面临的问题？1， 数据量非常大；2， 数据如何分类，即如何Pa
一、再次思考pipeline 即使采用pipeline的方式，函数f对依赖的RDD中的数据集合的操作也会有两种方式： 1， f(record),f作用于集合的每一条记录，每次只作用于一条记录； 2， f(records),f一次性作
spark 内核
Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号
