spark和hadoop的关系

  • 本文是参考了厦门大学林子雨的spark（python版）所整理成的笔记，仅供大家参考复习等个人用途，内容勿喷尽量详尽

1.Spark 和Hadoop 的根本差异是多个作业之间的数据通信问题 : Spark 多个作业之间数据通信是基于内存，而 Hadoop 是基于磁盘，MapReduce的磁盘读写量特别高。例map函数和reduce函数，这两个过程需要等待完成

2.

pyspark 使用cdh pyspark document_数据

spark作为计算框架在机器学习上完全优于MapReduce的速度和效率



Flink和Beam

Flink和spark的区别

spark

Flink

编程接口

java，python，R语言

计算模型

基于数据片集合的微批处理模型

基于操作符的连续流模型

优缺点

流处理延迟只能达到秒级别

毫秒级别

Hadoop Beam是google提出的一套编程接口

Spark概述

spark是一整个计算框架，hadoop是一个系统，spark使用yarn来整合不同组件的资源调度

pyspark 使用cdh pyspark document_apache spark_02

Spark的基本运行流程

pyspark 使用cdh pyspark document_pyspark 使用cdh_03

sparkcontext是总流程管理在主控节点上生成来控制所有的进，先向资源管理器申请资源，然后根据程序所运行的逻辑（RDD的依赖关系）来构建DAG（有向无环图），然后DAG图分解成STAge来运行，最后交给task 来执行，work node来申请，然后在task shceduler同意任务申请，在任务分配时遵循：

计算向数据靠拢，分配任务时向数据所在的计算节点发送，来减少数据开销

RDD的具体运行原理

  • mapreduce不适合迭代操作，
  • RDD是只读的分区集合，RDD可以很大采用分布式储存
  • RDD在发生转换时可以进行修改

RDD操作类型

  • Action（动作类型操作）：
  • Transformation（转换类型操作）：

以上均为粗类型操作，即对整个数据进行操作

惰性调用机制：转换类型操作只记录操作轨迹，并不会真正进行操作，当遇到动作类型操作时才会对数据真正进行操

管道机制：中间结果并不存入磁盘，而是输入到内存里

容错：保存RDD图，出错直接从新开始

RDD运行原理

shuffle操作：

窄依赖：一个或多个父RDD对应一个子RDD

宽依赖：一个父RDD对应多个子RDD

  • 可以归结为是否发生shuffle操作

fork/join优化：

  • 窄依赖可以进行流水线优化
  • 宽依赖无法进行流水线优化

只要发生Shuffle就一定会读写磁盘