1.Spark是微批处理,Flink基于一个个事件流式处理 2.Spark是没有状态的, Flink基于状态编程,3.Spark是通过微批数据模拟流数据处理,秒级数据延迟;Flink 可以用流数据模拟批数据更好扩展4.时间机制:Spark Streaming 支持的时间机制有限,只支持处理时间。使用processing time模拟event time必然会有误差, 如果产生数据堆积的话
转载连接:https://cloud.tencent.com/developer/article/1337394一、前述Spark可以和Yarn整合,将Application提交到Yarn上运行,和StandAlone提交模式一样,Yarn也有两种提交任务的方式。二、具体 1、yarn-client提交任务方式配置 在client节点配
持续更新大数据中的SQL题总结
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号