巧克力黒的博客_Spark

【问题】记录spark查询ES，数据重复的问题

记录一次问题排查过程和结果。问题出现在spark通过极限网关访问ES的场景

spark

sql

elasticsearch

原创 2022-09-29 17:33:32 508 阅读

【总结】解决Container Killed by Yarn For Exceeding Memory

记录解决Container Killed by Yarn For Exceeding Memory的方法和步骤

spark

memory

yarn

原创 2021-04-19 20:21:24 10000+阅读

【问题】Spark Streaming批次处理耗时问题排查

Spark Streaming处理流程中，遇到某些批次耗时长的问题，排查思路

spark streaming

批次延迟

原创 2020-11-12 15:11:43 3310 阅读 1收藏 3评论

【总结】Spark任务的core，executor，memory资源配置方法

Spark应该怎么配置资源，如何通过资源和数据量的角度，评估spark application中executors，cores，memory的配置

spark

配置

资源分配

置顶翻译 2019-03-18 22:17:02 10000+阅读 1收藏

【Spark】Spark什么时候进行Shuffle数据抓取

一本书中遇到两个矛盾的说法。说的是一个事情么

spark

shuffle

mapper

reducer

原创 2019-01-09 19:53:19 1634 阅读

【SQL】spark sql 不等值 join

一个简单例子，说明spark中不等值连接的应用。同时用实际证明spark中支持不等值连接

spark

不等值连接

non

equi

原创 2018-09-06 10:39:27 10000+阅读

【总结】Spark优化(1)-多Job并发执行

简单介绍利用Executors实现Spark应用中两个不相关Job的并行执行

优化

thread

spark

原创 2017-08-30 16:29:05 10000+阅读

【总结】spark按文本格式和Lzo格式处理Lzo压缩文件的比较

spark按文本格式和Lzo格式处理Lzo压缩文件的比较

spark LzoTextInputFo

原创 2017-08-08 19:09:28 9468 阅读 1点赞

【问题】无效的源发行版1.8

无效的源发行版1.8

无效的源发行版

原创 2017-08-08 19:01:28 3400 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

巧克力黑

【问题】记录spark查询ES，数据重复的问题

【总结】解决Container Killed by Yarn For Exceeding Memory

【问题】Spark Streaming批次处理耗时问题排查

【总结】Spark任务的core，executor，memory资源配置方法

【Spark】Spark什么时候进行Shuffle数据抓取

【SQL】spark sql 不等值 join

【总结】Spark优化(1)-多Job并发执行

【总结】spark按文本格式和Lzo格式处理Lzo压缩文件的比较

【问题】无效的源发行版1.8