spark启动代码阅读：spark使用一系列的shell脚本作为入口：其中bin目录下面是任务提交的脚本；sbin目录是master和worker启停相关的脚本。而所有脚本最后都是通过调用bin/spark-class来实现对java（scala）代码的调用。----------------------spark-class获取java参数分析---------------------------
实际开发过程中遇到了需要实现选择性聚合的场景，即对于某一个key对应的数据，满足条件的记录进行聚合，不满足条件的则不聚合。使用spark处理这种计算场景时，想到了使用combineByKey算子，先将输入数据中的value映射成含一个元素的ArrayBuffer（scala中相当于java中的ArrayList），然后在聚合时对满足聚合条件的记录聚合后覆盖这一个ArrayBuffer，不满足条件的
看了下es-hadoop插件的源码：发现ES导入数据重试情况的发生，除了在es.batch.write.retry.policy参数默认开启且es-hadoop插件向ES集群发送不bulk写入请求接受到503响应码会重试3次室外。本身执行http请求时，也会存在重试（hadoop/rest/NetworkClient.java）：publicResponseexecute(Requestreque
官方文档http://spark.apache.org源码https://github.com/apache/spark官方博客https://databricks.com/blog
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号
