curl-XDELETEhttp://localhost:9200/indexname/typename/_query?pretty-d'{"query":{"filtered":{"filter":{"bool":{"must":{"range":{"logt
重启集群前，先设置集群停止分片移动：curl-XPUThttp://localhost:9200/_cluster/settings-d'{"transient":{"cluster.routing.allocation.enable":"none"}}'重启之后，恢复分片自动分配：curl-XPUThttp://loca
spark启动代码阅读：spark使用一系列的shell脚本作为入口：其中bin目录下面是任务提交的脚本；sbin目录是master和worker启停相关的脚本。而所有脚本最后都是通过调用bin/spark-class来实现对java（scala）代码的调用。----------------------spark-class获取java参数分析---------------------------
实际开发过程中遇到了需要实现选择性聚合的场景，即对于某一个key对应的数据，满足条件的记录进行聚合，不满足条件的则不聚合。使用spark处理这种计算场景时，想到了使用combineByKey算子，先将输入数据中的value映射成含一个元素的ArrayBuffer（scala中相当于java中的ArrayList），然后在聚合时对满足聚合条件的记录聚合后覆盖这一个ArrayBuffer，不满足条件的
看了下es-hadoop插件的源码：发现ES导入数据重试情况的发生，除了在es.batch.write.retry.policy参数默认开启且es-hadoop插件向ES集群发送不bulk写入请求接受到503响应码会重试3次室外。本身执行http请求时，也会存在重试（hadoop/rest/NetworkClient.java）：publicResponseexecute(Requestreque
官方文档http://spark.apache.org源码https://github.com/apache/spark官方博客https://databricks.com/blog
工作中遇到上百台机器向一个集群环境（大约10台机器）上传文件的场景，想到了使用LVS来做ftp服务器的负载均衡。但是NAT模式下请求、响应报文都要经过DirectorServer，在高负载的场景下DirectorServer的就会成为瓶颈。而虽然DR模式和TUN模式下响应报文是不经过DirectorServer的，但是对应大数据量的文件上传任务来说主要，瓶颈主要在于请求报文带来的大流量，怎么能将请
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号
