首先上版本号：ES 版本：6.5.4一般来说ES 的默认参数已经能够满足大部分场景需求，不需要也不建议我们去调节。但是根据不同的业务场景我们还是可以做一些系统调优，接下来针对常用的参数总结如下:1、_routing 参数作用是将文档路由到不同的分片，默认是根据hash(document’s _id ) 进行路由的，默认情况，如果
转载
2024-03-05 04:03:06
170阅读
文章目录前言一、让分片均匀分布二、修改索引刷新时间及副本数三、修改merge参数以及线程数四、修改事务日志translog参数五、禁用Doc Values六、禁用_source字段总结 前言优化的场景除了集群基础的性能优化之外，还要区分具体的场景，往往一些参数调整会有相应的好处和坏处，而且往往写入和查询的优化是对立的，要结合相应的业务场景提示：以下是本篇文章正文内容，下面案例可供参考一、让分片均
转载
2024-03-02 08:05:45
95阅读
文章目录1、通用优化策略1.1 通用最小化法则1.2 职责单一原则1.3 其他2、写性能调优2.1 基本原则2.2 优化手段2.2.1 增加 flush 时间间隔，2.2.2 增加`refresh_interval`的参数值2.2.3 增加Buffer大小，2.2.4 关闭副本2.2.5 禁用swap2.2.6 使用多个工作线程2.2.7 避免使用稀疏数据2.2.8 `max_result_wi
转载
2024-05-22 23:40:55
166阅读
前言一个系统查询慢往往是由多种因素造成的，在处理集群查询慢的问题上，先将问题分解。1） 需要观察是系统哪种资源受限，例如内存、CPU或磁盘IO等，是否存在硬件瓶颈；2） 要确定查询语句是否符合业务场景，是否存在查询语句优化空间；3） 最后判断数据结构是否合理，不合理的数据设计对查询的响应影响很大。使用更快的硬件查询性能大部分场景下更多的在于IO能力，很多时候查询速度受限于磁盘IO能力，使用SSD会
转载
2024-03-26 10:47:29
55阅读
背景 Elasticsearch（ES）作为NOSQL+搜索引擎的有机结合体，不仅有近实时的查询能力，还具有强大的聚合分析能力。因此在全文检索、日志分析、监控系 统、数据分析等领域ES均有广泛应用。而完整的Elastic Stack体系（Elasticsearch、Logstash、Kibana、Beats），更是提供了数据采集、清洗、存储、 可视化的整套解决方案。 本文从性能和稳定性两方
转载
2024-05-27 15:12:58
431阅读
ES官方调优指南第一部分：调优索引速度第二部分：调优搜索速度第三部分：通用的一些建议 ES发布时带有的默认值，可为es的开箱即用带来很好的体验。全文搜索、高亮、聚合、索引文档 等功能无需用户修改即可使用,当你更清楚的知道你想如何使用es后，你可以作很多的优化以提高你的用例的性能,下面的内容告诉你 你应该/不应该 修改哪些配置第一部分：调优索引速度https://www.elastic.c
转载
2024-03-29 13:42:17
110阅读
背景Elasticsearch（ES）作为NOSQL+搜索引擎的有机结合体，不仅有近实时的查询能力，还具有强大的聚合分析能力。因此在全文检索、日志分析、监控系统、数据分析等领域ES均有广泛应用。而完整的Elastic Stack体系（Elasticsearch、Logstash、Kibana、Beats），更是提供了数据采集、清洗、存储、可视化的整套解决方案。 本文基于ES 5.6.4，
转载
2024-08-19 20:01:00
273阅读
ES Connection timed out，调优方向
1. 使用游标滚动查询
scrollId 游标id searchResponse.getScrollId()
scroll 设置游标的保留时间 new Scroll(TimeValue.timeValueMinutes(30L)) 指这个游标保留30分钟 游标设置为30分钟，用完需要删除游标
re
转载
2019-09-30 14:54:00
222阅读
2评论
1、elasticsearch了解多少，说说你们公司es的集群架构，索引数据大小，分片有多少，以及一些调优手段 。面试官：想了解应聘者之前公司接触的ES使用场景、规模，有没有做过比较大规模的索引设计、规划、调优。解答： 如实结合自己的实践场景回答即可。 比如：ES集群架构13个节点，索引根据通道不同共20+索引，根据日期，每日递增20+，索引：10分片，每日递增1亿+数据， 每个通道每天索引大小控
在JVM启动参数中，可以设置跟内存、垃圾回收相关的一些参数设置，默认情况不做任何设置JVM会工作的很好，但对一些配置很好的Server和具体的应用必须仔细调优才能获得最佳性能。通过设置我们希望达到一些目标： GC的时间足够的小GC的次数足够的少发生Full GC的周期足够的长 前两个目前是相悖的，要想GC时间小必须要一个更小
转载
2023-09-05 22:22:58
107阅读
1. 参数调整 每个机器学习算法包含一系列参数，勇于调整算法来控制模型。一般来说随着算法复杂度的增加，调整参数会越多，更难于理解。下面几个例子为流行的分类算法调参方法：1）逻辑回归：无2）knn：要平均的近邻数目3）决策树：划分标准、树的最大深度、划分需要的最少样本数。4）核函数SVM：核函数类型、核函数系数、惩罚参数。5）随机森林
转载
2024-01-04 07:04:24
72阅读
ES JVM不要设置超过32G内存https://www.elastic.co/guide/en/elasticsearch/guide/current/heap-sizing.html#compressed_oopsES多实例配置-内部通信端口Transporthttps://www.elastic.co/guide/en/elasticsearch/reference/current/modu
原创
2018-10-30 17:48:20
440阅读
ES6、ES7、ES8、ES9、ES10、ES11、ES12、ES13、ES14新特性一览ES全称ECMAScript，ECMAScript是ECMA制定的标准化脚本语言。目前JavaScript使用的ECMAScript版本为[ECMA-417](https://ecma- international.org/publications/standards/Ecma-417.htm)。关于ECMA
一、单机部署 1. 原生部署 A. 下载elasticsearch-7.14.0-linux-x86_64.tar.gz包并解压到指定目录； B. 编辑conf/elasticsearch.yml文件# 单节点
discovery.type: single-node
# 设置存储数据的路径
path.data: /data/elasticsearch/data
# 设置日志文件的路径
一、堆内存参数配置-Xms10g ：JVM启动时申请的初始堆内存值-Xmx20G ：JVM可申请的最大Heap值-Xmn3g ： 新生代大小，一般设置为堆空间的1/3 1/4左右，en/from=eden/t
原创
2022-10-27 11:03:16
274阅读
前言Spark SQL里面有很多的参数，而且这些参数在Spark官网中没有明确的解释，可能是太多了吧，可以通过在spark-sql中使用set -v 命令显示当前spar...
转载
2021-06-10 20:56:41
3767阅读
线上Hadoop集群资源严重不足，可能存在磁盘，CPU，节点的操作，那么在这些硬件资源之后，我们的集群是不能立马就利用上这些资源的，需要修改集群Yarn资源配置，然后使其生效。
背景线上Hadoop集群资源严重不足，可能存在磁盘，CPU，节点的操作，那么在这些硬件资源之后，我们的集群是不能立马就利用上这些资源的，需要修改集群Y
转载
2023-10-18 16:33:16
266阅读
文章目录一、HDFS参数调优hdfs-site.xml二、YARN参数调优yarn-site.xml三、mapreduce的优化方法 一、HDFS参数调优hdfs-site.xml1、调整namenode处理客户端的线程数dfs.namenode.handler.count=20 * log2(Cluster Size)2、编辑日志存储路径dfs.namenode.edits.dir设置与镜像文
转载
2023-09-01 08:18:49
56阅读
hive on spark 性能远比hive on mr 要好，而且提供了一样的功能。用户的sql无需修改就可以直接运行于hive on spark。 udf函数也是全部支持。本文主要是想讲hive on spark 在运行于yarn模式的情况下如何调优。下文举例讲解的yarn节点机器配置，假设有32核，120GB内存。1. yarn配置yarn.nodemanage
转载
2023-07-20 18:49:27
231阅读
调整以下参数，可以大幅度改善Redis集群的稳定性：
为何大压力下要这样调整？ 最重要的原因之一Redis的主从复制，两者复制共享同一线程，虽然是异步复制的，但因为是单线程，所以也十分有限。如果主从间的网络延迟不是在0.05左右，比如达到0.6，甚至1.2等，那么情况是非常糟糕的，因此同一Redis集群一定要部署在同一机房内。 这些参数的具体值，要视具体的压力而定，而且和消息的大小相
转载
2024-05-30 11:35:59
35阅读
