前言用户搜索组件和日志管理平台是个推推送服务的重要组成部分。ElasticSearch（简称ES）作为一个开源的分布式搜索引擎，能较好地满足上述要求。个推在ES的使用上经过了多年迭代，积累了丰富的经验，特别是在数据量不断增大时，如何管理集群、维护集群稳定、优化集群性能，我们进行了许多实践。 本文将从三部分讲述个推ElasticSearch架构的演变过程：大集群的挑战、GProxy如何支持
##禁用_source字段，可以节省磁盘空间，但会失去下方优势。当明确知道不需要_source时可以禁掉。PUT /my_index
{
"mappings": {
"my_type": {
"_source": {
"enabled": false
}
}
}
}
##禁用_all字段，节省磁盘空间，一般
装饰器装饰器(Decorator)是ES7的一个语法，是一种与类相关的语法，用来注释或修改类和类的方法。装饰器是一种函数，写成 @ + 函数名。它可以放在类和类方法的定义前面@frozen class Foo {
@configurable(false)
@enumerable(true)
method() {}
@throttle(500)
expens
转载
2024-07-03 03:22:10
28阅读
解决 FAILED: UDFArgumentException explode() takes an array or a map as a parameter 并理解炸裂函数和侧视图 一、解决 FAILED: UDFArgumentException explode() takes an array or a map as a parameter1、背景项目中数据处理后，进行查询得到的所有结果如
（九）elasticsearch常见问题总结 文章目录（九）elasticsearch常见问题总结1：问题汇总1.1：分片未分配:unassigned_shards1：unassigned原因2：ALLOCATION_FAILED 分片分配失败解决3：CLUSTER_RECOVERED集群重启恢复而未分配4：DANGLING_INDEX_IMPORTED悬空索引分配失败5：INDEX_CREATE
转载
2024-03-19 10:19:42
835阅读
在面试中我们会经常被问到full Gc相关的问题，比如什么情况下会发生full gc,如何去排查频繁发生full Gc的问题等。要想轻松自如的回答这些问题，我们就必须充分的去理解gc的触发条件，gc回收的内容，以及gc具体的执行过程。掌握了这3个要点，full gc相关的问题就易如反掌了。一、gc的定义GC，即就是Java垃圾回收机制。目前主流的JVM（HotSpot）采用的是分代收集算法。与C+
转载
2023-07-04 22:07:38
195阅读
性能的定义: 吞吐量，延迟，内存占用 比较抽象吞吐量：不考虑GC的性能消耗，在垃圾收集器支撑应用达到最高性能的指标延迟：缩短GC收集时间，减少因其产生的停顿内存占用：垃圾收集器流畅执行，不产生OOM异常 JVM的性能调优实际上就是对内存结构中的堆内存进行调优，重点是对GC的调优。而堆内存的结构可分为：新生区,幸存区，老年区。那么JVM的GC优化的目标是：1.减少对象进入老年代2.减少FU
转载
2024-02-04 00:32:27
10阅读
一：集群
Node节点组合：主节点
+
数据节点（
master+data） 默认 。 node.master: true (为true只是代表有成为master的资格，如果集群中多个节点为true，需要竞选master)
node.data: true （如果请求量和数据量较大，master节点最好不要存储数据） 数据节点（
data
注意：在Elasticsearch6.0.0或者或者更新版本中创建的索引只会包含一个映射类型（mappingtype）。在5.x中创建的具有多个映射类型的索引在Elasticsearch6.x中依然会正常工作。在Elasticsearch7.0.0中，映射类型将会被完全移除。什么是映射类型？从Elasticsearch的第一个发行版开始，每一个文档都会被存储在一个单独的索引中，并且配以
JVM的GC关于对象Age问题以及JVM的内存分配策略Eden中比较频繁的GC，每次GC都会导致内存分布的变化。对象的计数器：对象的Age是标记的关键。年青代的GC又叫minor GC。对象GC年龄阈值默认是15。每次GC后，还存在，对象Age加1。实际运行的时候，Survive区域中，对象不一定要达到阀值就进入Old Generation。有这样一种情况，就是Survive中有这样一组对象，其A
转载
2023-10-14 07:46:10
192阅读
JDK8用metaSpace区域来代替了以前的永久区，这个区域主要存放被加载的class信息，我手上一个项目每次启动时候都会伴随一次fullgc，排查思路是：一、查看内存使用率命令：jstat -gcutil PID ，这里的PID是Java进程ID可以看到老年代使用率只有1.96%，但是MetaSpace区域使用率是96.13%，初步怀疑是metaSpace区域设置太小。 二、查看gc
转载
2023-08-18 20:05:40
127阅读
老年代GC：FullGC 是老年代的GC，在新生代如果说存在的对象或者说新创建 出来的对象由于某些原因需要移动到老年代中，但是老年代中压根就没有这么大的内存空间去容纳这个对象， 那么就会引发一次FullGC，如果在执行完FullGC之后，还是没有办法给这些对象分配内存，那么凉了，该抛出异常了，异常类型就是OutOfMemoryError。FullGC危害：在发生FULL GC的时候，意味着JVM会
转载
2023-11-09 14:03:40
125阅读
fullgc过于频繁有可能会造成oom，有可能不会。首先明确一下，这篇文章的重点是分析后面一种情况，即应用在频繁的fullgc，但并没有出现oom。我们来想一下为什么会出现fullgc，触发原因有很多种，但归根到底都是因为内存空间不足了（system.gc的情况不考虑）。系统在频繁的fullgc，但并没有出现oom，说明每次回收的时候，肯定清理了部分内存空间。那这里就有2种情况，gc之后清理的
转载
2023-10-24 08:23:05
90阅读
目录一、GC有两种类型：Scavenge GC 和Full GC二、JVM给了三种选择：三、常见配置汇总四、JVM调优工具Jconsole，jProfile，VisualVM五、内存泄漏检查六、调优总结 一、GC有两种类型：Scavenge GC 和Full GC1、Scavenge GC一般情况下，当新对象生成，并且在Eden申请空间失败时，就会触发Scavenge GC，堆的Eden
转载
2023-10-12 20:30:58
86阅读
集群结构 1、分片：当我们的文档量很大时，由于内存和硬盘的限制，同时也为了提高ES的处理能力、容错能力及高可用能力，我们将索引分成若干分片，每个分片可以放在不同的服务器（当然也可以放到一个服务器中，可以提高效率，但是不能减少内存和硬盘空间），这样就实现了多个服务器共同对外提供索
转载
2024-03-25 22:57:26
61阅读
原因记录这篇博客原因有二： 1. 由于工作中需要使用kibana，并且有一些特殊需求需要用到百度的图标库echarts，所以就研究了下如何开发kibana的插件； 2. ElasticSearch官网上的文档以及推荐的博客等等都是较老的版本，考虑到公司内部已经开始使用5.4的版本并且在学习过程中发现版本的差异还是会有不小的影响，因此记录在此以备后用。版本上面说过kibana的插件开发，因为版本
转载
2024-08-25 16:28:13
144阅读
【语法】adduser[必要参数][选择性参数]用户名
【功能说明】adduser指令根据指令行参数给系统添加用户，它的配置信息保存在/etc/adduser.conf文件中。如果调用时没有指定“--system”或“--group”参数，adduser指令在默认的情况下将添加一个一般用户。如果要添加一个系统用户请用“--sym
转载
2024-10-12 17:07:11
68阅读
Elastic优化点优化点分片策略
分片分配行为
segement
路由优化
避免内存交换(内存交换空间一定要关闭)
副本
控制索引合并
tranlog
内存分配大小
http://www.tuicool.com/articles/7fueUbb分片上面讲到的每个分片最好不超过30GB的原则依然使用一个好的方案是根据你的节点数量按照1.5~3倍的原则来创建分片如果你有3个节点, 则推荐你创建的分片
日志分析系统ELK（上）之elasticsearch1、什么是elasticsearch？2、单节点elasticsearch安装3、搭建elasticsearch集群4、elasticsearch可视化方法1——cerebro插件5、elasticsearch可视化方法2——elasticsearch-head插件6、elasticsearch节点角色 ELK是elasticsearch、l
1.有向面积（1）三角形的有向面积如下图所示，我们根据2d的向量叉乘就能求出来一个有向面积。(2)多边形的有向面积 1.选取任意一点，这点与所有的线段构成的三角形面积之和就是多边形的面积 如上图所示，我们我们选取一个点E作为参考点（选取原点作为参考点是可以直接获取两个向量，减少运算量），然后使用循环遍历每条边求出每个三角形的有
