ELK简介什么是ELKELK是一整套解决方案,是三个软件产品的首字母缩写,很多公司都在使用,如:Sina、携程、华为、美团等ELK分别代表Elasticsearch:负责日志检索和储存Logstash:负责日志的收集和分析、处理Kibana:负责日志的可视化这三款软件都是开源软件,通常是配合使用,而且又先后归于Elastic.co公司名下,故被简称为ELKELK能做什么ELK组件在海量日志系统的运
转载
2024-08-06 11:06:55
30阅读
前言:项目中使用 Elasticsearch (以下简称 ES)获取数据,在用 Date Histogram 做聚合查询涉及到时区问题.特此记录一下.ES中对时间类型字段，是统一采用 UTC 时间记录整个地球分为二十四时区，每个时区都有自己的本地时间。在国际无线电通信场合，为了统一起见，使用一个统一的时间，称为通用协调时(UTC,Universal Time Coordinated)。 UTC与
转载
2024-04-26 08:38:06
729阅读
公司新上的项目要做日志检索 机器不太够 弄了一台给各个项目组用，为了各个项目组分开查看各自的日志，就重新装了一下，之前用的es2.4，刚好elastic5出来也有一段时间了，就想着搞一下 注：用的elastic 5.1.1 1.安装elk请自行百度，或者看我之前写的一篇简单的文章 2.安装searchguard 5.0以后不需要安装search-guard-ssl plugin searchgu
转载
2024-07-05 04:18:13
56阅读
1. 配置好日志输出格式<?xml version="1.0" encoding="UTF-8"?>
<configuration debug="true" scan="true">
<!--读取yml指定的日志输出级别-->
<springProperty scope="context" name="LOG_LEVEL" source=
ES时区问题elasticsearch原生支持date类型，json格式通过字符来表示date类型。 所以在用json提交日期至elasticsearch的时候，es会隐式转换，把es认为是date类型的字符串直接转为date类型。date类型是包含时区信息的，如果我们没有在json代表日期的字符串中显式指定时区，对es来说没什么问题， 但是如果通过kibana显示es里的数据
转载
2024-02-22 22:27:03
170阅读
一、版本信息ElasticSearch版本：elasticsearch-5.4.2.rpmKibana版本：kibana-5.4.2-linux-x86_64.tar.gzlogstash版本：logstash-2.3.4.tar.gz（为了适配kafka0.8.2.2版本）二、时区简介 地球总是自西向东自转，东边总比西边先看到太阳，东边的时间也总比西边的早。东边时刻与西边时刻的差值不仅要以时计，
转载
2024-06-25 19:22:10
54阅读
最近工作中遇到一个Logstash中建ES索引的时区问题，对数据统计造成了一定的影响。logstash.conf文件（简化了业务代码）：input{
...
}
filter{
date {
match => ["access_time", "yyyy/MM/dd HH:mm:ss Z"]
target => "@timestamp"
}
}
output
转载
2024-06-21 14:35:50
66阅读
问题描述因公司目前业务量不大，故把elk部在了虚机上，给予的硬盘空间少的离谱，需一天清一次开测环境的日志，当写完脚本定时执行发现每天的定时任务日志是正常的但是第二天发现索引还在！起初以为是脚本或定时任务的问题，最后发现是索引的生成时间有问题，索引默认的生成时间是凌晨八点；而脚本的定时任务是凌晨四点，肯定是生效了，但是由于还有数据写入就又会生成这个索引；原因分析：因为logstash默认使用的UTC
转载
2024-04-01 11:10:08
750阅读
之前介绍filter date插件时就谈到时区问题，但是没有说明白。最近在使用range查询时间范围内的数据时出现了数据量不一致的情况。特地了解了下ELK Stack中关于时区的问题。问题:使用kibana discovery界面搜索时，数据量一致。使用curl 搜索时少了数据。再说时间问题前，简单了解下UTC:UTC(Universal Time Coordinated) 叫做世界统一时间，中国
转载
2024-05-08 22:44:17
178阅读
在用代码分析之前，我们对内存（堆）的分配策略明确以下三点：对象优先在Eden分配。大对象直接进入老年代。长期存活的对象将进入老年代。一般情况下接受过15次Minor GC后晋升老年代survivor 的“to”区满了之后（并非survivor2片都满，survivor永远有1个-from区是空的），对象进到old区 对垃圾回收策略说明以下两点： 新生代GC（Minor GC）：发生在新
转载
2018-05-06 22:00:00
128阅读
2评论
1、GC 日志输出 JVM 的参数配置其实变化也很大。就拿 GC 日志这一块来说，Java 9 几乎是推翻重来。 这个时候，再去看 jstat 已经来不及了，我们需要保留现场。 那在实践中，要怎么用呢？请看下面命令行。 Java 8 -verbose:gc -XX:+PrintGCDetails - ...
转载
2021-08-18 17:14:00
742阅读
2评论
1. 参数总结：-XX:+PrintGC 输出GC日志-verbose:gc 同PrintGC,输出GC日志-XX:+PrintGCDetails 输出GC的详细日志-XX:+PrintGCTimeStamps 输出GC的时间戳（以基准时间的形式）-XX:+PrintGCDateStamps 输出GC的时间戳（以日期的形式，如 2013-05-04T21:53:59.234+0800）-XX:+P
原创
2019-05-29 14:22:02
572阅读
一、GC日志相关参数-XX:+PrintGC 简单模式示例：第一行的意思就是GC将已使用的堆空间从246656K减少到243120K，当前的堆容量（译者注：GC发生时）是376320K，GC持续的时间是0.0929090秒。-XX:PrintGCDetails 详细模式，日志格式和使用算法相关示例：这是一次在young generation中的GC，它将已使用的堆空间从246648K减少到了243
转载
精选
2015-01-09 12:26:45
633阅读
说到 Java 虚拟机，不得不提的就是 Java 虚拟机的 GC(Garbage Collection)日志。而对于 GC 日志，我们不仅要学会看懂，而且要学会如何设置对应的 GC 日志参数。今天就让我们来学习一下 Java 虚拟机中所有与 GC 日志有关的参数。相信掌握了这些参数之后，对于大家线上打印 GC 日志是有不少帮助的。为了能够更直观地显示出每个参数的作用，我们将以下面的 Demo 为例
转载
2023-07-18 22:17:46
7阅读
【Description】：
目前对于有些地区，很多国家会使用一个时区，显示的名称也是一样，比如对于欧洲，很多城市使用“欧洲中部时间”“中欧夏令时”，非洲国家也是类似的。对于有些客户，可能有定制显示需求，对于某些时区，不显示“xx中部时间”，而是显示“xx时间”，比如下面会以荷兰阿姆斯特丹为例，目前在手机Setting中选择“Amsterdam,Ber
转载
2024-08-07 14:02:17
270阅读
目录背景GC日志参数常用参数其他参数GC日志格式日志分类Minor GCFull GCMinor GC日志解析Full GC日志解析GC日志分析工具GCEasy其他结语背景这是JVM学习笔记的最后一篇文章，分析一下GC日志，在JVM学习笔记之堆也分析了一次日志，但这次更加详细，不过如果对JVM堆的结构(年轻代、伊甸园区、老年代、元空间等)不熟悉的话，还是建议
转载
2023-09-20 10:35:10
206阅读
Java打开GC日志
环境： JDK1.8
打开GC日志：-verbose:gc这个只会显示总的GC堆的变化， 如下：[GC (Allocation Failure) 80832K->19298K(227840K), 0.0084018 secs]
[GC (Metadata GC Threshold) 109499K->21465K(228352K),
转载
2023-06-14 19:53:51
325阅读
JVM的GC日志的主要参数包括如下几个：-XX:+PrintGC 输出GC日志-XX:+PrintGCDetails 输出GC的详细日志-XX:+PrintGCTimeStamps 输出GC的时间戳（以基准时间的形式）-XX:+PrintGCDateStamps 输出GC的时间戳（以日期的形式，如 2013-05-04T21:53:59.234+0800）-XX:+PrintHeapAt
转载
2023-07-12 15:23:56
135阅读
elasticsearch作为一个开源的检索引擎产品，继续分析其关键概念、原理和应用场景。一、简介ELK 技术栈，包括Elasticsearch、Kibana和Logstash，能够安全可靠的获取任何来源、任何格式的数据，然后实时地对数据进行搜索、分析和可视化。1、Elasticsearch一个开源的、分布式、实时分析搜索引擎，建立在全文搜索引擎库 Apache Lucene 基础上，同时隐藏了
转载
2024-09-11 19:56:02
49阅读
发生背景最近上线的一个项目几乎全是查询业务，并且都是大表的慢查询，sql优化是做了一轮又一轮，前几天用户反馈页面加载过慢还时不时的会timeout，但是我们把对应的sql都优化一遍过后，前台响应还是很慢，数据库测试sql运行时间在3s以内但响应的时候要么500要么就超时了，这时猜测可能是服务器出了问题，于是让运维监测了下GC情况，结果令人吃惊，近15小时发生了237次FGC,每次耗时近4000秒；
