2018Elastic Meetup南京交流会，由华泰证券李文强带来以“华泰证券Elasticsearch应用实践”为题的演讲。本文首先介绍了华泰证券具有系统运维繁琐、日志不能长期保存、日志数据价值没有挖掘、大数据领的一角的特点。接着介绍了它在日志搜索、日志分析和链路管理系统方面的应用实践。最后介绍了华泰证券Elasticsearch在使用中应注意的事项。直播视频回顾以下内容根据现场分享整理而成。
系列文章Loki 系列文章前言实际应用中除了基于 Metrics 告警, 往往还有基于日志的告警需求, 可以作为基于 Metrics 告警之外的一个补充. 典型如基于 NGINX 日志的错误率告警.本文将介绍如何基于 Loki 实现基于日志的告警.本文我们基于以下 2 类实际场景进行实战演练:基于 NGINX 日志的错误率告警基于 Nomad 日志的心跳异常告警(关于 Nomad 的介绍, 可以参
?️URL:<https://grafana.com/docs/grafana/latest/explore/logsintegration/labelsanddetectedfields?Description:Explore中的日志除了指标之外，Explore还允许你在以下数据源中调查你的日志。Elasticsearch(https://grafana.com/docs/grafana/lat
原创
2023-02-03 09:36:46
436阅读
pageHelper插件pagehelper是一个分页插件，其工作原理就是利用mybatis拦截器，在查询数据库的时候拦截下sql，修改sql使其实现分页效果。 在sql执行之前插一手，让其有别的附加功能。1.pagehelper使用条件在parent工程的pom.xml文件中添加了maven依赖 <properties>
<pagehelper.version>3.4.
转载
2024-07-13 07:00:00
45阅读
?️URL:<https://grafana.com/docs/grafana/latest/explore/?Description:ExploreGrafana的仪表盘UI是关于构建可视化的仪表盘。Explore剥离了仪表盘和面板选项，这样你就可以。..Grafana的仪表盘UI是关于构建可视化的仪表盘的。Explore剥离了仪表盘和面板选项，使你可以专注于查询。它可以帮助你迭代，直到你有一个
原创
2023-02-01 09:28:53
279阅读
?️URL:<https://grafana.com/docs/grafana/latest/explore/querymanagement/?Description:Explore中的查询管理为了帮助调试查询，Explore允许你调查查询请求和响应，以及查询统计数据，...Explore中的查询管理为了帮助调试查询，Explore允许你通过查询检查器(QueryInspector)来调查查询请求
原创
2023-02-02 09:38:25
220阅读
?️URL:<https://grafana.com/docs/grafana/latest/explore/exploreinspector/?Description:Explore中的检查器(Inspector).检查器可以帮助你理解你的查询并排除故障。你可以检查原始数据，把这些数据导出到一个csv文件中。检查器帮助你了解你的查询并排除故障。你可以检查原始数据，将这些数据导出到逗号分隔的数值（
原创
2023-02-05 10:59:37
139阅读
一、less（推荐使用） less比more更灵活less app.log 进入日志配合以下命令使用j 下一行k 上一行方向键↑ 上一行方向键↓ 下一行f 向下滚动一屏幕b 向上滚动一屏幕g 定位到文档头部G 定位到文档最尾部/“关键字” 按关键字查找 n查找下一个关键字，N查找上一个关键字 (有高亮)q 退出日志二、tail（常用） ————————————————tail -500f app.
转载
2024-07-06 06:13:13
138阅读
?️URL:<https://grafana.com/docs/grafana/latest/explore/traceintegration/?Description:TracinginExploreExplore允许你将tracing数据源的痕迹可视化。这在Grafanav7.0+中可用。支持的数据源有。Jaeger(https://grafana.com/docs/grafana/lates
原创
2023-02-04 23:34:31
205阅读
Linux中查看日志文件的正确姿势，求你别tail走天下了！发布时间：2020-02-22 00:12,浏览次数：114, 标签：Linuxtail作为一个后端开发工程师，在Linux中查看查看文件内容是基本操作了。尤其是通常要分析日志文件排查问题，那么我们应该如何正确打开日志文件呢？对于笔者这种小菜鸡来说，第一反应就是cat，tail，vi(或vim)了，是的，我曾经用过好多次vim编辑器来查看
转载
2024-08-02 18:58:16
45阅读
文章目录功能设置日志保留存储策略不同用户分配权限截取日志中的数据进行指标统计自定义索引映射自定义分析器使用Nginx代理web界面问题新建的用户，去登录就报错，新用户没法登陆流的配置 功能设置日志保留存储策略选择编辑，策略如下图三种单个索引策略消息记录数 默认2千万消息大小 多少字节消息时间 存储多少时间如果达到预定策略，会新建个索引，如下图 graylog_0满了后，新建graylog_1继续
准备Java$ sudo yum install java-1.8.0-openjdk-headless.x86_64安装MongoDB$ sudo vim /etc/yum.repos.d/mongodb-org-3.2.repo添加如下内容：[mongodb-org-3.2]
name=MongoDB Repository
baseurl=https://repo.mongodb.org/yu
1. 通常查找出错误日志 cat error.log | grep 'nick' , 这时候我们还有个需求就是输出当前这个日志的前后几行：cat error.log | grep -C 5 'nick' 显示file文件里匹配foo字串那行以及上下5行
cat error.log | grep -B 5 'nick' 显示foo及前5行
cat error.log | grep -A
转载
2024-03-16 09:36:39
204阅读
EventLog Analyzer提供了专门的日志搜索功能，你可以搜索原始日志来发现网络异常，如：错误的配置、病毒、非法访问、应用错误等等。点击“搜索”标签。日志搜索栏如下： 选择具体的主机、主机组 把搜索范围限制到具体的主机或主机组。在文本框中输入或者通过“选择主机”链接选择。如果没有指定主机，就会在所有的主机日志中搜索。 选择日志类型 选择具体的搜索日志类型（例如：Windows事件日志、sy
转载
2024-08-12 13:02:19
292阅读
开源实时日志分析 ELK 平台由 ElasticSearch 、 Logstash 和 Kibana 三个开源工具组成。 Elasticsearch 是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制， restful 风格接口，多数据源，自动搜索负载等。 Logstash 是一个完全开源的工具，他可以对你的日志进行收集、分析，并将其存储供以后使用（如，搜索）
转载
2024-09-17 12:57:03
67阅读
filebeat+logstash+influxdb+ Grafana打造网站日志监控系统image采集数据（fliebeat）->过滤数据（logstash）-> 存储数据（InfluxDB) -> 显示数据（Grafana）。资源有限，我把这一套服务搭建在了一台CentOS 7的服务器上。filebeat简述Filebeat是一个日志文件托运工具，在你的服务器上安装客户端后，
转载
2024-09-16 12:36:51
84阅读
标签PostgreSQL , ES , 搜索引擎 , 全文检索 , 日志分析 , 倒排索引 , 优化 , 分区 , 分片 , 审计日志 , 行为日志 , schemaless 背景在很多系统中会记录用户的行为日志，行为日志包括浏览行为、社交行为、操作行为等。典型的应用例如：数据库的SQL审计、企业内部的堡垒机（行为审计）等。前面写了一篇最佳实践，通过PostgreSQL来存储审计日志，同时对审计日
转载
2024-07-15 11:27:27
128阅读
默认情况，慢日志是不开启的。要开启它，需要定义具体动作（query，fetch 还是 index），你期望的事件记录等级（ WARN、INFO、DEBUG、TRACE 等），以及时间阈值。es有几种搜索模式，比如 query_then_fetch , 表示先从各个节点query到id，然后整合，再去各个节点拿具体数据 这是一个索引级别的设置，也就是说可以独立应用给单个
转载
2024-06-06 07:59:39
161阅读
场景： 这几天趁着机考，面试比较少，帮老师把项目的东西做一做（今年找工作太难了，┭┮﹏┭┮）。由于这个项目需要分布式部署多台服务器，多个数据库，后端程序分开部署，日志不好查找。而且每次不能及时的发现错误日志，日志不能进行报警通知等。还有就是之后师弟可能不怎么会看日志，找日志，于是搭建轻量级日志系统。 日志系统可以有很多，ELK，loki等，loki具有轻量级，查找快速，存储压缩等特点，适用于中
转载
2024-03-04 15:06:08
440阅读
?️URL: https://grafana.com/docs/grafana/latest/explore/query-management/?Description:Explore 中的查询管理 为了帮助调试查询，Explore 允许你调查查询请求和响应，以及查询统计数据，...Explore 中的查询管理为了帮助调试查询，Explore 允许你通过查询检查器 (Query Inspector
转载
2024-05-07 11:27:08
87阅读
