Elaticsearch,简称为es, es是一个开源的高扩展的分布式全文检索引擎,它可以近乎实时的存储、检索数据;本身扩展性很好,可以扩展到上百台服务器,处理PB级别的数据。es也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能,但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性,从而让全文搜索变得简单。
官网:https://www.elastic.co/cn/
搜索引擎类数据库中排行第一位。
https://db-engines.com/en/ranking/search+engine
Elastic Stack 四大金刚
Elasticsearch
基于Json的分布式搜索和分析引擎,是Elastic Stack的核心。
- 搜索、聚合分析、大数据存储
- 分布式、高性能、高可用、可伸缩、易维护
- 支持文本搜索、结构化数据、非结构化数据、地理位置搜索等
Logstash
动态数据收集管道,生态丰富
Kibana
提供数据的可视化界面,是Elastic Stack的窗口。
- 可视化
图表:柱状图、线状图、饼图、旭日图等
位置分析:位置搜索、形状搜索、地图检测等
时序分析:可以方便的从各种不同时间维度查看 - 管理和监控
机器学习:非监督型异常和隐患检测
安全监控:堆栈检测、异常报警、策略可配置、柱状图、线状图、饼图、旭日图等
Beats
轻量级的数据采集器。
- 开源: Beats 是一个免费且开放的平台,集合了多种单一用途数据采集器。它们从成百上千或成千上万台机器和系统向 Logstash 或Elasticsearch 发送数据。
- 轻量级: Beats使用go语言开发,对服务器资源占用极低。Beats可以采集符合 Elastic Common Schema (ECS) 要求的数据,可以将数据转发至 Logstash 进行转换和解析。
- 即插即用: Filebeat 和 Metricbeat 中包含的一些模块能够简化从关键数据源(例如云平台、突哭和系统,以及网终技术) 采集、解析和可视化信息的过程。只需运行一行命令,即可开始探索。
- 可扩展: 由于Beats开源的特性,如果现有Beats不能满足开发需要,我们可以自行构建,并且完善Beats社区