“检索”是很多产品中无法绕开的一个功能模块，当数据量小的时候可以使用模糊查询等操作凑合一下，但是当面临海量数据和高并发的时候，业界常用 elasticsearch 和 lucene 等方案，但是elasticsearch对运行时内存有着最低限额，其运行时大小推荐 2G 以上的内存空间，并且需要额外的磁盘空间做持久化存储。其实mongoDB 内置的正则匹配搜索文本以及自带的 text 索引和 sea
转载
2023-08-11 19:57:19
634阅读
1、安装...
原创
2022-10-27 10:57:40
63阅读
MySQL是一种关系型数据库管理系统，它被广泛用于存储结构化数据。拥有极高的可靠性和安全性，支持ACID事务，并具有良好的扩展性，可以适应高并发访问的场景。
Redis是一种内存数据库管理系统，它支持存储多种类型的数据结构，如字符串、哈希、列表、集合和有序集合等等。Redis的优势在于其快速读写速度、高并发处理能力和极低的延迟，适合用于缓存、消息队列、实时计数器、会话管理等应用场景。Red
原创
2023-03-30 14:17:36
580阅读
点赞
拓扑图：根据拓扑图精简一下这个实验：一台web server + logstash (真正生产可能是若干台) ===>192.168.1.13一台redis(生产下一般会是主备，消息队列的作用) ===>192.168.1.12一台logstash server (整合数据流的作用
原创
2018-05-16 20:05:21
2785阅读
点赞
前言{{>toc}}以前的笔记，重新整理了一下，都在这里了。操作系统是Centos7安装elasticsearchrpm-ivhjdk-8u171-linux-x64.rpmcd/mnt/data/sourcewgethttps://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.5.2.tar.gztarzxm
原创
2018-10-18 10:40:18
1606阅读
点赞
Redis是目前流行的高性能key-value数据库，但如果使用不当，很容易出现慢查询。慢查询过多或者一个时间较长（例如20s）的慢查询会导致操作队列（Redis是单进程）堵塞，可能会导致服务不可用。因此您需要实时收集并分析Redis slowlog，在出现问题时快速定位解决。本文介绍如何通过Elasticsearch和rsbeat实时分析Redis slowlog。背景信息通过Elasticse
转载
2023-11-09 22:20:37
66阅读
系统各部分应用介绍:Kibana：开源web展现Elasticsearch：开源的搜索引擎框架logstash部分，可进行多数据集群，提高效率，从redis中读取数据，并转发到Kibana Logstash：系统log收集，转载的工具，同时集成各类日志插件，对日志查询和分析的效率显著提高 Logstash shipper：收集log 并将log转发给redis 存储 Logstash indexe
原创
2013-08-03 14:21:15
2405阅读
点赞
原创 lightcity 光城 2020-01-30redis导入导出+elasticsearch集群搭建1.redis导入与导出1.1 安装 rubysudo apt-get install ruby ruby-dev1.2 安装redis-dump工具gem sources --add https://gems.ruby-china.com/ --remove https://rubygems
转载
2021-03-16 12:52:06
409阅读
redis导入导出+elasticsearch集群搭建1.redis导入与导出1.1 安装 rubysudo apt-get install ruby ruby-dev1.2 安装re...
原创
2021-08-03 10:04:28
500阅读
1、创建目录mkdir /usr/local/skywalking建议将虚拟机内存设置为3G并将CPU设置为2核，防止资源不足。2、将资源目录中的elasticsearch和skywalking安装包上传到虚拟机/usr/local/skywalking目录下。elasticsearch-6.4.0.tar.gz的安装包，skywalking对es版本号有一定的要求，最好使用6.3.2以上版本，如
转载
2023-12-14 21:16:24
154阅读
目录elasticsearch 简单介绍和操作集群节点master节点data节点客户端节点部落节点集群的配置属性集群恢复设置属性设置不要对集群做以下操作集群的分片和副本重新创建一个索引集群状态的三种颜色分片和副本介绍故障转移对于文档的操作分布式文档文档的写操作搜索文档全文搜索elasticsearch 简单介绍和操作集群节点Elstaicsearch的集群是由多个节点组成都，通过cluster.
转载
2024-01-04 14:28:08
41阅读
背景 公司有一个业务场景，数据库的修改需要同步到Elasticsearch里，但是该场景的修改频率有点高，经常会出现一条记录短时间内多次的变化，如果每次变化都作为一次ES同步任务，那ES肯定是受不住的。 思路 通过估算请求规模，主要有如下2方面的解决思路： 高频变化去重：因为同一条记录短时间内多次变
转载
2019-05-05 15:09:00
367阅读
2评论
SparkSQL(Spark用于处理结构化数据的模块)通过SparkSQL导入的数据可以来自MySQL数据库、Json数据、Csv数据等，通过load这些数据可以对其做一系列计算下面通过程序代码来详细查看SparkSQL导入数据并写入到ES中：数据集：北京市PM2.5数据Spark版本：2.3.2Python版本：3.5.2mysql-connector-java-8.0.11 下载Elastic
转载
2023-06-26 15:27:46
111阅读
最近做日志分析，发现logstash较符合自己的需求， Logstash：做系统log收集，转载的工具。同时集成各类日志插件,对日志查询和分析的效率有很大的帮助.一般使用shipper作为log收集、indexer作为log转载. Logstash shipper收集log 并将log转发给redis 存储 Logstash inde
原创
2014-05-14 17:27:55
5025阅读
点赞
4评论
Spark 整合ElasticSearch因为做资料搜索用到了ElasticSearch，最近又了解一下 Spark ML，先来演示一个Spark 读取/写入 ElasticSearch 简单示例。(spark 读取ElasticSearch中数据)环境：IDEA2016，JDK8，windows10，安装的 ElasticSearch6.3.2 和 spark-2.3.1-bin-hadoop2
转载
2023-07-08 18:27:44
142阅读
之前在写文章的时候，写的有些粗，很多朋友都有些疑问logstash可以启动为 收集日志的agent或者agent+index。也可以启动为agent+index+sotre引入redis是为了增加一个消息队列logstash可以启动为 收集日志的agent或者agent+index。也可以启动为agent+index+sotre假如去掉filter内容就是收集日志的agent一个配置文件范例：in
原创
2013-08-06 14:38:50
1310阅读
点赞
1评论
前言我之前在ClickHouse vs Doris 读写性能比较 一文中，初步做了一下ClickHouse和Doris的读写性能比较，但由于数据样本比较小，且未发挥出所有硬件资源的性能，因此进行了第二轮压测。本轮压测与上一轮的区别在于:新加入了Elasticsearch搜索引擎ClickHouse和Doris均采用多并发写入，发挥最大性能环境准备（硬件机器配置同上一篇文章）clickho
Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎。Elasticsearch用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。 Elasticsearch 是一个分布式、
转载
2023-08-08 13:54:31
178阅读
一、springBoot集成Es1、引入jar包依赖<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-data-elasticsearch</artifactId>
</depend
转载
2023-10-13 22:40:28
58阅读
了解es以及知道它的原理倒排索引
原创
精选
2023-07-16 08:30:07
386阅读
