有接触过大数据BI框架的同学应该都有类似的需求：项目需要对接不同类型的数据源（如：MYSQL、ES、HIVE等），并提供一个数据视图（View）用于用户编写 SQL，并将SQL执行结果转为对应报表项。类似如下：需要实现对不同数据源都能使用基础的SQL进行操作的功能，以此来减少用户的使用和学习成本。但是我们都知道，ES操作数据库都是使用其自己的DSL语句，而不是标准的SQL语句。因此就需要找一种解决
转载
2024-04-03 08:40:11
108阅读
ELK 性能(1) — Logstash 性能及其替代方案介绍当谈及集中日志到 Elasticsearch 时，首先想到的日志传输（log shipper）就是 Logstash。开发者听说过它，但是不太清楚它具体是干什么事情的：当深入这个话题时，我们才明白集中存储日志通常隐含着很多的事情，Logstash 也不是唯一的日志传输工具（log shipper）从数据源获取数据：文件、UNIX soc
转载
2024-09-14 10:04:25
129阅读
# 替代 MongoDB 的 ES 引擎
## 简介
随着数据规模的不断增长，传统的数据库技术逐渐显露出性能瓶颈。在这样的背景下，越来越多的企业开始转向 NoSQL 数据库，其中 MongoDB 是一种常见的选择。然而，MongoDB 在高并发、大规模数据处理等场景下仍存在一些限制。为了解决这些问题，Elasticsearch（简称 ES）成为了一个备受关注的替代方案，其强大的搜索和分析功能使
原创
2024-06-06 03:51:10
73阅读
如何使用 Elasticsearch 实现通配符替代
# 介绍
在 Elasticsearch 中，可以使用通配符来进行模糊搜索。通配符是一种特殊的字符，可以在搜索中代表零个或多个字符。使用通配符可以更灵活地匹配搜索条件，从而提高搜索的准确性和效率。
在本文中，我将向你展示如何使用 Elasticsearch 中的通配符替代来实现模糊搜索。我将分步骤指导你完成这个过程，并提供相关的代码示例和解
原创
2024-01-09 20:01:57
137阅读
DDElasticSearch（ES）作为一款优秀的分布式搜索分析引擎，越来越受到许多互联网公司的关注，像小米、滴滴出行、携程旅游、阿里云和腾讯云等都在使用 ElasticSearch 。最知名的应用公司就是 GitHub，它采用 ES 作为搜索引擎对代码进行搜索。虽然它是一款优秀的分布式搜索引擎，但是它强大的查询、分析、聚合能力使得它与数据库的边界越来越模糊。因此很多大公司都喜欢用 ES 作为数
简介近期，笔者在github上发现了一个十分好玩的开源项目——sonic。sonic项目的介绍十分简单。? Fast, lightweight & schema-less search backend. An alternative to Elasticsearch that runs on a few MBs of RAM.在这段话中，我们可以很迅速的了解sonic的特性。首先，它很快，
前言：众所周知，提供高效、快速的搜索功能能提高网站的运营利润和效率，如果网站搜索相关结果太低，用户体验差，那么用户将可能会使用竞争对手的网站。那么如何提供高效快速的搜索呢？当前大约有20种搜索引擎可以选择，如果您正在寻找可靠而有效的方案，那么我建议您使用Elasticsearch，Solr或Sphinx，这三个都是开源搜索解决方案，得到了他们的贡献者社区的充分支持。它们都具有高性能，可扩展性和灵活
ElasticSearch 是一个高可用开源全文检索和分析组件。提供存储服务，搜索服务，大数据准实时分析等。一般用于提供一些提供复杂搜索的应。我们为什么要选择 ElasticSearch ？因为它是一个准实时的搜索工具，在一般情况下延时少于一秒，它还支持物理上的水平扩展，并拥有一套分布式协调的管理功能操作比较简单，包括一些 restful 风格的API 等等
ES搜索语法学习目录原始数据term，filter使用bool组合多个filter条件来搜索数据terms搜索多个值以及多值搜索结果优化基于range filter来进行范围过滤手动控制全文检索结果的精准度dis_max实现best fields策略进行多字段搜索1. term，filter使用0. 原始数据（目录1~2使用）POST /forum/article/_bulk
{ "index":
作者介绍李猛(ynuosoft)，Elastic-stack产品深度用户，ES认证工程师，2012年接触Elasticsearch，对Elastic-Stack开发、架构、运维等方面有深入体验，实践过多种Elasticsearch项目，最暴力的大数据分析应用，最复杂的业务系统应用；业余为企业提供Elastic-stack咨询培训以及调优实施。序言图示：MongoDB与Elasticsearch热度
转载
2024-02-25 09:10:35
75阅读
在当今信息爆炸的时代，快速、准确地搜索和定位信息变得至关重要。随着互联网的发展，搜索引擎在我们的生活中起到了重要的作用。然而，传统的关系型数据库在处理大规模数据搜索和全文检索时表现得较为低效。为了满足用户对搜索的高要求，MySQL数据库引入了全文检索功能，并开始与搜索引擎进行集成与优化。一、MySQL的
转载
2024-10-05 10:22:42
38阅读
## ES可以替代MongoDB吗？
在当今的开发环境中，Elasticsearch（ES）和MongoDB都是非常流行的数据库选择。对于刚入行的开发者来说，可能会有疑问：“ES可以替代MongoDB吗？”实际上，二者都是不同类型的数据库，适用于不同的场景。本文将带你了解怎样在一定条件下使用ES来替代MongoDB，并提供详细的实施步骤。
### 流程图
首先，我们将功能替代的过程分为几个步
KibanaKibana简介怎么将数据导入kibana演示环境kibana安装与配置可视化现有 Elasticsearch 索引中的数据创建索引创建可视化仪表盘图创建可视化垂直条形图创建仪表板启用xpack安全验证es集群端设置kibana端设置logstash端设置elasticsearch-head的设置metricbeat轻量级采集工具kibana控制台ELK优化数据冷热分离搜索速度优化
转载
2024-02-22 06:48:55
37阅读
基本概念： 索引Index es吧数据放到一个或者多个索引中，如果用关系型数据库模型对比，索引的地位与数据库实例（db）相当。索引存放和读取的基本单元是文档（document）。es内部使用的是apache lucene实现的索引中数据的读写。（es被视为单独的一个索引，在lucene中不止一个，因为分布式中，es会用到分区shards和备份replicas机制讲一个索引存储多份）。 文
转载
2024-04-25 12:00:21
73阅读
ES6一、ECMA历史组成部分： ECMA、DOM、BOM什么是ECMA？全称 ECMAScript 简写 ECMA 或 ESECMA是一个标准，JS是实现例如： HTML5 是标准，chrome，FF，IE10是实现将来也可能有 xxxscript 实现ECMA目前的版本：低级浏览器： 主要支持es3.1，3.2高级浏览器： 正从ES5过度到ES6版本进化过程
1996
转载
2024-07-06 10:13:07
92阅读
Emacs 和 Vim 的粉丝们，在你们开始编辑器之争之前，请你们理解，这篇文章并不是为了贬低诸位最喜欢的编辑器。我是一个 Emacs 爱好者，但是也很喜欢 Vim。就是说，我认为 Emacs 和 Vim 并不适合所有人。也许 编辑器之争 略显幼稚，让很多人失望了。也许他们只是想要有一个不太苛刻的现代化的编辑器。如果你正寻找可以替代 Emacs 或者 Vim 的编辑器
目录背景日志系统演进之路技术详解前端日志查询系统正确使用姿势背景唯品会日志系统 dragonfly 1.0 是基于 EFK 构建，于 2014 年服务至今已长达 7 年，支持物理机日志采集，容器日志采集，特殊分类日志综合采集等，大大方便了全公司日志的存储和查询。随着公司的业务发展，日志应用场景逐渐遇到了一些瓶颈，主要表现在应用数量和打印的日志越来越多，开发需要打印更多日志，定位业务问题，做出运营数
转载
2024-06-25 15:04:22
89阅读
区块链会替代大数据吗？ 美国著名经济学家、未来学家、“数字时代的三大思想家之一”乔治·吉尔德(George Gilder)在其畅销作《后谷歌时代：大数据的没落与区块链经济的崛起》中，观点鲜明地指出大数据时代必将被以去中心化的区块链经济所迭代。缺乏信任与安全是当前大数据时代的致命弱点，且以现在的技术水平和网络体系无法解决这一危机。区块链及其衍生产品的新架构“密算体系”才是人类社会未来发展之关键
最近有个需求，关于EDI 的开发，效果烂成一坨屎，写个总结，记录这坨屎。 配置文件：01.EDI.Export.Config（在EDI 服务器SystemConfig目录下） 02.EDI.TypeConfig（三个地方使用：客户端SystemConfig，AppServer/Systemconfig，EDI 服务/SystemConfig） 03.校验文件：IFTM
转载
2024-06-12 15:16:05
71阅读
前言在前面的章节内, 我们介绍了如何安装与操作HBase. 本章, 我们将讲解下HBase MR的相关操作. 这段内容在开发的过程中, 经常用来构建索引. 以提高用户的搜索效率.本文相关资源, 可在我的Github项目 https://github.com/SeanYanxml/bigdata/ 目录下的HBase子目录模块可以找到. PS: (如果觉得项目不错, 可以给我一个Star.)前置条件
