基础实现：在CRUD时，数据库的数据会发生更改，但是我们es的文档数据并未同步修改，所以，在我们修改数据库数据时我们使用aop存个id到mq， 然后消费者拿到消息获取id，再用这个id新增es文档。生产者和消费者的交换机和队列名称常量public class MqConstants {
/**
* 交换机
*/
public final static Strin
转载
2024-10-21 11:09:17
62阅读
文章目录Logback学习笔记前言1、前期准备2、Logback测试3、必备知识点 Logback学习笔记前言 日志的作用就是【记录用户的行为】【快速定位问题的根源】【追踪程序执行的过程】【追踪数据的变化】，而日志直接输出会很杂乱，格式不一致，不方便阅读，调整起来也很麻烦，所以就诞生了日志框架，日志框架是一个经过专门设计的实用程序，用于规范应用程序的日志记录过程，让日志更加规范，操作起来也很便捷
Chromecast 是谷歌在 2013 年 7 月 25 日发布的全新连接设备。该设备运行简化版 Chrome 操作系统，可以插在电视 HDMI 接口上。在同一 WiFi 环境下，用户通过 Chromecast 能将手机或平板上播放的 Youtube 视频推送到电视上。ChromecastChromecast 是一款小型“接收器”设备，可以插入电视机背面的 HDMI 接口，把电脑或其他设备上的流
一、小姐姐的到来（上文提到，小帅将搜索1.0 like版本升级到1.1 全文索引版本后，搜索页面终于不再卡顿，正想放松一下的时候，却被腹黑男泼了一盆冷水…）小帅：“你在说啥？”江华：“呵呵，你看，曹操不就来了嘛。”（这时候，行三小姐姐扭着小碎步正朝着小帅工位走来…小帅一下子眼睛就亮了）行三小姐姐：“小帅哥哥，这个搜索页面挺好用的，就是能不能加一些限定条件呢？例如我只想搜某个店铺或者某个分类下面的x
目录：抓包工具charles工具介绍安装抓包工具fiddler工具介绍界面简介抓取 HTTP 请求抓取 HTTPS 请求抓取移动端请求抓包工具证书配置Charles 基础设置电脑证书配置Windows 系统安装证书Charles 端设置 ssl移动端代理配置app抓包实战练习抓包原理接口抓包分析实战接口测试实战练习LiteMall 搜索接口测试用例设计 (根据上边的接口文档进行测试用例设计)使用P
远程调用的核心是在网络服 务层封装了通信协议、序列化、传输等操作，让用户调用远程服务如同进行本地调用一样。 其实，这种方式就是通过网络服务层的封装实现了不同机器上不同进程之间的直接通信，因 为是直接通信，所以通过线程阻塞的方式实现同步调用比较容易，因此通常被用于同步调 用。比如，机器 1 上的进程 A 调用机器 2 上的进程 B，进程 A 被挂起，进程 B 开始执 行，当进程 B 将值返回给 A
转载
2024-06-25 08:02:15
70阅读
第1章 DataX简介1.1 DataX概述DataX是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。源码地址：https://github.com/alibaba/DataX1.2 DataX支持的数据源DataX目前已经有了比较全面的插件体系，主流的
转载
2024-05-02 15:29:27
147阅读
LogBack 官方文档：http://logback.qos.ch/documentation.htmllogback的配置
如果没有配置文件logback-test.xml或logback.xml，logback默认调用BasicConfigurator，创建一个最小化配置。该最小化配置由一个关联到根logger的ConsoleAppender组成。输出用模式为%d{HH:mm:s
转载
2024-07-18 21:30:26
80阅读
前几天写过一篇《Elasticsearch 7.x 最详细安装及配置》，今天继续最新版基础入门内容。这一篇简单总结了 Elasticsearch 7.x 之文档、索引和 REST API。什么是文档文档Unique ID文档元数据什么是索引REST API一、索引文档（Document）1.1 白话什么是文档从使用案例出发，Elasticsearch 是面向文档，文档是所有搜索数据的最小单元。案例
使用logstash-input-jdbc插件同步mysql数据到elasticsearch，系统会使用一个默认的动态映射模板，模板名字为logstash。在启动logstash过程中你会看到如下信息Using mapping template from {:path=>nil}Attempting to install temp
在工作中，有的时候偶尔会出现一些商业E-Mail的发送，但是在发送之前我们是需要将PDF文档中的数据内容转换成Excel的格式，所以学会将PDF转Excel的方法很重要，下面小编就带给大家一个一键将PDF转成Excel的好方法。PDF转Excel的简单方法一：【复制粘贴法】详细操作步骤：首先我可以打开PDF文档，先进行【Ctrl+A】将文档中的内全选，然后再进行【Ctrl+C】，打开Excel表格
转载
2024-10-14 10:19:22
18阅读
百度主动推送助手是一款seo利器，还是因为公司网站改版的原因，导致大量页面丢失，所以找来的，这款软件最大的作用就是可加快网页被百度收录的速度，它是根据百度官方规则定制的主动推送工具，推送效率高，是为站群站长量身定制，每秒可以推送2000条数据，还可以挂机，挂机模式可以不停的循环推送。上次写过wordpress插件Fanly-Submit，它可以自动推送到百度熊掌，而对于非wordpress站点这款
转载
2024-05-09 13:52:51
76阅读
狂神说——ES基本操作一、Rest风格说明(``非常重要``)二、删除索引图形化操作三、创建索引四、指定字段的类型五、根据上面的规则，使用GET请求六、查看默认的文档信息七、扩展：_cat八、修改文档信息（put或者post） 提交还是PUT即可，然后覆盖九、删除索引十、关于文档的基本操作（重点）十一、复杂查询总结 一、Rest风格说明(非常重要)Rest风格一种软件架构风格，而不是标准，只是提
转载
2023-12-15 09:55:29
85阅读
最近在做项目的过程中，使用filebeat代替logstash做日志收集，用elasticsearch的ingestNode做字段的过滤相关。遇到了不少的坑，记录一下。首先关于ingestNode代替logstash做字段的提取，请看另一篇博文《filebeat+elasticsearch从massage中提取字段》，地址：。在filebeat提取字段时，需要创建一个pipeline管道，可以在k
转载
2024-04-09 15:16:11
77阅读
1.Too many open file handlersFilebeat保持文件处理程序打开，直到文件到达文件末尾，以便它可以近乎实时地读取新的日志行。 如果Filebeat正在收集大量文件，则打开文件的数量可能会成为问题。 在大多数环境中，正在更新的文件数量很少。 close_inactive配置选项应相应地设置为关闭不再处于活动状态的文件。您可以使用其他配置选项来关闭文件处理程序
DataExplorationWe know the data is very important in data science,but it is time-consuming.import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import numpy as np
from scipy.stats
一.参数意义说明
输出级别的种类
ERROR、WARN、INFO、DEBUG
ERROR 为严重错误 主要是程序的错误
WARN 为一般警告，比如session丢失
INFO 为一般要显示的信息，比如登录登出
DEBUG 为程序的调试信息
配置日志信息输出目的地
log4j.appender.appenderName = fully.qualified.name.of.appender.clas
对ES官网的reference的翻译，同时也是备忘，ES版本为7.5高命中聚合高命中指标聚合器记录最相关的聚合文档。该聚合器旨在用作子聚合器，以便每个桶最匹配的文档能够被聚合。高命中聚合器可以高效地基于桶聚合器产生的特定字段对结果集进行分组。一个或者多个桶聚合器决定了结果集基于什么特性进行分组。选项from：与你要获取的第一个结果的偏移量size：每个桶返回的最大数量的高命中结果，每个桶默认会返回
转载
2024-05-07 12:40:18
44阅读
# Java推送Word文档到Elasticsearch的案例
在现代应用程序中，全文搜索引擎的应用越来越普遍，而Elasticsearch（ES）作为一种开源的全文搜索引擎，因其强大的搜索能力和易于扩展的特性，受到了广泛的欢迎。在很多场景下，我们需要将文档数据（如Word文档）推送到Elasticsearch进行索引与搜索。本文将通过一个简单的Java案例，展示如何将Word文档推送到Elas
原创
2024-08-19 05:15:29
57阅读
export/import使用总结export模块功能主要由两个命令构成：export和import。export命令用于规定模块的对外接口，import命令用于输入其他模块提供的功能。// profile.js 写法1
export var firstName = 'Michael';
export var lastName = 'Jackson';
export var year = 1958
