熊哥club的博客_ELK

elasticsearch分词器Jcseg安装手册

Jcseg是什么？ Jcseg是基于mmseg算法的一个轻量级中文分词器，同时集成了关键字提取，关键短语提取，关键句子提取和文章自动摘要等功能，并且提供了一个基于Jetty的web服务器，方便各大语言直接http调用，同时提供了最新版本的lucene, solr, elasticsearch的分词接口！Jcseg自带了一个 jcseg.properties文件用于快速配置而得到适合不同场

Jcseg

ElasticSearch

ES分词器

analyzer

ico

原创 2021-09-06 16:40:26 293 阅读 15点赞 2收藏

elasticsearch 基础知识汇总

索引分片：从策略层面，控制分片分配的选择磁盘限额为了保护节点数据安全，ES 会定时(cluster.info.update.interval，默认 30 秒)检查一下各节点的数据目录磁盘使用情况。在达到 cluster.routing.allocation.disk.watermark.low (默认 85%)的时候，新索引分片就不会再分配到这个节点上了。在达到 clust

数据

搜索

elasticsearch

字段

elastic

原创 2021-09-05 17:00:09 273 阅读

docker容器中搭建kafka集群环境

Kafka集群管理、状态保存是通过zookeeper实现，所以先要搭建zookeeper集群 zookeeper集群搭建一、软件环境： zookeeper集群需要超过半数的的node存活才能对外服务，所以服务器的数量应该是2*N+1，这里使用3台node进行搭建zookeeper集群。 1. 3台linux服务器都使用docker容器创建，ip地址分别为 NodeA：172.17.0.1

kafka

zookeeper

docker

服务器

配置文件

原创 2021-09-05 16:49:19 603 阅读

Elasticsearch究竟要设置多少分片数？

0、引言原作者：Christian Dahlqvist。在构建Elasticsearch集群的初期如果集群分片设置不合理，可能在项目的中后期就会出现性能问题。 Elasticsearch是一个非常通用的平台，支持各种各样的用例，并且为数据组织和复制策略提供了巨大灵活性。这种灵活性使得作为ELK新手的你将数据组织成索引和分片变得困难。虽然不一定会在首次启动时出现问题，但由于数据量随时间的推移，可

数据

elasticsearch

堆内存

用例

数据组织

转载 2021-09-05 16:48:30 234 阅读

zabbix配合脚本监控Kafka

简介： Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。Kafka如下特性，受到诸多公司的青睐。 1、高吞吐量：即使是非常普通的硬件Kafka也可以支持每秒数百万的消息(核心目标之一)。 2、支持通过Kafka服务器和消费机集群来分区消息 ………… 场景： Kafka的作用我就不在这BB了，大家可以瞅瞅http://blog.jobbole.com/

kafka

zookeeper

json

html

ooc

原创 2021-09-05 15:29:41 358 阅读

Elasticsearch删除数据操作，你必须知道的一些坑

前两天有同事打电话问我，说ES删除数据有没有什么坑？我当时就问，是删索引还是删索引里的数据？她回答说是删数据，我说查出这些数据直接删除就好了，没有什么坑。。。后来想想，关于ES数据的删除，之前确实遇到过很多删除场景，如果真要说有没有所谓的坑，细想一下，还真有。我维护过的ES集群最大规模是180多个节点，每天增量70亿条/10TB的日志数据，总容量2PB+，主要是提供各类日志的存储、检索和分析

ES

数据

删除数据

配置文件

批处理

原创 2021-09-05 15:25:50 2199 阅读

ElasticSearch AggregationBuilders java api常用聚会查询

以球员信息为例，player索引的player type包含5个字段，姓名，年龄，薪水，球队，场上位置。index的mapping为： "mappings": { "player": { "properties": { "name": { "index": "not_analyzed", "type": "string" }, "age": { "

ElasticSearch

java

sql语句

字段

倒序

原创 2021-09-04 13:48:32 213 阅读

Kafka集群扩展以及重新分布分区

我们往已经部署好的Kafka集群里面添加机器是最正常不过的需求，而且添加起来非常地方便，我们需要做的事是从已经部署好的Kafka节点中复制相应的配置文件，然后把里面的broker id修改成全局唯一的，最后启动这个节点即可将它加入到现有Kafka集群中。　　但是问题来了，新添加的Kafka节点并不会自动地分配数据，所以无法分担集群的负载，除非我们新建一个topic。但是现在我们想手动将部分分区移

kafka

json

zookeeper

sed

数据

原创 2021-09-04 13:48:31 345 阅读

开启了1000个线程并发去查询elasticsearch把es搞挂了

org.elasticsearch.transport.RemoteTransportException: [spd-2][172.**.**.**:9300][indices:data/read/search[phase/query]] Caused by: org.elasticsearch.common.util.concurrent.EsRejectedExecutionExceptio

ES

ElasticSearch

java

jar

.net

原创 2021-09-04 13:48:31 672 阅读

filebeat.yml（中文配置详解）

################### Filebeat Configuration Example ######################### ############################# Filebeat ###################################### filebeat: # List of prospectors to fetch

sed

elasticsearch

日志文件

正则表达式

ide

原创 2021-09-04 13:48:30 270 阅读

ClickHouse与ES的优劣对比

优点： ClickHouse写入吞吐量大，单服务器日志写入量在50MB到200MB/s，每秒写入超过60w记录数，是ES的5倍以上。查询速度快，官方宣称数据在pagecache中，单服务器查询速率大约在2-30GB/s；没在pagecache的情况下，查询速度取决于磁盘的读取速率和数据的压缩率。。 ClickHouse比ES服务器成本更低。一方面ClickHouse的数据压缩比比ES高，相同数据

ES

ElasticSearch

数据

服务器

历史数据

原创 2021-09-04 13:48:29 2813 阅读

elasticsearch-5.1.1使用snapshot接口备份索引

如果ES是集群，那么需要使用共享存储，支持的存储有：a、shared file systemb、S3c、HDFS 我使用的是第一种，NFS共享文件系统。这里要说一下权限问题，ES一般是使用 elasticsearch 用户启动的，要保证共享目录对 elasticsearch 用户有读写权限，要不然创建仓库和快照的时候会报访问拒绝500错误。在nfs-server上导出共享目录的权限配置，这里将所

elasticsearch

共享目录

vim

共享文件

7z

原创 2021-09-04 13:48:28 187 阅读

ES磁盘分配不均问题

近es集群磁盘空间告警，日志又没地方可以迁移，然后申请了新的服务器，一次性加入8台新的服务器新增了32个新的数据节点，至此，我们的主集群已经到达85个数据节点的规模，整个集群数据已达到PB级别，终于可以跟别人炫耀我是做大数据的了。O(∩_∩)O哈哈~ 但是随着集群节点的不断壮大，问题也随之而来，刚开始加入新节点后，发现所有数据分片都会在新节点上，但是过几天后，发现只有少部分在新节点上。然后

es分片不均衡

es磁盘分配不均衡

数据

服务器

时间间隔

原创 2021-09-04 13:48:27 1266 阅读

用strings命令查看kafka-log内容过滤二进制编码

kafka的log内容格式还不没怎么了解，想快速浏览消息内容的话，除了使用它自带的kafka-console-consumer.sh脚本，还可以直接去看log文件本身，不过内容里有部分二进制字符，通过命令看的话会有乱码。 strings 命令可以过滤掉二进制编码，但默认它也会过滤掉中文字符，只留有英文字符。要用它的-e S参数可以同时过滤出中文或英文字符，但仍会包含了小部分的二进制编码，可以在通过

ico

kafka

bash

中文字符

二进制字符

原创 2021-09-04 13:48:26 464 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

熊孩子?的博客

elasticsearch分词器Jcseg安装手册

elasticsearch 基础知识汇总

docker容器中搭建kafka集群环境

Elasticsearch究竟要设置多少分片数？

zabbix配合脚本监控Kafka

Elasticsearch删除数据操作，你必须知道的一些坑

ElasticSearch AggregationBuilders java api常用聚会查询

Kafka集群扩展以及重新分布分区

开启了1000个线程并发去查询elasticsearch把es搞挂了

filebeat.yml（中文配置详解）

ClickHouse与ES的优劣对比

elasticsearch-5.1.1使用snapshot接口备份索引

ES磁盘分配不均问题

用strings命令查看kafka-log内容过滤二进制编码