文章目录1. 消息队列基本介绍1.1 什么是消息队列?1.2 MQ.主要分为两类点对点发布/订阅2. 消息队列使用场景3. kafka介绍3.1 什么是kafka？3.2 kafka的特点3.3 Kafka架构4. kafka基本使用5. kafka集群部署6. ELK对接kafka 1. 消息队列基本介绍kafka详细介绍------》传送门1.1 什么是消息队列?消息Message :比如两
转载
2024-10-28 11:10:40
63阅读
时序数据库是什么？这里就不科普了，敬请百度一下。时序数据是写多读少的场景。InfluxDB 用 Go 语言写，开源，应该还不错。但缺点是：单机版是免费开源的，集群版本是要收费的。安装分别下载数据库 Server 和命令行工具 CLI，两个独立的程序。安装后之后，执行 influx 启动 Server，注意暴露 8086 默认端口。influx这是临时启动的，我们改为守护进程执行的，nohup ./
转载
2024-01-15 08:38:33
188阅读
目录前言一、简介1、基本概念2、Series3、Retention Policies二、命令操作1.数据库与表的操作2.保留策略3.用户权限管理4.series/point/tag/field5.增删改6.查询三、api操作1.连接2.插入3.删除4.查询四、其他1.备份2.恢复 前言…略一、简介…略1、基本概念mysqlinfluxdb说明database/bucketdatabase数据库t
转载
2024-10-16 14:03:44
62阅读
操作系统 ： CentOS7.3.1611_x64go语言版本：1.8.3 linux/amd64InfluxDB版本：1.1.0安装InfluxDB之后，在/usr/bin下会有如下几个文件： influxd influxdb服务器
influx influxdb命令行客户端
influx_inspect 查看工具
influx_stress 压力
转载
2024-08-19 11:12:35
132阅读
influxDb Enterprise 安装 官方安装文档: https://docs.influxdata.com/enterprise_influxdb/v1.8/install-and-deploy/production_installation/data_node_installation/安装完后的效果截图:性能测试截图:本次安装使用虚拟机 centos1810_kernel4.19.5
转载
2024-01-15 13:44:06
171阅读
文章目录生产者（写入数据）顺序写入Memory Mapped Files(mmap)消费者（读取数据）Kafka是如何耍赖的总结 生产者（写入数据）生产者（producer）是负责向Kafka提交数据的，我们先分析这一部分。 Kafka会把收到的消息都写入到硬盘中，它绝对不会丢失数据。为了优化写入速度Kafka采用了两个技术，顺序写入和MMFile。顺序写入因为硬盘是机械结构，每次读写都会寻址-
转载
2024-03-22 09:39:45
249阅读
1. kafka简介Kafka是一个分布式的消息队列系统(Message Queue)。官网：https://kafka.apache.org/ kafka集群有多个Broker服务器组成，每个类型的消息被定义为topic。同一topic内部的消息按照一定的key和算法被分区(partition)存储在不同的Broker上。消息生产者producer和消费者consumer可以在多个Broke
转载
2024-11-01 17:33:52
69阅读
0x00 什么是InfluxDBInfluxDB是一个由InfluxData开发的开源时序型数据库，专注于海量时序数据的高性能读、高性能写、高效存储与实时分析等，在DB-Engines Ranking时序型数据库排行榜上排名第一，广泛应用于DevOps监控、IoT监控、实时分析等场景。InfluxDB部署简单、使用方便，在技术实现上充分利用了Go语言的特性，无需任何外部依赖即可独立部署。提供类似于
原创
2024-03-03 10:19:20
197阅读
前言Apache Kafka 最早是由 LinkedIn 开源出来的分布式消息系统，现在是Apache旗下的一个子项目，并且已经成为开源领域应用最广泛的消息系统之一。尤其是做日志中间件。Kafka是一个分布式系统，具备高扩展高吞吐高性能的特性.Kafka的单机吞吐量可达十万级别，时效性是ms级别。对比ActiveMQ吞吐量猜到万级别。在集群维度下，随着topic数量增多，分区数量增多，可以自由往上
转载
2024-04-03 21:25:53
42阅读
- 消息队列的核心价值 - 解耦合。异步处理 例如电商平台，秒杀活动。一般流程会分为：1: 风险控制、2：库存锁定、3：生成订单、4：短信通知、5：更新数据。通过消息系统将秒杀活动业务拆分开，将不急需处理的业务放在后面慢慢处理；流程改为：1：风险控制、2：库存锁定、3:消息系统、4:生成订单、5：短信通知、6：更新
转载
2024-03-28 12:50:36
55阅读
前言在之前的这篇文章中，笔者介绍了用时序数据库InfluxDB作为Flink监控存储的方法，并且提到为了防止磁盘爆掉，要设置保留策略来使数据自动过期。经过一点探究之后，发现“Retention Policy”这个词在InfluxDB里并不只是字面意思那么简单，本文做个简要记录。InfluxDB的存储体系之前说过，InfluxDB的存储引擎是由LSM Tree改进而来的TSM（Time-Struct
转载
2024-04-20 18:20:05
290阅读
InfluxDBInfluxDB是开源的、高性能的时序型数据库。什么是时序型数据？按照时间顺序记录系统、设备状态变化的数据被称为"时序数据(Time Series Data)"时序数据三个特点：1、抵达的数据几乎总是作为新条目被记录，无更新操作2、数据通常按照时间顺序抵达3、时间是一个主坐标轴InfluxDB是作为TICK的存储系统进行设计和开发的。TICK（Telegraf+InfluxDB+C
转载
2023-09-08 20:26:34
329阅读
强大完整的生态，TICK是一个集成了采集、存储、分析、可视化等能力的开源时序中实时分析等）的高性能时序型数据库，支持灵活的自定义保留策略（Retention Policy）和类SQL的操作接口等。.........
转载
2022-08-20 22:27:44
10000+阅读
0x00 基础操作介绍 在本文中将介绍InfluxDB常用的基础操作，帮助读者建立对InfluxDB的感性认识，快速的动手玩起来，持续查询（Continuous Queies）、Group by、Series、行协议（Line Protocol）、InfluxQL等高级特性和细节，将会在后续文章中逐步介绍。 InfluxDB支持类SQL的操作接口，尽管因为时序数据的特点，InfluxD
转载
2021-05-30 10:29:26
697阅读
2评论
Version (1 byte): 目前是 tsm1 引擎，此值固定为 1。BlocksBlocks 内部是一些连续的 Block，block 是 InfluxDB 中的最小读取对象，每次读取操作都会读取一个 block。每一个 Block 分为 CRC32 值和 Data 两部分，CRC32 值用于校验 Data 的内容是否有问题。Data 的长度记录在之后的 Index 部分中。Da
转载
2024-04-28 10:52:59
39阅读
最近，需要参与influxdb的优化工作，因此需要学习一下相关知识。LSM 算法LSM(log structed merge tree) LSM的实现逻辑就是已经写好的文件不再修改，更新操作只会写入新的文件中（计算机硬盘或SSD顺序写很快，而随机写则很慢）。写入的每个文件是内部有序的（如SSTable)，因此查找也相对比较快。同时定期对文件进行合并，减少文件的数量。LSM优化了数据库写性能，而因此
转载
2024-04-16 16:19:21
30阅读
什么是时序数据库时序数据库，全称时间序列数据库（Time Series Database，TSDB），用于存储大量基于时间的数据，时序数据（Time Series Data）指的是一系列基于时间的数据，例如CPU利用率，北京的房价变化趋势，某一地区的温度变化等。时序数据库支持时序数据的快速写入、持久化，多维度查询、聚合等操作，同时可以记录所有的历史数据，查询时将时间作为数据的过滤条件。时序数据的使
转载
2023-10-09 10:49:14
706阅读
Point 1：什么是Kafka？ Kafka是一种分布式的，基于发布/订阅的消息系统。主要设计目标如下： ● 以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间复杂度的访问性能。 ● 高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条以上消息的传输。 ● 支持Kafka Server间的消息分区，及分布式消费，同时保证每个Partitio
转载
2024-04-04 16:42:01
124阅读
一个正常的生产逻辑需要如下几个步骤：1.配置参数及创建生产者实例2.构建待发送消息3.发送消息4.关闭生产者实例 在Kafka生产者客户端KafkaProducer中有3个参数是必填的： bootstrap.servers：生产者客户端连接kafka集群所需的broker地址清单key.serializer 和 value.serializer：broker 端接收的消息必须以
转载
2024-06-24 18:25:23
112阅读
目录效果图环境准备安装 influxdb安装我们刚刚下载 influxdb rpm文件查看默认配置修改参数启动 influxdb查看启动状态设置基本配置 influxdb 其他命令扩展安装 jmxtrans可能遇到的异常验证jmxtrans是否成功运行安装 Grafana 安装influxDB 与 Grafana 监控模板 效果图先看下环境准备JDK：1.
原创
2023-05-06 15:09:50
401阅读
