目录前言一、简介1、基本概念2、Series3、Retention Policies二、命令操作1.数据库与表的操作2.保留策略3.用户权限管理4.series/point/tag/field5.增删改6.查询三、api操作1.连接2.插入3.删除4.查询四、其他1.备份2.恢复 前言…略一、简介…略1、基本概念mysqlinfluxdb说明database/bucketdatabase数据库t
转载
2024-10-16 14:03:44
62阅读
文章目录1. 消息队列基本介绍1.1 什么是消息队列?1.2 MQ.主要分为两类点对点发布/订阅2. 消息队列使用场景3. kafka介绍3.1 什么是kafka？3.2 kafka的特点3.3 Kafka架构4. kafka基本使用5. kafka集群部署6. ELK对接kafka 1. 消息队列基本介绍kafka详细介绍------》传送门1.1 什么是消息队列?消息Message :比如两
转载
2024-10-28 11:10:40
63阅读
时序数据库是什么？这里就不科普了，敬请百度一下。时序数据是写多读少的场景。InfluxDB 用 Go 语言写，开源，应该还不错。但缺点是：单机版是免费开源的，集群版本是要收费的。安装分别下载数据库 Server 和命令行工具 CLI，两个独立的程序。安装后之后，执行 influx 启动 Server，注意暴露 8086 默认端口。influx这是临时启动的，我们改为守护进程执行的，nohup ./
转载
2024-01-15 08:38:33
188阅读
操作系统 ： CentOS7.3.1611_x64go语言版本：1.8.3 linux/amd64InfluxDB版本：1.1.0安装InfluxDB之后，在/usr/bin下会有如下几个文件： influxd influxdb服务器
influx influxdb命令行客户端
influx_inspect 查看工具
influx_stress 压力
转载
2024-08-19 11:12:35
132阅读
influxDb Enterprise 安装 官方安装文档: https://docs.influxdata.com/enterprise_influxdb/v1.8/install-and-deploy/production_installation/data_node_installation/安装完后的效果截图:性能测试截图:本次安装使用虚拟机 centos1810_kernel4.19.5
转载
2024-01-15 13:44:06
171阅读
文章目录生产者（写入数据）顺序写入Memory Mapped Files(mmap)消费者（读取数据）Kafka是如何耍赖的总结 生产者（写入数据）生产者（producer）是负责向Kafka提交数据的，我们先分析这一部分。 Kafka会把收到的消息都写入到硬盘中，它绝对不会丢失数据。为了优化写入速度Kafka采用了两个技术，顺序写入和MMFile。顺序写入因为硬盘是机械结构，每次读写都会寻址-
转载
2024-03-22 09:39:45
249阅读
在现代应用中，Java与Kafka的结合被广泛使用，特别是当我们需要处理大量消息和事件时。本文将详细探讨如何有效地“Java接Kafka”，并逐步阐述这个过程，包括版本对比、迁移指南、兼容性处理、实战案例、排错指南和性能优化等内容。
## 版本对比
Kafka 的版本多次迭代，每个新版本都引入了许多特性。下面是一个时间轴，展示了 Kafka 版本的演进和特性改变。
```mermaid
ti
构建EMQ连接Kafka的插件，实现消息由MQTT Broker传递至Kafka* [构建Kafka插件——环境准备]1、编译安装EMQ X（1）获取源码（2）设置环境变量（3）编译2、构建Kafka插件* [Other：获取企业版EMQ桥接Kafka]EMQ X桥接Kafka（1）创建Kafka主题（2）创建资源（3）定义消息筛选规则（4）MQTT客户端发送消息测试配置拓展 本文提供了两种方式
转载
2024-03-22 10:03:44
203阅读
# 使用Hive接收Kafka数据：初学者指南
在大数据领域，Hive和Kafka是两个非常重要的工具。Hive是一个基于Hadoop的数据仓库工具，而Kafka则是一个高吞吐量的分布式消息队列系统。当我们想要将Kafka中的实时数据流批量存储到Hive中时，就需要进行一些配置和编程。本文将带您逐步了解如何实现Hive接Kafka的整个流程。
## 整体流程
下面的表格展示了实现Hive接K
原创
2024-09-09 06:04:54
44阅读
1. kafka简介Kafka是一个分布式的消息队列系统(Message Queue)。官网：https://kafka.apache.org/ kafka集群有多个Broker服务器组成，每个类型的消息被定义为topic。同一topic内部的消息按照一定的key和算法被分区(partition)存储在不同的Broker上。消息生产者producer和消费者consumer可以在多个Broke
转载
2024-11-01 17:33:52
69阅读
Kafka简介由Scala和Java编写,Kafka是一种高吞吐量的分布式发布订阅消息系统.环境介绍操作系统:centos6.5 kafka:1.0.1 zookeeper:3.4.6术语介绍Broker : Kafka集群包含一个或多个服务器，这种服务器被称为brokerTopic : 每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。（物理上不同Topic的消息分开存储
转载
2023-11-09 21:30:55
94阅读
### 3.InfluxDB
influxdb-1.7.6\_windows\_amd64.zip 解压到文件夹中：
influx.exe 表示客户端
influxd.exe 表示服务端
influx\_inspect.exe 表示查看工具
influx\_stress.exe 表示压力测试工具
influx\_tsm 表示数据库转换工具（将数据库从 b1 或 b
对接kafka 0.8以及0.8以上的版本Spark要在2.3.0一下选择较好，因为这个Spark对接kafka用这个比较稳定，1.0还是测试 导入依赖<dependency>
<groupId>org.apache.spark</groupId>
<!--0.8是kafka的版本，2.11是scala的版本
转载
2023-09-05 10:51:57
152阅读
一个正常的生产逻辑需要如下几个步骤：1.配置参数及创建生产者实例2.构建待发送消息3.发送消息4.关闭生产者实例 在Kafka生产者客户端KafkaProducer中有3个参数是必填的： bootstrap.servers：生产者客户端连接kafka集群所需的broker地址清单key.serializer 和 value.serializer：broker 端接收的消息必须以
转载
2024-06-24 18:25:23
112阅读
子曰："温故而知新，可以为师矣。" 学完长时间不使用不复习便会逐渐忘记，故做一下笔记！Spark Streaming + Kafka Integration Guide (Kafka broker version 0.10.0 or higher)整合kafka0.10.0新特性（API都在实验中）。 The Spark Streaming integra
转载
2024-10-23 13:15:18
14阅读
随着Web技术的发展，现在各种框架，前端的，后端的，数不胜数。全栈工程师的压力越来越大。现在的前端的框架，既可以做各种Web，又可以做各种APP，前端框架更新换代越来越快，越来越多。传统的模式前端和后端进行调试，修改都非常麻烦。往往前端配合后端很痛苦，后端也嫌前端麻烦。（无解，能动手解决的事，尽量别动嘴。办公室应该常备一些，绷带，止血条，速效救心丸等药品。为了阻止事态升级，办公室要加强刀具管制条例
简介：kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机
转载
2024-07-12 15:46:43
26阅读
目录效果图环境准备安装 influxdb安装我们刚刚下载 influxdb rpm文件查看默认配置修改参数启动 influxdb查看启动状态设置基本配置 influxdb 其他命令扩展安装 jmxtrans可能遇到的异常验证jmxtrans是否成功运行安装 Grafana 安装influxDB 与 Grafana 监控模板 效果图先看下环境准备JDK：1.
原创
2023-05-06 15:09:50
401阅读
一、背景在Kafka的组成部分（Broker、Consumer、Producer）中，设计理念迥异，每个部分都有自己独特的思考。而把这些部分有机地组织起来，使其成为一个整体的便是「网络传输」。区别于其他消息队列的方式（RocketMQ处理网络部分直接使用成熟的组件Netty），Kafka则是直接对java的NIO进行了二次包装，从而实现了高效的传输然而处理网络相关的工作是非常复杂的，本文我们只聚焦
前言从上周一直在调研找一款好用的kafka监控，我测试使用过的KafkaOffsetMonitor、Burrow、kafka-monitor、Kafka-Manager，他们各有优缺点，具体情况我这里就不展开描述了，大家可以到它们的git上去查看， 并且它们基本上都是监控topic的写入和读取等等，没有提供对于整体集群的监控信息，比如集群的分片、延时、内存使用情况等等，无意中发现了jmxtrans
原创
2021-05-10 11:52:22
1352阅读
