1. kafka简介Kafka是一个分布式的消息队列系统(Message Queue)。官网：https://kafka.apache.org/ kafka集群有多个Broker服务器组成，每个类型的消息被定义为topic。同一topic内部的消息按照一定的key和算法被分区(partition)存储在不同的Broker上。消息生产者producer和消费者consumer可以在多个Broke
转载
2024-11-01 17:33:52
69阅读
时序数据库是什么？这里就不科普了，敬请百度一下。时序数据是写多读少的场景。InfluxDB 用 Go 语言写，开源，应该还不错。但缺点是：单机版是免费开源的，集群版本是要收费的。安装分别下载数据库 Server 和命令行工具 CLI，两个独立的程序。安装后之后，执行 influx 启动 Server，注意暴露 8086 默认端口。influx这是临时启动的，我们改为守护进程执行的，nohup ./
转载
2024-01-15 08:38:33
188阅读
influxDb Enterprise 安装 官方安装文档: https://docs.influxdata.com/enterprise_influxdb/v1.8/install-and-deploy/production_installation/data_node_installation/安装完后的效果截图:性能测试截图:本次安装使用虚拟机 centos1810_kernel4.19.5
转载
2024-01-15 13:44:06
171阅读
Kafka 是 LinkedIn 开发并开源的一套分布式的高性能消息引擎服务，后来被越来越多的公司应用在自己的系统中，可以说，Kafka 是大数据时代数据管道技术的首选。在设计的时候，它就实现了高可靠、高吞吐、高可用和可伸缩，得益于这些特性，加上活跃的社区，Kafka 成为了一个完备的分布式消息引擎解决方案。历经多年发展，Kafka 的功能和特性也在不断迭代，如今的 Kafka 集消息系统、存储系
转载
2024-04-16 14:36:57
62阅读
一、基本概念
介绍Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计。这个独特的设计是什么样的呢？ 首先让我们看几个基本的消息系统术语：Topic（主题）：kafka按照分类对信息源进行维护。实际工程中一个业务一个主题。Producers （生产者）：向kafka发布消息的程序叫做生产者。Consumers（消费者）：从kafk
转载
2024-04-10 14:09:37
138阅读
4.1 新消费者客户端上面将消费者的新旧两种API做了比较，并且简单概括了新消费者API的主要组件。具体到KafkaConsumer相关组件的实现，我们需要从API提供的方法入手，还要理清各种组件的关联关系、数据结构的传递过程、线程模型的使用等。4.1.1 消费者的订阅状态新API为消费者客户端提供了两种消费方式：订阅(subscribe)和分配(assign)。订阅模式。消费者会指定订阅的主题，
文章目录1. 消息队列基本介绍1.1 什么是消息队列?1.2 MQ.主要分为两类点对点发布/订阅2. 消息队列使用场景3. kafka介绍3.1 什么是kafka？3.2 kafka的特点3.3 Kafka架构4. kafka基本使用5. kafka集群部署6. ELK对接kafka 1. 消息队列基本介绍kafka详细介绍------》传送门1.1 什么是消息队列?消息Message :比如两
转载
2024-10-28 11:10:40
63阅读
Kafka 是什么
转载
2021-07-30 11:48:59
112阅读
InfluxDB简介InfluxDB 是用Go语言编写的一个开源分布式时序、事件和指标数据库，无需外部依赖。用于存储和分析时间序列数据的开源数据库。 适合存储设备性能、日志、物联网传感器等带时间戳的数据,其设计目标是实现分布式和水平伸缩扩展。 InfluxDB 包括用于存储和查询数据，在后台处理ETL或监视和警报目的，用户仪表板以及可视化和探索数据等的API。InfluxDB是一个由InfluxD
转载
2024-02-22 01:59:37
86阅读
Topic：发布订阅的对象称为主题（topic），可以为每个应用，每个业务甚至每个类创建专属的主题。clients：生产者和消费者统称为clients。 Producer：向主题发布消息的客户端应用称为生产者，生产者程序通常不断的向一个或多个主题发送消息。 Consumer：订阅这些主题消息的客户端应用称为消费者，可同时订阅多个主题的消息。Broker：Kafka服务器端，一个Kafka集群由
转载
2024-03-23 14:35:44
47阅读
作者：Vlad Ilyushchenko在QuestDB(https://questdb.io/)，我们已经建立了一个专注于性能的开源时间序列数据库。我们创建QuestDB是为了将我们在低延迟交易方面的经验以及我们在该领域开发的技术方法带到各种实时数据处理用途中。QuestDB的旅程始于2013年的原型设计，我们在去年HackerNews发布会期间发表的一篇文章中描述了2013年之后所发生的变化。
转载
2021-12-18 11:28:29
498阅读
Hadoop 和 Kafka 是两个完全不同的分布式系统，它们通常用于处理不同类型的数据和解决不同的数据处理问题。然而，在大数据生态系统中，它们经常一起使用，因为它们可以相互补充，共同构建一个完整的数据处理解决方案。Hadoop:
Hadoop 是一个开源的分布式存储和计算框架，旨在处理大规模数据集。它的核心组件包括：Hadoop Distributed File System（HDFS）：用于在
原创
2024-06-03 10:13:06
336阅读
1. 简介和体系结构目前Kafka已经定位为一个分布式流式处理平台，以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用。简单理解，它就是一个消息中间件。一个典型的Kafka体系结构包括若干Producer、若干Broker、若干Consumer，以及一个ZooKeeper集群。如下图所示：图中ZooKeeper是Kafka用来负责集群元数据的管理、控制器的选举等操作的。Produ
转载
2024-04-25 15:20:37
55阅读
zookeeper 工作原理： 1 什么是zookeeperZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务。它是一个为分布式应用提供一致性服务的软件.在分布式应用中，由于工程师不能很好地使用锁机制，以及基于消息的协调机制不适合在某些应用中使用，因此需要有一种可靠的、可扩展的、分布式的、可配置的协调机制来统一系统的状态。Zookeeper的目的就在
转载
2024-02-22 11:31:20
55阅读
1. 基本概念一个kafka集群包含若干的Producer、若干Broker、若干的Consumer，以及一个Zookeeper集群。Zookeeper是负责Kafka元数据管理、控制器选举等操作的。Producer将消息发送到Broker，Broker将消息存储都磁盘，Consumer从Broker订阅并消费消息。Kafka体系中引入了一下三个术语。 (1) Producer：生产者，也就是发送
转载
2024-04-30 21:55:04
63阅读
目录前言一、简介1、基本概念2、Series3、Retention Policies二、命令操作1.数据库与表的操作2.保留策略3.用户权限管理4.series/point/tag/field5.增删改6.查询三、api操作1.连接2.插入3.删除4.查询四、其他1.备份2.恢复 前言…略一、简介…略1、基本概念mysqlinfluxdb说明database/bucketdatabase数据库t
转载
2024-10-16 14:03:44
62阅读
java标识符命名规则： 1、由26个大小写的英文字符“A-Z”，“a-z”； 数字"0-9"，下划线"_"和美元“$”四部分组成 2、标识符以字母或下划线或美元 3、不能为关键字goto、const等关于组合索引遵循【最左有限原则】 假设3列索引（col1,col2,col3） 那么mysql只会建立三个索引 （col1）(col1,col2) (col1,col2,col3)【子类构造的规则】
转载
2024-10-19 20:33:05
32阅读
注：Spark Streaming + Kafka集成指南 Apache Kafka是作为分布式，分区，复制的提交日志服务的发布订阅消息。在开始使用Spark集成之前，请仔细阅读Kafka文档。 Kafka项目在0.8和0.10之间引入了新的消费者api，所以有两个单独的相应的Spark Streaming包可用。请为您的经纪人选择正确的包装和所需功能; 请注意，0.8集成与以后的0.
Kafka是一个高性能，高扩展性，高可用，支持消息持久化的消息队列 Kafka本质就是一个消息队列，说白了就是一个链表，链表的每个节点就是一个消息，每个节点有一个序号，叫做offset，用来记录消息的位置假设有两个服务，A服务和B服务，A服务发送消息200qps，B只有100qps的处理能力，这时候就需要一个中间件来缓和一下A和B的关
常见消息队列比对比较方向RabbitMQKafkaRocketMQ资料文档多(有一些不错的书, 网上资料多)中(有kafka作者自己写的书, 网上资料也有一些)少(没有专门写rocketmq的书, 网上的资料良莠不齐, 官方文档很简洁, 但是对技术细节没有过多的描述)开发语言ErlangScalaJava支持的协议AMQP自定义的一套协议自定义的一套协议消息存储内存,磁盘(支持少量的消息堆积)磁盘
