一 、为什么使用消息队列 此问题主要从两方面回答：1、消息队列的使用场景解耦、异步任务、流量削峰。 场景1： 解耦接口调用发送。假设现在要新增子系统E或删除其中某一个子系统，那么A系统都需要做程序修改。此时存在这样的问题：A系统与其它的子系统产生了严重的耦合。 解决案：使用 MQ，A
转载
2024-10-22 14:36:36
25阅读
背景分析消息队列这个类型的组件一直是非常重要的组件，当经过两家企业后我就很坚信这个结论了。队列这种东西，最广泛的作用还是在于解耦，宽泛一点的说，它可以将不同部门的工作内容进行有效的整合，基于一个约定好的格式，就可以两头互相不干扰的进行开发。可以说这个生产消费的思想不仅仅适用于程序也适用于非常多的地方。目前对于我看到的来说，kafka更多的还是做为一个数据源，数据桥梁的作用，不同业务之间的沟通。比如
这是两种截然不同的mq。Active MQ被称为“传统”mq。所谓“传统”是指，他要支持一些标准接口，比如AMQP, STOMP等需要维护consumer的状态。即当前consumer读到哪个数据了，是active mq来维护的。active mq最早用来做企业级别的系统整合。要支持所谓的“企业级队列模式“，但请原谅我搞到最后也没理解这个企业级到底怎么企业级了，也许现在的大多数企业早已不像10多年
一、Kafka 面试常见问题Q1. Kafka 的优势和适用场景？答：高吞吐、低延迟，适合日志采集、埋点数据、大数据实时处理。分布式架构，水平扩展简单。Topic + Partition 模型，天然支持并行消费。追问：如果业务需要严格顺序消费怎么办？
→ 通过设置 key，将相同业务数据写入同一 partition，保证有序。Q2. Kafka 如何保证消息不丢失？答：生产端：acks=all，
ActiveMQ和Kafka简介Apache ActiveMQ是基于Java的开源多协议消息传递服务器。它实现了JMS(Java消息服务)API，并且能够支持各种消息传递协议，包括AMQP，STOMP和MQTT。它通常用于在应用程序/服务之间发送消息。在本主题中，我们将学习ActiveMQ vs Kafka。另一方面，Apache Kafka是由LinkedIn开发的开源流处理软件(后来捐赠给Ap
转载
2024-07-15 00:08:25
26阅读
一、资料文档 Kafka：中。有kafka作者自己写的书，网上资料也有一些。rabbitmq：多。有一些不错的书，网上资料多。zeromq：少。没有专门写zeromq的书，网上的资料多是一些代码的实现和简单介绍。rocketmq：少。没有专门写rocketmq的书，网上的资料良莠不齐，官方文档很简洁
转载
2020-02-26 12:01:00
149阅读
2评论
在介绍ActiveMQ和Kafka之前，首先让我们来了解一下它们各自的特点和区别。ActiveMQ是一个开源消息传递中间件，实现了JMS（Java消息服务）的规范，提供了高性能、高可用性以及可伸缩性的消息传递平台。而Kafka是一个分布式流式计算平台，用于处理实时数据流，具有高吞吐量和低延迟的特点。
下面我们通过一系列步骤来详细讲解如何实现"activemq和kafka区别"，让那位刚入行的小白
原创
2024-05-07 09:45:18
70阅读
本系列内容：Kafka环境搭建与测试Python生产者/消费者测试Spark接收Kafka消息处理，然后回传到KafkaFlask引入消费者WebSocket实时显示版本：spark-2.4.3-bin-hadoop2.7.tgzkafka_2.11-2.1.0.tgz------------------第3小节：Spark接收Kafka消息处理，然后回传到Kafka---------------
转载
2023-08-22 20:24:39
75阅读
Kafka 是LinkedIn 开发的一个高性能、分布式的消息系统，广泛用于日志收集、流式数据处理、在线和离线消息分发等场景。虽然不是作为传统的MQ来设计，在大部分情况，Kafaka 也可以代替原先ActiveMQ 等传统的消息系统。
Kafka 将消息流按Topic 组织，保存消息的服务器称为Broker，消费者可以订阅一个或者多个Topic。为了均衡负载，一个Topic 的消息又可
转载
2024-06-28 11:10:11
38阅读
# 从Kafka到Spark：实时流数据处理的完美组合
在当今数字化时代，数据已经成为企业最宝贵的资源之一。为了更好地利用数据，实时流数据处理技术应运而生。Kafka和Spark作为两大热门的实时流数据处理框架，因其高效、可靠和灵活性而备受青睐。本文将介绍Kafka和Spark的基本原理，并结合代码示例，展示它们如何完美地结合在一起，实现实时流数据的处理和分析。
## Kafka与Spark的
原创
2024-04-20 07:12:51
37阅读
# Kafka和ActiveMQ的区别
在讨论Kafka和ActiveMQ之间的区别之前，让我们先了解一下它们分别是什么。Kafka和ActiveMQ都是消息队列系统，用于在分布式系统中传输消息。它们之间的主要区别在于设计理念和适用场景。
## Kafka vs ActiveMQ
| | Kafka | ActiveMQ |
| ------ | ------ | ------ |
| *
原创
2024-05-17 14:05:18
81阅读
Kafka 0.10 与 Spark Streaming 流集成在设计上与0.8 Direct Stream 方法类似。它提供了简单的并行性，Kafka分区和Spark分区之间的1:1对应，以及对偏移量和元数据的访问。然而，由于新的集成使用了新的 Kafka consumer API 而不是简单的API，所以在使用方面有显著的差异。这个版本的集成被标记为实验性的，因此API有可能发生变
转载
2023-11-29 12:44:59
50阅读
对接kafka 0.8以及0.8以上的版本Spark要在2.3.0一下选择较好，因为这个Spark对接kafka用这个比较稳定，1.0还是测试 导入依赖<dependency>
<groupId>org.apache.spark</groupId>
<!--0.8是kafka的版本，2.11是scala的版本
转载
2023-09-05 10:51:57
149阅读
Reciver方式 spark streaming通过Reciver方式获取kafka的数据实质是：在spark程序的Executor中开Reciver来接收来自kafka的数据，然后spark streaming会启动job去处理这些数据。 因为这些数据是存在内存中的，所以这种方式会容易丢失数据，如果要启用高可靠机制，让数据零丢失，就必须启用Spark Streaming的预写日志机制（Writ
转载
2023-08-05 00:45:26
162阅读
1：Direct方式特点：1）Direct的方式是会直接操作kafka底层的元数据信息，这样如果计算失败了，可以把数据重新读一下，重新处理。即数据一定会被处理。拉数据，是RDD在执行的时候直接去拉数据。2）由于直接操作的是kafka，kafka就相当于你底层的文件系统。这个时候能保证严格的事务一致性，即一定会被处理，而且只会被处理一次。而Receiver的方式则不能保证，因为Receiver和ZK
转载
2023-12-23 17:45:13
51阅读
(1)、如何实现sparkStreaming读取kafka中的数据 在kafka0.10版本之前有二种方式与sparkStreaming整合，一种是基于receiver，一种是direct,然后分别阐述这2种方式分别是什么 receiver：是采用了kafka高级api,利用receiver接收器来接受kafka topic中的数据，从kafka接收来的数据会存储在spark的executor中，
转载
2023-11-28 13:42:47
58阅读
Kafka、RabbitMQ、ZeroMQ、RocketMQ、ActiveMQ 17 个方面综合对比作为消息队列使用时的差异
转载
2021-07-29 16:31:15
203阅读
sparkstreaming 消费kafka数据的 kafkautil 提供两种创建dstream的方法： 1 老版本的createStream方法 &
转载
2023-09-01 14:45:17
125阅读
spark集群是依赖hadoop的。 hadoop集群搭建教程：Hadoop集群搭建教程（一）Hadoop集群搭建教程（二）Spark集群集群部署官网下载：spark官网这里要注意spark兼容的hadoop版本 接着解压：tar -zxvf spark-2.4.3-bin-hadoop2.7.tgz先在你的master节点进行spark的安装和配置，然后直接拷贝到其他节点就可以了。cd /usr
转载
2024-04-20 10:49:47
18阅读
由于消息中间件这块产品非常多，现在只挑选两个我使用过的产品结合使用经验做一些研究，他们是ActiveMQ和Kafka。ActiveMQ 是Apache出品，最流行的、功能强大的即时通讯和集成模式的开源服务器。ActiveMQ 是一个完全支持JMS1.1和J2EE 1.4规范的 JMS Provider实现，提供客户端支持跨语言和协议，带有易于在充分支持JM
转载
2024-03-21 09:05:00
32阅读
