淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件，使用Mysql作为消息存储媒介，可完全水平扩容，为了进一步降低成本，我们认为存储部分可以进一步优化，2011年初，Linkin开源了Kafka这个优秀的消息中间件，淘宝中间件团队在对Kafka做过充分Review之后，Kafka无限消息堆积，高效的持久化速度吸引了我们，但是同时发现这个消息系统主要定位于日志传输，对于使用在淘宝交易、订单
消息队列为什么写这篇文章?博主有两位朋友分别是小A和小B:小A，工作于传统软件行业(某社保局的软件外包公司)，每天工作内容就是和产品聊聊需求，改改业务逻辑。再不然就是和运营聊聊天，写几个SQL，生成下报表。又或者接到客服的通知，某某功能故障了，改改数据，然后下班部署上线。每天过的都是这种生活，技术零成长。小B，工作于某国企，虽然能接触到一些中间件技术。然而，他只会订阅/发布消息。通俗点说，就是调调
Spark作为分布式计算框架，多个节点的设计与相互通信模式是其重要的组成部分。Spark一开始使用 Akka 作为内部通信部件。在Spark 1.3年代，为了解决大块数据（如Shuffle）的传输问题，Spark引入了Netty通信框架。到了 Spark 1.6, Spark可以配置使用 Akka 或者 Netty 了，这意味着 Netty 可以完全替代 Akka了。再到 Spark 2, Spa
转载
2024-09-18 07:20:22
73阅读
简介RPC(Remote Procedure Call，远程过程调用)是建立在Socket之上的,出于一种类比的愿望,在一台机器上运行的主程序,可以调用另一台机器上准备好的子程序,就像LPC(本地过程调用).越底层，代码越复杂、灵活性越高、效率越高；越上层，抽象封装的越好、代码越简单、效率越差。Socket和RPC的区别再次说明了这点。在传统的编程概念中，过程是由程序员在本地编译完成，并只能局限在
转载
2024-05-06 23:23:51
115阅读
HTTP：超文本传输协议，首先它是一个协议，并且是基于TCP/IP协议基础之上的应用层协议。TCP/IP协议是传输层协议，主要解决数据如何在网络中传输，HTTP是应用层协议，主要解决如何包装数据。HTTP协议详细规定了浏览器与服务器之间相互通信的规则，是万维网交换信息的基础。HTTP是基于请求-响应
原创
2021-07-20 14:14:50
231阅读
Kafka基本概念 Message 消息，就是要发送的内容，一般包装成一个消息对象。Topic 通俗来讲的话，就是放置“消息”的地方，也就是说消息投递的一个容器。假如把消息看作是信封的话，那么 Topic 就是一个邮箱 。Partition && Log Partition 分区，可以理解为一个逻辑上的分区，像是我们电脑的磁盘 C:, D:, E: 盘一样,Kafka 为每个分区维
转载
2024-04-09 11:39:20
33阅读
kafka优势kafka相比于其他消息系统能够实现有序的并行化的读取，其他的消息系统如果需要实现有序，是通过独占的形式，那样就不能并行化，每次只能有一个消费者读取数据。kafka通过topic和partition的方式实现有序的并行化，每个消费者可以独占一个partition，同时多个消费者读取同一个topic的数据，这样就实现了并行化，但是一个消费群组的消费者不能比一个topic的分区数多，这样
转载
2024-01-28 14:17:09
67阅读
越底层，代码越复杂、灵活性越高、效率越高；越上层，抽象封装的越好、代码越简单、效率越差。Socket和RPC的区别再次说 明了这点。在传统的编程概念中，过程是由程序员在本地编译完成，并只能局限在本地运行的一段代码，也即其主程序和过程之间的运行关系是本地调用关系。因此 这种结构在网络日益发展的今天已无法适应实际需求。 RPC优点: 1 充分利用网络上其他主机的资源（如CPU、Memory等）
转载
2023-11-13 11:28:49
75阅读
基于某些原因， 许多开发者会把这两种技术当做等价的来看待。的确，在一些案例场景下选择 RabbitMQ 还是 Kafka 没什么差别，但是这两种技术在底层实现
转载
2022-02-13 14:13:52
117阅读
一、作用1、首先我们先了解一下MQ在我们实际开发中的作用 解耦 异步 削峰首先我们了解一下解耦：当我们有A、B、C、D四个系统，看这么个场景。A 系统发送数据到 BCD 三个系统，通过接口调用发送。如果 E 系统也要这个数据呢？那如果 C 系统现在不需要了呢？A 系统负责人几乎崩溃.. 在这个场景中，A 系统跟其它各
转载
2024-10-16 14:17:19
285阅读
一、kafka基本概念缓存系统 2、kafka集群中的服务器都叫做broker 3、kafka有两类客户端，一类叫producer（消息生产者），一类叫做consumer（消息消费者），客户端和broker服务器之间采用tcp协议连接 4、kafka中不同业务系统的消息可以
背景spark streaming + kafka 有两种方案接收kafka数据-基于receiver的方案和direct方案(no receiver方案)。基于receiver的方案，属于比较老的方案，其采用Kafka’s high-level API通过专门的Rceiver去接收kafka数据。 采用 KafkaUtils.createStreamdirect方案，是当前的主流用法，其采用Ka
转载
2024-01-14 20:22:52
103阅读
基于某些原因， 许多开发者会把这两种技术当做等价的来看待。的确，在一些案例场景下选择 RabbitMQ 还是 Kafka 没什么差别，但是这两种技术在底层实现方面是有许多差异的。不同的场景需要不同的解决方案，选错一个方案能够严重的影响你对软件的设计，开发和维护的能力。第一篇文章介绍了 RabbitMQ 和 Apache Kafka内部实现的相关概念。本篇文章会从两个方面探讨这两种技术之间的差异，一个是这两种技术之间的显著差异，另一个是对于软件架构师和开发者需要注意的差异。我们先来说说架构模式，也
转载
2021-08-09 17:31:15
157阅读
Kafka与RocketMQ是两种流行的消息队列系统，用于实现消息的生产者和消费者之间的异步通信。它们在设计和特性上有一些区别，本文将详细介绍它们的区别，并提供代码示例帮助你更好地理解。
首先，我们来看一下Kafka与RocketMQ的区别：
| 特性 | Kafka | RocketMQ
原创
2024-05-06 11:52:41
97阅读
项目需要将日志收集起来做存储分析，数据的流向为rsyslog（收集） -> kafka（消息队列） -> logstash(清理) -> es、hdfs； 今天我们先将如何利用rsyslog进行日志收集到kafka。 一、环境准备 通过对 rsyslog官方文档 查看,得知 rsyslog对 kafka的支持是 v8.7.0版本后才提供的支持.通过&nbs
本节内容： 1. etcd介绍与使用 2. ElastcSearch介绍与使用1. etcd介绍与使用 概念：高可用的分布式key-value存储，可以使用配置共享和服务发现 类似项目：zookeeper和consul 开发语言：Go 接口：提
《消息中间件-Kafka》一、. Kafka概述消息中间件对比特性ActiveMQRabbitMQRocketMQKafka开发语言javaerlangjavascala单机吞吐量万级万级10万级100万级时效性msusmsms级以内可用性高(主从)高(主从)非常高(分布式)非常高(分布式)功能特性成熟的产品、较全的文档、各种协议支持好并发能力强、性能好、延迟低MQ功能比较完善，扩展性佳只支持主要
WSASocket()与Socket()的区别：
总的来说，一个非阻塞，将IO消息放进队列，另一个则阻塞，等待处理消息。
转载
精选
2013-01-24 17:37:00
914阅读
1.1 ServerSocket类 创建一个ServerSocket类，同时在运行该语句的计算机的指定端口处建立一个监听服务，如： ServerSocket MyListener=new ServerSocket(600)； 这里指定提供监听服务的端口是600，一台计算机可以同时提供多个服务，这些不 ...
转载
2021-09-27 10:19:00
229阅读
2评论
socket() 创建一个通讯端点并返回一个套接口。但是在socket库中例程在应用于阻塞套接口时会阻塞。
WSASocket()的发送操作和接收操作都可以被重叠使用。接收函数可以被多次调用，发出接
收缓冲区，准备接收到来的数据。发送函数也可以被多次调用，组成一个发送缓冲区队列。
转载
精选
2012-12-03 20:49:55
1324阅读
