今天深入理解一下零拷贝技术~数据的四次拷贝与四次上下文切换很多应用程序在面临客户端请求时，可以等价为进行如下的系统调用：File.read(file, buf, len);Socket.send(socket, buf, len);例如消息中间件 Kafka 就是这个应用场景，从磁盘中读取一批消息后原封不动地写入网卡（NIC，Network interface controller）进行发送。在没
转载
2024-02-12 16:43:44
128阅读
Spark的中，通过netty实现了类似akka的actor机制。 在spark中，一个EndPointData就类似一个akka中的actor。private class EndpointData(
val name: String,
val endpoint: RpcEndpoint,
val ref: NettyRpcEndpointRef) {
val
转载
2024-05-07 12:11:27
158阅读
上一遍博客中，我们分析了网络链接建立的过程，一旦建立就可以正常的收发消息了。发送消息的细节不再分析，因为对于本地的actor来说这个过程相对简单，它只是创立链接然后给指定的netty网路服务发送消息就好了。接收消息就比较麻烦了，因为这对于actor来说是透明的，netty收到消息后如何把消息分发给指定的actor呢？这个分发的过程值得研究研究。 之前分析过，在监听创立的过程中，有一个对象非常
转载
2024-07-16 12:06:08
60阅读
前言：有人说世界上有三个伟大的发明：火，轮子，以及 Kafka。发展到现在，Apache Kafka 无疑是很成功的，Confluent 公司曾表示世界五百强中有三分之一的企业在使用 Kafka。在流式计算中，Kafka 一般用来缓存数据，例如 Flink 通过消费 Kafka 的数据进行计算。而要谈对Kafka有多熟悉，我相信还是阿里的大佬们最有发言权，所以今天分享的内容，就是Alibaba内部
1|0一、背景可能大家在使用Spring Cloud Gateway构建微服务网关的时候，过五关斩六将，Reactor没能难倒我们，链路追踪没能难倒我们，最后在上线之后发现许多奇妙的问题，这些奇妙的问题还无从下手，比如这个堆栈，深入使用过SCG的人一定不会陌生： reactor.netty.http.client.PrematureCloseException: Connection premat
转载
2024-06-07 20:49:43
134阅读
Spring是什么呢？首先它是一个开源的项目，而且目前非常活跃；它是一个基于IOC和AOP的构架多层j2ee系统的框架。两个概念：IOC/DI 和AOPIOC：Inversion of Control，控制反转，不创建对象，但是描述创建它们的方式。在代码中不直接与对象和服务连接，但在配置文件中描述哪一个组件需要哪一项服务。容器负责将这些联系在一起。举个例子，你写了一个类A，要在类B中引用类A的对象
转载
2024-06-03 21:35:13
122阅读
netty学习笔记之常见RPC框架安装和使用使用protobuf1.1到[protocolbuffers](https://github.com/protocolbuffers/protobuf/releases)下载1.2配置编译器 protoc-3.9.0-win64.zip的环境变量1.3到maven仓库里查找protobuf相关插件，引入Gradle中管理(如果序列化不成功可能包不完整)
目录1、概述1.1、什么是 Netty?1.3、Netty 的地位1.4、Netty 的优势2、Hello World2.1、初体验2.2、导入依赖2.3、服务器端代码2.4、客服端代码2.5、执行流程图2.6、一些理解 1、概述1.1、什么是 Netty?Netty 是由 Trustin Lee 提供的一个 Java 开源框架，现为 GitHub 上的独立项目。Netty 是一个基于 NIO
转载
2024-03-29 21:12:57
1515阅读
1.Netty 的特点是什么？ Netty是 一个异步事件驱动的网络应用程序框架，用于快速开发可维护的高性能协议服务器和客户端高并发：Netty 是一款基于 NIO（Nonblocking IO，非阻塞IO）开发的网络通信框架，对比于 BIO（Blocking I/O，阻塞IO），他的并发性能得到了很大提高。传输快：Netty 的传输依赖于零拷贝特性，尽量减少不必要的内存拷贝，实现了更高效率的传
转载
2024-01-02 13:49:19
59阅读
一、Netty框架介绍什么是netty？先看下百度百科的解释：
Netty是由
JBOSS提供的一个
java开源框架。Netty提供异步的、
事件驱动的网络应用程序框架和工具，用以快速开发高性能、高可靠性的
网络服务器和客户端程序。
也就是说，Netty 是一个基于NIO的客户、服务器端编程
转载
2024-07-21 15:15:46
628阅读
yi、分析HTTP与WEB SOCKET的优缺点：一、HTTP协议的弊端 将HTTP协议的主要弊端总结如下：(1)半双工协议：可以在客户端和服务端2个方向上传输，但是不能同时传输。同一时刻，只能在一个方向上传输。 (2) HTTP消息冗长：相比于其他二进制协议，有点繁琐。 (3) 针对服务器推送的黑客攻击，例如长时间轮询。现在很多网站的消息推送都是使用轮询，即客户端每隔1S或者其他时间给服务器发送
转载
2023-05-25 15:46:35
1312阅读
Nginx 是 Envoy 出现之前网络通信中间件领域非常有代表性的开源系统，功能强大，性能出色，扩展性很强，已经形成了强大的生态，成为 HTTP 流量管理领域事实上的标杆。Envoy 作为后起之秀，虽然定位和目标上与 Nginx 有不少差异，但架构设计层面， Envoy 和 Nginx 都有很多的可取之处。下面会从功能定位、整体网络模型、连接处理、请求解析、插件机制等维度，对 Envoy 和 N
转载
2024-05-16 09:50:05
277阅读
3、消息时序（timing）在测定发送到一个队列的消息时间方面，RabbitMQ提供了多种能力：1）消息存活时间（TTL）发送到RabbitMQ的每条消息都可以关联一个TTL属性。发布者可以直接设置TTL或者根据队列的策略来设置。系统可以根据设置的TTL来限制消息的有效期。如果消费者在预期时间内没有处理该消息，那么这条消息会自动的从队列上被移除（并且会被移到死信交换器上，同时在这之后的消息都会这样
转载
2024-06-26 09:55:53
58阅读
工作中被安排负责MQ相关的模块，所以了解一下做一个选择。我的要求：1.持久化2.高并发kafka和rabbitMQ的区别 kafka提交者的一个回答，翻译 kafka是一个通用的message broker，就像RabbItMQ一样，具有类似的分布式部署目标，但对消息模型语义的假设却非常不同。我会对“AMQP更成熟”的论点表示怀疑，并看看两种解决方案是如何解决你的问题的。 TL,博士,
转载
2023-08-27 22:19:08
132阅读
spark底层的通信框架：spark作为分布式的计算框架，多个服务器节点进行相互通信。spark在最初的时候使用akka的内部通信部件。在spark1.3年代为了接近类似shuffle这样的传输问题。引入了netty通信框架。从1.6配置使用akka或者netty。spark2.0开始完全抛弃了akka,全面使用netty。为什么不用akka?不同版本的akka之间无法进行通信。为什么用netty
转载
2024-05-18 22:21:49
140阅读
一、语言不同RabbitMQ是由内在高并发的erlanng语言开发，用在实时的对可靠性要求比较高的消息传递上。kafka是采用Scala语言开发，它主要用于处理活跃的流式数据,大数据量的数据处理上二、结构不同RabbitMQ采用AMQP（Advanced Message Queuing Protocol，高级消息队列协议）是一个进程间传递异步消息的网络协议 RabbitMQ的broker
转载
2024-03-22 09:50:05
154阅读
RabbitMQ和Kafka都是流行的消息队列系统，它们都可以用于构建分布式系统中的消息传递机制。 虽然它们都可以用于相似的场景，但它们之间仍然存在一些重要的区别。一、数据处理方式不同RabbitMQ是一个传统的AMQP消息队列，它使用队列来存储和传递消息，并通过消息持久化和队列持久化机制，将消息和队列持久化到磁盘中。RabbitMQ在消息传递方面的优点是它可以提供高可靠性和持久性，可以确保消息不
转载
2024-02-27 07:22:14
80阅读
elsticsearch部署elsticsearch安装包下载 wget https://download.elastic.co/elasticsearch/release/org/elasticsearch/distribution/tar/elasticsearch/2.3.4/elasticsearch-2.3.4.tar.gz解压elasticsearch-2.3.4.tar.g
转载
2024-06-05 00:29:40
108阅读
零拷贝概述零拷贝可以避免无谓的copy动作,为了说清楚这一点,本文会先从传统的读写操作开始介绍。传统读操作当应用发起一个从磁盘读取文件的操作时,请求会先经过内核,由内核与磁盘进行交互。数据会从磁盘拷贝到内核的缓存区中。这个copy动作由DMA完成,整个过程中基本上不消耗CPU。DMA硬件和软件的信息传输,可以使用DMA(direct memory access)来完成如果应用想拿到信息,还得从内核
转载
2024-10-13 13:21:53
48阅读
Kafka 与消息队列（MQ）的区别
对于Kafka与消息队列（MQ）的区别，首先我们需要了解它们各自的特点和用途。Kafka 是一种高吞吐量的分布式发布订阅消息系统，主要用于日志的收集和传输，同时也可以用于事件的处理和消息的通信；而消息队列（MQ）是一种用于消息传递的通用工具，主要用于解耦各个组件之间的通信和保证消息的可靠性传递。
在实际开发中，我们经常会用到 Kafka 和消息队列（如 R
原创
2024-05-06 11:53:23
45阅读
