文章目录前言1. 扩展序列化算法2. 参数调优1. CONNECT_TIMEOUT_MILLIS2. SO_BACKLOG1. 介绍2. 查找默认的大小3. ulimit -n4. TCP_NODELAY5.SO_SNDBUF & SO_RCVBUF6. ALLOCATOR1. 使用2. 源码3. 总结7. RCVBUF_ALLOCATOR1. 基本理解2. 源码理解 前言1. 扩展序列
BootstrapBootstrap是引导的意思，它的作用是配置整个Netty程序，将各个组件都串起来，最后绑定端口、启动 Netty服务Netty中提供了2种类型的引导类，一种用于客户端(Bootstrap)，而另一种(ServerBootstrap)用于服务器 ，区别在于： 1、ServerBootstrap 将绑定到一个端口，因为服务器必须要监听连接，而 Bootstrap 则是由想要连接
BootstrapBootstrap是引导的意思，它的作用是配置整个Netty程序，将各个组件都串起来，最后绑定端口、启动 Netty服务Netty中提供了2种类型的引导类，一种用于客户端(Bootstrap)，而另一种(ServerBootstrap)用于服务器 ，区别在于： 1、ServerBootstrap 将绑定到一个端口，因为服务器必须要监听连接，而 Bootstrap 则是由想要连接
# Java Netty 写入 Kafka
## 引言
Kafka 是一个分布式流处理平台，被广泛应用于大规模数据处理和实时数据流处理场景。而 Java Netty 是一个用于开发高性能、可扩展的网络应用程序的框架。结合 Java Netty 和 Kafka，我们可以实现高效的消息传输和处理。
本文将介绍如何使用 Java Netty 将数据写入 Kafka，并提供相应的代码示例。我们将从概
原创
2023-11-17 13:14:10
192阅读
websocket协议是属于服务端和客户端之间建立起长连接的协议，通常在im即时消息等对信息的实时性要求比较高，请求较频繁的操作上使用。本案例的代码将会提交到码云上可以查看，文章后附地址。这里举得案例是wss协议的，属于安全协议的，证书是自签的，如果不会生成自签证书，可以看我往常的一个博客，里面有介绍，这里wss用的证书是jks的，你们如果是ws协议就能满足系统需要，就不需要用这个证书和去掉ssl
转载
2023-08-06 22:13:51
66阅读
# SparkSQL 并发写入 Kafka 优化指南
在大数据处理领域，SparkSQL 和 Kafka 是两种常用且强大的工具。本文将详细介绍如何实现 SparkSQL 并发写入 Kafka，并对这一过程进行优化。为此，我们首先列出操作流程，随后逐步解释每一步需要执行的代码及其作用。
## 操作流程
下面是将 SparkSQL 数据并发写入 Kafka 的基本流程：
```mermaid
原创
2024-10-25 05:32:33
170阅读
Kafka Producer Producer发送模式1、同步发送 2、异步发送 3、异步回调发送业务流程producer的发送大致分为两步，第一步是先构建producer，第二步是send出去Producer发送原理kafka的生产者主要做了三个事情，第一个是直接发送，直接发送是指kafka会把producer的消息发送到整个分区leader的broker上，一般不会涉及到其他的干预。还
转载
2023-10-05 16:36:13
213阅读
写入流//send the file ByteBuf testBuf = Unpooled.buffer(); String tokenStr = n
原创
2023-03-05 21:43:18
96阅读
导读：Flink在1.9 版本中新增了一个SQL DDL的新特性并在1.10版本也进行了一些优化使其具备可用于生产环境的能力。Flink拥有丰富的连接器生态系统，尽管这些连接器经过了严格的测试和生产准备，但它们是用Java编写并以代码配置的，这意味着它们不适合纯SQL或Table应用程序。为了获得全面的SQL经验，不仅需要使用SQL编写查询，还需要使用表定义。本文将举一个简单的Flink
转载
2023-11-29 15:21:50
168阅读
今天深入理解一下零拷贝技术~数据的四次拷贝与四次上下文切换很多应用程序在面临客户端请求时，可以等价为进行如下的系统调用：File.read(file, buf, len);Socket.send(socket, buf, len);例如消息中间件 Kafka 就是这个应用场景，从磁盘中读取一批消息后原封不动地写入网卡（NIC，Network interface controller）进行发送。在没
转载
2024-02-12 16:43:44
128阅读
本文主要讲解 Kafka 是什么、Kafka 的架构包括工作流程和存储机制，以及生产者和消费者。最终大家会掌握 Kafka 中最重要的概念，分别是 Broker、Producer、Consumer、Consumer Group、Topic、Partition、Replica、Leader、Follower，这是学会和理解 Kafka 的基础和必备内容。定义Kafka 是一个分布式的基于发布/订阅模
转载
2024-06-02 10:12:52
160阅读
点赞
1评论
一、批量插入sql语句（合并数据）能够提高程序的插入效率。主要原因是合并后日志量（MySQL的binlog和innodb的事务）减少了，降低日志刷盘的数据量和频率，从而提高效率。通过合并SQL语句，同时也能减少SQL语句解析的次数，减少网络传输的IO。二、在事务中进行插入处理（前提是数据库是基于InnoDB存储引擎）使用事务可以提高数据的插入效率，这是因为进行一个INSERT操作时，MySQL内部
转载
2024-05-16 10:10:58
75阅读
一、基础介绍Netty是一个基于NIO通信、高性能、高可靠性的网络服务器和客户端程序的编程框架，如果实现一些网络通信，则需要使用TCP,目前操作TCP的技术是SOCKET, 那么Netty就是封装Socket的框架，可以让我们更加好的操作网络通信，解决粘包、拆包等问题。并且Netty提供异步的、事件驱动的网络应用程序框架，可以让我们开发高性能的服务器。二、Netty简单使用介绍Netty核心组件是
转载
2024-05-29 13:03:03
190阅读
学习笔记1、并发问题的产生1.1 内存模型1.2 CPU内存模型1.3 Java内存模型1.4 基于内存模型分析并发问题产生的根因2、并发问题的解决方案 1、并发问题的产生1.1 内存模型想要了解并发问题产生的根源，首先我们需要了解一下内存模型的概念。我们都知道，我们程序是在Java虚拟机上运行的，Java虚拟机有自己的内存模型，而老大哥计算机CPU当然也有自己的内存模型。1.2 CPU内存模型
操作系统层面的优化 提高文件描述符限制： 在Linux系统中，每个进程都有打开文件描述符的数量限制。网络连接也使用这些文件描
原创
2024-04-07 14:06:57
109阅读
kafkaproducer和cosumer写入消息的方式直接发送ProducerRecord<String, String> record = new ProducerRecord<>(“CustomerCountry”, “Precision Products”,“France”); try { producer.send(record); } catch (Except
转载
2024-03-19 11:06:36
62阅读
一、生产者发送消息的步骤创建一个 ProducerRecord 对象，对象中包含目标主题和要发送的内容。还可以指定键或分区。在发送 ProducerRecord 对象时，生产者要先把键和值对象序列化成字节数组，这样它们才能够在网络上传输。接下来，数据被传给分区器。分区器直接把指定的分区返回。如果没有指定分区，分区器会根据 ProducerRecord 对象的键来选择一个分区。选择好分区之后，生产者
转载
2023-10-03 07:44:37
80阅读
本篇我们将从 Kafka 生产者的设计和组件讲起，学习如何使用 Kafka 生产者。 将演示如何创建 KafkaProducer 和 ProducerRecords 对象、如何将记录发送给 Kafka，以及如何处理Kafka 返回的错误，然后介绍用于控制生产者行为的重要配置选项，最后深入探讨如何使用不同的分区方法和序列化器，以及如何自定义序列化器和分区器。生产者概览很多情况下我们需要往 Kafka
转载
2023-11-26 20:21:30
45阅读
Kafka为什么速度那么快？Kafka的消息是保存或缓存在磁盘上的，一般认为在磁盘上读写数据是会降低性能的，因为寻址会比较消耗时间，但是实际上，Kafka的特性之一就是高吞吐率。即使是普通的服务器，Kafka也可以轻松支持每秒百万级的写入请求，超过了大部分的消息中间件，这种特性也使得Kafka在日志处理等海量数据场景广泛应用。针对Kafka的基准测试可以参考，Apache Kafka基准测试：每秒
转载
2024-03-22 08:36:54
101阅读
