目录I/O模型的一些基本概念I/O模型阻塞式I/O模型非阻塞式I/OI/O复用信号驱动式I/O异步I/O模型比较I/O模型的一些基本概念POSIX定义同步I/O操作（Synchronous I/O operation）导致请求进程阻塞，直到I/O操作完成异步I/O操作（Asynchronous I/O operation)不导致请求进程阻塞阻塞( Blocking )阻塞调用是指调用结果返回之前，
转载
2024-05-02 20:24:13
22阅读
Kafka的非阻塞重试是通过为主题配置重试主题来实现的。如果需要，还可以配置额外的死信主题。如果所有重试都耗尽，事件将被转发到DLT。在公共领域中有很多资源可用于了解技术细节。对于代码中的重试机制编写集成测试确实是一项具有挑战性的工作。以下是一些测试方法，可以用来验证重试机制的正确性：验证事件已经按照所需的次数进行了重试：在测试中，模拟一个会触发重试的事件，并设置重试次数为所需的次数。使用断言来验
原创
2023-08-30 09:30:16
141阅读
1. 什么是阻塞队列？阻塞队列（BlockingQueue）是一个支持两个附加操作的队列。这两个附加的操作是：在队列为空时，获取元素的线程会等待队列变为非空。当队列满时，存储元素的线程会等待队列可用。阻塞队列常用于生产者和消费者的场景，生产者是往队列里添加元素的线程，消费者是从队列里拿元素的线程。阻塞队列就是生产者存放元素的容器，而消费者也只从容器里拿元素。阻塞队列提供了四种处理方法:方法\处
转载
2024-07-12 07:24:47
29阅读
spring kafka 可能会有的消息丢失的问题 以及解决方案1.Kafka发送消息的两种方式Kafka发送消息分为同步（sync）、异步（async）在与spring集成中通过配置文件修改 配置文件放在文末<entry key="acks" value="1" />acks = 0；表示producer不需要等待broker确认收到消息acks = 1；表示producer至少需要
转载
2024-03-16 13:32:03
374阅读
nio 是 java New IO 的简称，也被说成是nonblocking(非阻塞) IO 的简称，在 jdk1.4 里提供的新 api 。 Sun 官方标榜的特性如下：– 为所有的原始类型提供 (Buffer) 缓存支持。–&n
比如，系统之间同步数据，A系统
原创
2023-06-28 14:20:42
255阅读
目录 Kafka生产者端可靠性保证：spring-kafka生产端 Kafka生产者端可靠性保证：producer向broker发送消息数据，需要有一定的可靠性，至少要保证数据：1、不丢失2、不重复producer提供了一些参数，在编写producer是进行合理设置和编写，就可以保证数据的可靠性。acks 参数配置为保证producer发送的数据能够可靠的发送到指定topic，topic的每
转载
2024-03-21 10:20:39
17阅读
Kaka-python总结目录Kaka-python总结kafka基本配置Kafka原理（不知道原理必然出现的bug让你懵逼，让你业务无所适从）kafka-python基本Api(必须看，不然你不知道你怎么写代码) 自动提交kafka手动提交kafka 主要参考博客及自己测试kafka基本配置安装和配置请参考我的另一篇博文 KAFKA集群搭建Kafka原理（不知道原理必然出现的
如果在某种算法中，一个线程的失败或挂起不会导致其他线程也失败和挂起，那么这种算法就被称为非阻塞算法。如果在算法的每个步骤中都存在某个线程能够执行下去，那么这种算法也被称为无锁(Lock-Free)算法。如果在算法中仅将CAS用于协调线程之间的操作，并且能正确地实现，那么它既是一种无阻塞算法，又是一种无锁算法。创建非阻塞算法的关键在于，找出如何将原子修改的范围缩小到单个变量上，同时还要维护数据的一致
转载
2024-04-12 06:09:05
75阅读
幂等写：针对的是producer，并且只能 保证同一个分区的消息不重复 acks：kafka的客户端（Producer），发送一条数据，会等待broker返回成功的响应； 有三种配置：ProducerConfig.ACKS_CONFIG=“?” 0：不需要响应，producer发送就完了，不管broker是否消费成功； 1：只需要broker的leader返回响应 就行，不需要followers的
转载
2024-03-26 10:00:16
1024阅读
1、应该为生产者配置多少次的重试次数比较好？这个取决于你对你的应用的定位，如果你想抓住异常并想再重试几次，那么你可以将重试次数设置的多一些，如果你想直接丢弃消息，因为就算丢失消息也对你应用不受影响，而且多次重启之后带来的延迟对你的应用来说已经无意义，
那么你可以停止重试。或者你想将消息保存到某个地方然后回过头来继续处理，那就停止重试。2、在消费一个批次的消息时，如果其中的某个消息没被处理成功，而你
转载
2024-03-05 21:11:04
199阅读
Kafka 提供了一个消息交付可靠性保障以及精确处理一次语义的实现。通常来说消息队列都提供多种消息语义保证最多一次 (at most once): 消息可能会丢失，但绝不会被重复发送。至少一次 (at least once): 消息不会丢失，但有可能被重复发送。精确一次 (exactly once): 消息不会丢失，也不会被重复发送。 默认情况下社区维护的 python-kafka 包会
转载
2024-04-08 21:34:51
260阅读
作者：banq在分布式系统中，重试是不可避免的，我们经常使用后台跑定时进行数据同步，同步不成功就实现重试，重试次数多少取决于你追求一致性还是可用性，如果希望两个系统之前无论如何都必须一致，那么你设置重试次数为无限,当然这是理想情况，实际情况是有重试次数限制和重试时间限制，如果超过不成功怎么办？丢弃会造成数据丢失进而永久不一致，人工介入又非常复杂，通过引入死信队列可以优雅处理这种问题。本文
转载
2024-02-26 13:31:08
157阅读
kafka没有重试机制不支持消息重试，也没有死信队列，因此使用kafka做消息队列时，需要自己实现消息重试的功能。实现创建新的kafka主题作为重试队列：创建一个topic作为重试topic，用于接收等待重试的消息。普通topic消费者设置待重试消息的下一个重试topic。从重试topic获取待重试消息
转载
2024-03-20 10:11:30
206阅读
java中的阻塞和非阻塞队列实现一个队列的线程安全，有两种方式：
1）使用阻塞队列，即出队和入队共用一把锁或者各自使用一把锁来实现
2）非阻塞队列：可以利用循环CAS的方式实现java中的阻塞队列阻塞队列是一个支持两个附加操作的队列，即支持阻塞的插入和移除。
1. 阻塞的插入：当前队列已经满了的时候，队列会阻塞插入元素的线程，直到队列不满
2. 阻塞的移除：当前队列为空的时候，获取元素的队
转载
2023-08-29 22:02:50
124阅读
阻塞排队买东西 在排队的过程中不能做其他事情非阻塞我在排队的过程中还可以玩手机 聊天等同步你等待事件返回结果异步不用等待事件返回结果事件会主动回调你...
原创
2022-12-13 10:23:24
505阅读
原文：1.closesocket（一般不会立即关闭而经历TIME_WAIT的过程）后想继续重用该socket：BOOL bReuseaddr=TRUE;setsockopt(s,SOL_SOCKET, SO_REUSEADDR, (const char*)&bReuseaddr,sizeof(BOOL));2. 如果要已经处于连接状态的soket在调用closesocket后强制
转载
2024-04-01 17:28:12
39阅读
ZMQ特点普通的socket是端对端的关系，ZMQ是N:M的关系，socket的连接需要显式地建立连接，销毁连接，选择协议(TCP/UDP)和错误处理，ZMQ屏蔽了这些细节，像是一个封装了的socket库，让网络编程变得更简单。ZMQ不光用于主机与主机之间的socket通信，还可以是线程和进程之间的通信。ZMQ提供的套接字可以在多种协议中传输消息，线程间，进程间，TCP等。可以使用套接字创建多种消
转载
2024-03-17 11:25:42
88阅读
一、设备的阻塞与非阻塞 阻塞操作是指，在执行设备操作时，若不能获得资源，则进程挂起直到满足可操作的条件再进行操作。非阻塞操作的进程在不能进行设备操作时，并不挂起。被挂起的进程进入sleep状态，被调度器的运行队列移走，直到等待的条件被满足。在Linux驱动程序中，我们可以使用等待队列（wait queue）来实现阻塞操作。注：当使用socket()函数和WSASocket()函数创建套接字时，默
转载
2023-05-31 17:46:58
137阅读
同步与异步函数或方法被调用的时候
调用者能直接得到最终结果的是同步调用，
调用者不能直接得到最终结果的是异步调用。
以去餐厅吃饭为例，同步就是去点菜正好有一份做好的可以直接吃，异步就是饭还没做好。阻塞与非阻塞函数或方法被调用的时候
立即返回的是非阻塞调用
不能立即返回的就是阻塞调用
阻塞就是饭没好我就一直等着，非阻塞就是我取个号然后去买个彩票等饭好了我再去。区别同步、异步与阻塞、非阻塞不相关。同步
转载
2024-04-22 14:10:31
110阅读
