一、Kafka基础应该大部份小伙伴都清楚，用机油装箱举个例子 所以消息系统就是如上图我们所说的仓库，能在中间过程作为缓存，并且实现解耦合的作用。引入一个场景，我们知道中国移动，中国联通，中国电信的日志处理，是交给外包去做大数据分析的，假设现在它们的日志都交给了你做的系统去做用户画像分析。按照刚刚前面提到的消息系统的作用，我们知道了消息系统其实就是一个模拟缓存 ，且仅仅是起到了缓
一、Kafka基础应该大部份小伙伴都清楚，用机油装箱举个例子 所以消息系统就是如上图我们所说的仓库，能在中间过程作为缓存，并且实现解耦合的作用。引入一个场景，我们知道中国移动，中国联通，中国电信的日志处理，是交给外包去做大数据分析的，假设现在它们的日志都交给了你做的系统去做用户画像分析。按照刚刚前面提到的消息系统的作用，我们知道了消息系统其实就是一个模拟缓存 ，且仅仅是起到了缓
简介生产消费消息投递语义文件组织常用配置项简介kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。kafka对外使用topic的概念，生产者往topic里写消息，消费者从读消息。为了做到水平扩展，一个topic实际是由多个partition组成的，遇到瓶颈时，可以通过增
消息队列是分布式系统中重要的中间件，在实现系统高性能，高可用，可伸缩性和最终一致性架构框架中扮演着重要角色。是大型分布式系统不可缺少的核心中间件之一。目前市面上比较常见的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ，NSQ等。本文将对三款优秀消息中间件（nsq,kafka,rocketMq）的实现架构进行简单介绍。一、分布式场景下MQ能解决
转载
2024-10-25 15:54:21
67阅读
一、下载kafka_2.12-2.4.0.tgz并解压至/home/kafka_2.12-2.4.0二、配置kafka 2.1 创建kafka日志文件夹：/home/kafka_2.12-2.4.0/logs2.2 创建zookeeper数据目录：/tmp/zookeeper2.3 配置/home/kafka_2.12-2.4.0/config/server.properties&nbs
转载
2024-10-30 20:33:53
20阅读
一、Kafka 工作流程及文件存储机制1.1 Kafka 工作流程 Kafka 中消息是以 topic 进行分类的，生产者生产消息，消费者消费消息，都是面向 topic的。topic 是逻辑上的概念，而 partition 是物理上的概念，每个 partition 对应于一个 log 文件，该 log 文件中存储的就是 producer 生产的数据。Producer 生产的数据会被不断追加到该lo
转载
2024-10-10 12:49:37
172阅读
本文对 Kafka 的基本组件的实现细节及其基本应用进行了详细介绍，同时，也熬了几天夜画了图解，希望能让大家对 Kafka 核心知识的有了更深刻的理解，最后也总结了 Kafka 在实际业务中的应用。跟着小羽一起熟悉一下Kafka的小秘密吧！ 大家好，我是小羽前言今天给大家带来的的是关于我们的老朋友Kafka的来世今生。随着对实时性的要求越来越高，那么在庞大的
Kafka 架构简介 Kafka是一个开源的、分布式的、可分区的、可复制的基于日志提交的发布订阅消息系统。它具备以下特点：·消息持久化： 为了从大数据中获取有价值的信息，任何信息的丢失都是负担不起的。Kafka使用了O(1)的磁盘结构设计，这样做即便是在要存储大体积的数据时也是可以提供稳定的性能。使用Kafka时，message会被存储并且会被复制以防止数据丢失。·高吞吐量： 设计是工作
在存储机制上，使用了Log Structured Merge Trees(LSM) 。注：Log Structured Merge Trees(LSM)，谷歌 “BigTable” 的论文，中提出，LSM是当前被用在许多产品的文件结构策略：HBase, Cassandra, LevelDB, SQLite,Kafka。LSM被设计来提供比传统的B+树或者ISAM更好的写操作吞吐量，通过消去随机的本
# Spark 2 和 Spark 3 的区别解析
Apache Spark 是一个强大的数据处理引擎，广泛应用于大数据处理和机器学习等领域。随着技术的不断进步，Spark 也在不断演进。本文将对 Spark 2 和 Spark 3 之间的主要区别进行讨论，包括性能改进、新特性和代码示例等内容。
## 新特性
### 1. 性能提升
Spark 3 引入了许多性能优化，最显著的是对 `Ad
1、前言本篇内容主要介绍 dubbo-admin的安装使用，以下采用的为当前最新版本的dubbo-admin备注：该版本的dubbo-admin采用前后端分离，前端采用vue.js 和 Vuetify，所以在安装之前需要先安装 node.js 环境，后端是采用springboot，为了下面打包方便请提前安装配置好maven环境。2、dubbo-admin 安装2.1 安装 node.js 环境下面
rabbitmq
rabbitmq的消息可靠性rabbitmq-幂等引出的性能分析rocketmq
从rabbitmq到rocketmqkafka
从rocketmq到kafka：集群、一致性与重平衡pulsar
本篇综合对比
本篇先来谈谈 pulsarpulsar 可以简单的看做是 broker 集群 + bookkeeper集群 构成。broker 集群属于无状态
转载
2024-05-20 19:08:14
59阅读
文章目录一、为什么要了解Python3和Python2的区别二、版本区别使用1、print2、range 与 xrange3、字符串4、异常处理5、打开文件6、标准输入7、除法运算8、自定义类型
一、为什么要了解Python3和Python2的区别 随着时间进入2020年这个节点，Python官方发表声明不在维护Python2版本的技术更新，成为了Python开发领域一个重要拐点。目前
转载
2023-08-06 13:31:08
57阅读
众所周知，Hadoop生态系统发展至今，已经汇集了超过二十个组件，这些组件各自致力于解决大数据处理当中所遇到的问题，同时基于Hadoop集群，也能实现很好的协作运行，共同来完成大数据处理各个环节的任务。其中涉及Kafka组件，有同学在问Hadoop和Kafka啥关系，下面我们就来解答一下。 首先，我们必须要了解一个事实，Hadoop和Kafka同属于Apache软件基金会，都是Apa
转载
2023-11-18 23:14:38
139阅读
1.性能 Py3.0运行 pystone benchmark的速度比Py2.5慢30%。Guido认为Py3.0有极大的优化空间，在字符串和整形操作上可 以取得很好的优化结果。 Py3.1性能比Py2.5慢15%，还有很大的提升空间。 2.编码 Py3.X源码文件默认使用utf-8编码，这就使得以下代码是合法的：
转载
精选
2015-08-26 01:36:50
245阅读
对于小白的我而言，美团技术团队的这边文章还是写的非常不错，理论分析清楚易懂。倒是研读完文章，发现在性能分析中kryo从性能和空间上来说得分都是挺高的，不过作者却没有提到这个，因此我又搜索了一下kryo:;这边文章倒是提供了另外一种适合写论文的思考方式，如何更准确的去分析序列化的优劣，对于作者对序列化后的结果的精确分析还是非常欣赏的。[转]序列化和反序列化刘丁 · 2015-02
正常大家都这么问的，但是实际上应该是想问：kafka和redis queue有什么区别？，因为redis是一个基于内存的kv数据库，而kafka是分布式发布订阅消息系统。两者本身不是同样一个层次的东西。redis中有一个queue的数据类型，用来做发布/订阅系统，这个就可以和kafka进行比较了哈。 一、存储介质不同redis queue数据是存储在内存，虽然有AOF和RDB的持久化方式
转载
2023-08-15 17:09:23
369阅读
继续之前的RxJava 操作符系列文档，今天来研究一下do 操作符，也可以理解为 rxJava 各种事件的回调，比如当发生了onError ,我想在此做些什么，就可以使用一个回调操作，就可以用doOnError () 来实现。好了，老规矩，先列出参考文章来看看官方解释register an action to take upon a variety of Observable lifecycle
中文官网: Apache Dubbodljd：springcloud也是一个分布式框架。springcloud是dubbo的直接竞争对手，目前阶段dubbo和springcloud的使用各占一半，即50%，因此这两个框架大家都必须得掌握。dljd：对RMI的理解，有助于我们以后学习dubbo和springcloud一 需求调研、需求分析（即应用场景）Dubbo既然是一个RPC框架，那么主
转载
2024-10-13 22:11:52
125阅读
快速发展的开发人员社区、对各种后端技术（包括JMS、JTA、JDO、Hibernate、iBATIS等等）的支持，以及（更为重要的）非侵入性的轻量级IoC容器和内置的AOP运行时，这些因素使得Spring Framework对于J2EE应用程序开发十分具有吸引力。Spring托管的组件（POJO）可以与EJB共存，并允许使用AOP方法来处理企业应用程序中的横切方面——从监控和审计、缓存及应用程序级
转载
2024-10-10 13:44:52
45阅读
