51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
信创认证
公众号矩阵
移动端
视频课 免费课 排行榜 短视频 直播课 软考学堂
全部课程 软考 信创认证 华为认证 厂商认证 IT技术 PMP项目管理 免费题库
在线学习
文章 资源 问答 课堂 专栏 直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库

Kafka实战(二)-Kafka消息模型核心概念

Kafka是分布式的，基于发布订阅的消息系统。 1 特点 同时为发布和订阅提供高吞吐量Kafka每秒可生产约25万条消息（50 MB），每秒处理55万条消息（110 MB） 持久化默认就将消息持久化到磁盘，因此可用于批量消费，例如ETL，以及实时应用程序。通过将数据持久化到硬盘以及防止数据丢失。以O(1)时间复杂度提供消息持久化能力，即使对TB级以上数据也能保证常数时间复杂度的访问性能。 分布式

Kafka
原创 2021-06-24 14:47:45 411 阅读

Kafka实战(四) -Kafka门派知多少

Kafka不是一个单纯的消息引擎系统，而是能够实现精确一次（Exactly-once）处理语义的实时流处理平台 Storm/Spark Streaming/Flink，在大规模流处理领域主流Kafka经过这么长时间不断的迭代，现在已经能够稍稍比肩这些框架 Kafka社区对于这些框架心存敬意 目前国内鲜有大厂将Kafka用于流处理的尴尬境地，毕竟Kafka是从消息引擎“半路出家”转型成流处理平台的

Kafka
原创 2021-06-24 14:47:28 298 阅读

Kafka实战(五) - Kafka的秘技

只有顺应版本,才能成就王者不败神话也是能否用好Kafka的关键。 不论是哪种Kafka，本质上都基于core Apache Kafka那就来说说Apache Kafka版本号的问题 1 缘何"在乎"你这版本号 直接使用最新版本不就好了吗？当然了!这的确是一种有效策略，这种策略并非在任何场景下都适用如果不了解各个版本之间的差异和功能变化，怎么能够准确地评判某Kafka版本是不是满足你的业务需求呢

Kafka
原创 2021-06-24 14:47:11 416 阅读

Kafka实战(3)-Kafka的自我定位

Kafka，具有高水平扩展和高吞吐量的分布式消息系统。 Kafka对消息保存时根据Topic进行归类，发送消息者成为Producer，消息接受者成为Consumer，此外kafka集群有多个kafka实例组成，每个实例(server)称为broker。 无论是Kafka集群,还是producer和consumer都依赖于zookeeper来保证系统可用性，为集群保存一些meta信息。 主流MQ对

Kafka
原创 2021-06-24 14:46:48 419 阅读

Kafka实战(六) - 核心API及适用场景全面解析

1 核心API ● Producer API允许一个应用程序发布一串流式数据到一或多个Kafka topic。 ● Consumer API允许一个应用程序订阅一个或多个topic ,并且对发布给他们的流式数据进行处理。 ● Streams API允许一个应用程序作为一个流处理器，消费一个或者多个topic产生的输入流,然后生产一个输出流到一个或多个topic中去，在输入输出流中进行有效的转换。

Kafka
原创 2021-06-24 14:46:34 426 阅读

Kafka实战(七) - 优雅地部署 Kafka 集群

既然是集群，必然有多个Kafka节点，只有单节点构成的Kafka伪集群只能用于日常测试，不可能满足线上生产需求。真正的线上环境需要考量各种因素，结合自身的业务需求而制定。看一些考虑因素（以下顺序，可是分了顺序的哦） 1 操作系统 - OS 可能你会问Kafka不是JVM上的大数据框架吗？Java又是跨平台的语言，把Kafka安装到不同的操作系统上会有什么区别吗？区别相当大！ 确实，Kafka由S

Kafka
原创 2021-06-24 14:46:20 472 阅读

Kafka 高性能的原因

顺序写，Page Cache 空中接力，高效读写 0 拷贝 后台异步、主动Flush 预读策略，IO调度  

Kafka
原创 2021-06-24 14:46:06 373 阅读

Kafka高性能之道

作为MQ，Kafka的性能说第二，恐难有人敢说第一。一台配置较好的服务器，对Kafka做极限性能压测，Kafka单节点的极限处理能力接近2000万条消息/s，吞吐量达600MB/s。 像全异步化的线程模型、高性能的异步网络传输、自定义的私有传输协议和序列化、反序列化等等，这些方法和优化技巧，Kafka都做到了。 性能优化除了这些通用手段，它还有啥葵花宝典般神技呢？ 批量消息提升服务端处理能力 批

Kafka
原创 2021-06-24 14:45:53 334 阅读

RocketMQ/Kafka等消息队列复制的最佳实践

MQ 在Pro、Con端，依靠业务代码，配合请求确认机制保证 在服务端，采用持久化和复制 保证不会丢消息。 把消息复制到多节点，可 解决丢消息问题 保证消息服务的HA 所以都会把MQ配置成集群模式，并开启消息复制。 那么消息复制需要解决哪些问题呢？ 1 消息复制的指标 期望MQ具备高性能、高可用和数据一致性。很多MQ都声明这些特性全部支持，但都有前置条件。 1.1 性能 无论采用哪种复制，都需数

Kafka
原创 2021-06-24 14:45:39 432 阅读
Kafka消费过程关键源码解析

Kafka消费过程关键源码解析

1 案例引入 官方Consumer最简代码用例： 简短的代码，背后牵涉很多问题，Consumer如何绑定特定分区？如何实现订阅 topic 的？又如何实现拉消息？ 2 订阅流程 订阅主流程主要更新如下关键属性： 订阅状态（SubscriptionState） - subscriptions主要维护所订阅的topic和patition的消费位置等状态信息 元数据中的topic信息 metadat

元数据
偏移量
数据
原创 2021-06-24 14:45:26 438 阅读 yyds干货盘点

ZooKeeper到底为Kafka的做了什么牺牲？

Kafka使用zk实现和RocketMQ的NameServer相似的功能。 1 Kafka的zk有什么作用？ 首先我们来看一下Kafka在ZooKeeper都保存了哪些信息： 0.8.x的旧版本的情况，最新版本的Kafka已经将消费位置管理等一些原本依赖ZooKeeper实现的功能，替换成了其他的实现方式。绿色框形是临时节点，其它是持久节点。 1.1 ids 子树（临时节点） 保存的是Kafka

Kafka
原创 2021-06-24 14:45:07 320 阅读

Kafka源码解析之日志段类LogSegment

1 Kafka日志结构概览 Kafka日志在磁盘上的组织架构 如上图可见，Kafka日志对象由多个日志段对象组成，而每个日志段对象会在磁盘上创建一组文件，包括不止如下： 消息日志文件（.log） 位移索引文件（.index） 时间戳索引文件（.timeindex） 已中止（Aborted）事务的索引文件（.txnindex） 若没有使用Kafka事务，已中止事务的索引文件不会被创建。图中的一串数

Kafka
原创 2021-06-24 14:44:47 303 阅读

Kafka竟然也用二分搜索算法查找索引!

索引应用二分查找算法快速定位查询索引项。 难得的是，Kafka的索引组件中应用了二分查找算法，而且社区还针对Kafka自身的特点对其进行了改良。 索引类图及源文件组织架构 都位于core包的/src/main/scala/kafka/log AbstractIndex.scala定义了最顶层的抽象类，这个类封装了所有索引类型的公共操作。 LazyIndex.scala定义了AbstractIn

Kafka
原创 2021-06-24 14:44:31 320 阅读

Kafka的位移索引和时间戳索引

在Kafka的数据路径下有很多.index和.timeindex后缀文件： .index文件，即Kafka中的位移索引文件 .timeindex文件，即时间戳索引文件。 1 OffsetIndex - 位移索引 1.1 定义 用于根据位移值快速查找消息所在文件位置。 每当Consumer需要从topic分区的某位置开始读消息时，Kafka就会用OffsetIndex直接定位物理文件位置，避免从头

Kafka
原创 2021-06-24 14:44:16 960 阅读

Kafka分区、组消费模式源码解析

1 分区消费模式 直接由客户端(任一语言编写)使用Kafka提供的协议向服务器发送RPC请求获取数据，服务器接受到客户端的RPC请求后，将数据构造成RPC响应，返回给客户端，客户端解析相应的RPC响应获取数据。 Kafka支持的协议众多，使用比较重要的有: 获取消息的FetchRequest和FetchResponse 获取offset的OffsetRequest和OffsetResponse

Kafka
原创 2021-06-24 14:44:00 351 阅读

Kafka生产者消息发布模式源码解析

发送消息的流程 Producer根据指定的partition方法（round-robin、hash等），将消息发布到指定topic的partition里面 kafka集群接收到Producer发过来的消息后，将其持久化到硬盘，并保留消息指定时长（可配置），而不关注消息是否被消费 Consumer从kafka集群pull数据，并控制获取消息的offset 1 同步发送模式源码 2 异步发送模式源码

Kafka
原创 2021-06-24 14:43:46 611 阅读

Kafka Server Reactor设计模型

Acceptor 监听客户端的连接请求，并建立和客户端的数据传输通道，然后为这个客户端指定一个Processor，它的工作就到此结束，这样它就可以去响应下一个客户端的连接请求了。 Processor 主要职责是负责从客户端读取数据和将响应返回给客户端，它本身不处理具体的业务逻辑，每个Processor都有一个Selector，用来监听多个客户端，因此可以非阻塞地处理多个客户端的读写请求，Pro

Kafka
原创 2021-06-24 14:43:32 233 阅读

Kafka Partition Leader选举机制原理详解

1 大数据常用的选主机制 Leader选举算法非常多，大数据领域常用的有以下两种: 1.1 Zab(zookeeper使用) Zab协议有四个阶段 Leader election Discovery (E#epoch establish) Synchronization (5X#sync with followers) Broadcast 比如3个节点选举leader：编号为1、2、3。 1先启

Kafka
原创 2021-06-24 14:43:20 618 阅读

Kafka请求队列源码实现-RequestChannel请求通道

Kafka如何实现请求队列 核心类 Kafka服务端，即Broker，负责消息的持久化，是个不断接收外部请求、处理请求，然后发送处理结果的Java进程。 Broker的高处理性能在于高效保存排队中的请求。Broker底层请求对象的建模请求队列的实现原理Broker请求处理方面的核心监控指标。 Broker与Clients主要基于Request/Response机制交互，所以看看如何建模或定义Re

Kafka
原创 2021-06-24 14:43:02 701 阅读

Kafka选举机制原理

  1 大数据常用的选主机制 Leader选举算法非常多，大数据领域常用的有以下两种： 1.1 Zab(zookeeper使用) Zab协议有四个阶段 Leader election Discovery (E#epoch establish) Synchronization (5X#sync with followers) Broadcast 比如3个节点选举leader

Kafka
原创 2021-06-24 14:42:45 613 阅读

Kafka是如何应用NIO实现网络通信的?

网络通信层 Kafka网络通信层架构 kafka请求全处理流程 请求处理流程： Clients或其他Broker通过Selector机制发起创建连接请求 Processor线程接收请求，并将其转换成可处理的Request对象 Processor线程将Request对象放入Request队列 KafkaRequestHandler线程从Request队列中取出待处理请求，并进行处理 KafkaRe

Kafka
原创 2021-06-24 14:42:09 544 阅读

Kafka源码解析之SocketServer

为何要划分优先级 Kafka处理请求不区分优先级，但这种绝对公平的策略有时会发生问题。比如：创建一个单分区双副本的主题，当时集群中的Broker A机器保存了分区的Leader副本，Broker B保存了Follower副本。突然业务激增，Broker A瞬间积压大量未处理PRODUCE请求。运维“不凑巧”执行了次Preferred Leader选举，将Broker B显式地调整成了Leader

Kafka
原创 2021-06-24 14:41:37 444 阅读

MySQL外键约束

关系键是关系数据库的重要组成部分。关系键是一个表中的一个或几个属性，用来标识该表的每一行或与另一个表产生联系。 其中就包括外键 1 主键（primary key或unique key） 又称主码，数据库表中对储存数据对象予以唯一和完整标识的数据列或属性的组合。一个数据列只能有一个主键，且主键的取值不能缺失，即不能为null。 技术角度看，primary key和unique key有相似之处。但

MySQL
原创 2021-06-24 14:39:15 973 阅读

MySQL中的datetime与timestamp比较

显示 TIMESTAMP列的显示格式与DATETIME列相同。 换句话说，显示宽度固定在19字符，并且格式为YYYY-MM-DD HH:MM:SS。 范围 datetime 以’YYYY-MM-DD HH:MM:SS’格式检索和显示DATETIME值。支持的范围为’1000-01-01 00:00:00’到’9999-12-31 23:59:59’ TIMESTAMP值不能早于1970或晚于20

MySQL
原创 2021-06-24 14:38:12 856 阅读

深入理解MySQL的binlog

1 简介 二进制日志，记录对数据发生或潜在发生更改的SQL语句，并以二进制形式保存在磁盘。 2 Binlog 的作用 主要作用：复制、恢复和审计。归档，也可以用来做主备同步。 3 开启Binlog 3.1 查询当前 MySQL 是否支持 binlog 如下OFF代表不支持 3.2 配置 binlog 格式 修改 my.cnf 文件 查看my.cnf路径 mysql --help --verbo

MySQL
原创 2021-06-24 14:38:00 315 阅读

MySQL 8.0从入门到精通

新的更安全更快的的认证方式 密码管理 5.7中无密码管理新增三个密码管理相关配置项 password_histroy=3 (不能和最近三次使用过的密码相同) password_reuse_interval=90 (不能和最近90天使用过的密码相同) password_require_current=ON (开启后修改密码需要验证旧密码，root用户不需要) 角色管理 MySQL角色是指定的

MySQL
原创 2021-06-24 14:37:40 609 阅读 1点赞

MySQL8.0实战(二) - 数据库的选型

本文主要内容就是来比较一下常见的两种数据存储系统关系型数据库和非关系型数据库的主要特点，以及他们各自适用的场景，让我们在做出选择时不再迷茫。 1 SQL VS NoSQL 2 关系型数据库的特点和适用场景 2.1 关系数据库的特点 2.1.1 数据结构化存储在二维表中 2.1.2 支持事务的原子性A,-致性C,隔离性I,持久性D 特性 2.1.3 支持使用SQL语言对存储在其中的数据进行

MySQL
原创 2021-06-24 14:37:23 382 阅读

MySQL8.0实战(二) - 数据库设计

1 简介 数据库设计(Database Design)是指对于一个给定的应用环境，构造最优的数据库模式，建立数据库及其应用系统，使之能够有效地存储数据，满足各种用户的应用需求（信息要求和处理要求）。在数据库领域内，常常把使用数据库的各类系统统称为数据库应用系统。数据库设计的设计内容包括：需求分析、概念结构设计、逻辑结构设计、物理结构设计、数据库的实施和数据库的运行和维护。 2 数据库建模五部曲

MySQL
原创 2021-06-24 14:36:54 516 阅读

大厂都在用的MySQL主从复制、读写分离及高可用方案

1 单机 =》集群 随着数据量的增大，读写并发的增加，系统可用性要求的提升，单机 MySQL 出现危机： 容量问题，难以扩容，考虑数据库拆分、分库分表 读写压力，QPS 过大，特别是分析类需求会影响到业务事务，考虑多机集群、主从复制 高可用性不足，易宕机，考虑故障转移、MHA/MGR/Orchestrator 高峰时数据库连接数经常超过上限 一致性问题考虑分布式事务，X/A 柔性事务 读写分离的

MySQL
原创 2021-06-24 14:36:33 397 阅读

一文看懂这篇MySQL的锁机制

1 MySQL的三种锁 1.1 表锁 开销小，加锁快 不会出现死锁 锁定粒度大，发生锁冲突的概率最高，并发度最低 1.2 行锁 开销大，加锁慢 会出现死锁 锁定粒度小，发生锁冲突的概率最低，并发度最高 1.3 页锁 开销和加锁时间介于表锁和行锁之间 会出现死锁 锁定粒度介于表锁和行锁之间，并发度一般 1.4 引擎与锁 MyISAM和MEMORY支持表锁 BDB支持页锁,也支持表锁 Innodb既

MySQL
原创 2021-06-24 14:35:46 258 阅读

Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 全部文章 热门标签 班级博客
了解我们 网站地图 意见反馈
友情链接
鸿蒙开发者社区 51CTO学堂
51CTO 软考资讯