51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频 免费课程 课程排行 直播课 软考学堂
全部课程 厂商认证 IT技术 24年11月软考 PMP项目管理 免费题库
在线学习
文章 资源 问答 课堂 专栏 直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
# 架构
分布式流处理组件-生产实战：Broker副本与优化

分布式流处理组件-生产实战：Broker副本与优化

Kafka中存储消息数据看似在向Topic写入，但其实Topic只是逻辑上的概念，实际上数据最终都以Partition为落点. 接下来我们好好的来分析下Partition的相关信息

kafka
kafka优化
原创 2023-08-03 17:08:14 55 阅读 yyds干货盘点
分布式流处理组件-生产实战：Broker节点负载

分布式流处理组件-生产实战：Broker节点负载

系统环境中由于业务不断调整，集群中Broker节点数量并不固定，此时不可避免的需要动态增减节点。为了保证集群的高可用性，此时不可避免的人为干预～

kafka
broker
负载均衡
原创 2023-06-22 19:13:18 116 阅读
分布式流处理组件-理论篇：Broker

分布式流处理组件-理论篇：Broker

? 作者：谢先生。 2014年入行的程序猿。多年开发和架构经验。专注于Java、云原生、大数据等技术。从CRUD入行，负责过亿级流量架构的设计和落地，解决了千万级数据治理问题。 ? 微信公众号、B站：搜索「谢先生说技术」不定时更新 ～ ? 清单： goku-framework、【定期开源】享阅读II 前言 通过之前几章的介绍，我们对Producer有了一定的认识。接下来我们将开启新篇章：Bro

kafka
服务器
负载均衡
原创 精选 2023-06-10 23:13:31 240 阅读
分布式流处理组件-优化篇：Producer生产调优之数据可靠性

分布式流处理组件-优化篇：Producer生产调优之数据可靠性

? 作者：谢先生。 2014年入行的程序猿。多年开发和架构经验。专注于Java、云原生、大数据等技术。从CRUD入行，负责过亿级流量架构的设计和落地，解决了千万级数据治理问题。 ? 微信公众号、B站：搜索「谢先生说技术」不定时更新 ～ ? 清单： goku-framework、【定期开源】享阅读II 前言 经过上一章的介绍，我们从配置参数方面了解到一部分生产调优的方式。当然： 参数需要我们通

数据
幂等
kafka
原创 精选 2023-05-24 07:00:37 267 阅读 yyds干货盘点
分布式流处理组件-优化篇：Producer生产调优之核心参数

分布式流处理组件-优化篇：Producer生产调优之核心参数

? 作者： 谢先生。 2014年入行的程序猿。多年开发和架构经验。专注于Java、云原生、大数据等技术。从CRUD入行，负责过亿级流量架构的设计和落地，解决了千万级数据治理问题。 ? 微信公众号、B站：搜索「谢先生说技术」不定时更新 ～ ? 清单： goku-framework、【定期开源】享阅读II 前言 发句牢骚： 最近真的累。年后第三天就去出差。3月回来马上又投入到新项目中~ ┓(;

kafka
原创 推荐 2023-03-19 14:38:12 283 阅读 yyds干货盘点
分布式流式处理组件-理论篇： Producer分区

分布式流式处理组件-理论篇： Producer分区

前面我们已经对Producer发送原理做了一个比较详细的说明，其中我们提到了****分区器****。其实从整体结构上来讲，分区器也是属于一个非常重要的知识点，所以我们来专门对分区以及分区策略等内容做一个介绍。

Kafka
kafka分区器
原创 推荐 2023-03-06 10:47:14 357 阅读 yyds干货盘点

分布式流处理组件-理论篇：Producer入门理论

前面两章我们花费了很长的时间将Kafka的整体架构，包括其中涉及到的角色、每个角色所对对应的用途进行了整体的一个串联。然后我们也通过Kafka所提供的脚本进行了相对应的操作，并且对核心参数进行了分析。现在我们开始对生产者进行介绍～

数据
kafka
序列化
原创 精选 2023-02-09 22:42:41 173 阅读 1点赞 yyds干货盘点
分布式流处理组件-理论实战结合篇：Kafka实战演练，基操勿6~

分布式流处理组件-理论实战结合篇：Kafka实战演练，基操勿6~

? 作者： 俗世游子。 2014年入行的程序猿。多年开发和架构经验。专注于Java、云原生、大数据等技术。从CRUD入行，负责过亿级流量架构的设计和落地，解决了千万级数据治理问题。 ? 微信公众号：「谢先生说技术」关注同头像哦～? 同名社区：​​51CTO​​​、 ​​github​​​、掘金​、​​gitee​​​。? 清单： ​​​goku-framework​​​、​​【更新中】享阅读II​

kafka
kafka实战
原创 2023-02-03 22:17:24 206 阅读 yyds干货盘点
分布式流处理组件-理论实战结合篇：Kafka架构理论

分布式流处理组件-理论实战结合篇：Kafka架构理论

当前面已经介绍完关于Kafka的基础安装之后，我们要对Kafka的整体架构有一个比较清晰的认知。别急，精彩来了～～～

kafka
原创 精选 2023-01-26 21:52:01 410 阅读 yyds干货盘点
分布式流处理组件-理论篇：Kafka与安装配置

分布式流处理组件-理论篇：Kafka与安装配置

Apache Kafka is an open-source distributed event streaming platform used by thousands of companies for high-performance data pipelines, streaming analytics, data integration, and mission-critical applications.

Kafka
Zookeeper安装
Kafka基础理论
原创 推荐 2022-11-21 09:02:07 975 阅读 yyds干货盘点
深入浅出DevOps：Jenkins任务构建结果通知

深入浅出DevOps：Jenkins任务构建结果通知

不要问我服务有没有发不好，你等构建通知就好

Jenkins
DevOps
Jenkins通知
原创 精选 2022-10-07 22:18:24 2839 阅读 yyds干货盘点
深入浅出DevOps：流水线任务改造

深入浅出DevOps：流水线任务改造

让我清楚的知道你执行到什么地方

Jenkinsfile
DevOps
CICD
Jenkins流水线
原创 推荐 2022-10-04 19:50:54 1028 阅读 yyds干货盘点
深入浅出DevOps：初识Pipline流水线任务

深入浅出DevOps：初识Pipline流水线任务

让CI任务的每一个过程都像一颗螺丝一样钉在生产线上

DevOps
Pipeline
Jenkins流水线任务
原创 精选 2022-09-29 21:39:03 1351 阅读 yyds干货盘点
深入浅出DevOps：Jenkins基于Harbor部署

深入浅出DevOps：Jenkins基于Harbor部署

减少和其他团队扯皮的时间，专心敲代码

Jenkins
Harbor
Jenkins整合Harbor
原创 推荐 2022-09-25 21:12:13 945 阅读 yyds干货盘点
深入浅出DevOps：私有镜像仓库Harbor

深入浅出DevOps：私有镜像仓库Harbor

让Docker构建的镜像有个“家”

DevOps
Harbor
镜像仓库
原创 推荐 2022-09-22 09:08:52 1688 阅读 yyds干货盘点
深入浅出DevOps：Jenkins构建器

深入浅出DevOps：Jenkins构建器

解放双手，让构建变得更加方便

Jenkins
DevOps
构建器
原创 推荐 2022-09-16 07:45:34 2651 阅读 1收藏 yyds干货盘点
深入浅出DevOps：SonarQube提升代码质量【下】

深入浅出DevOps：SonarQube提升代码质量【下】

在Jenkins横行的世界里，没有手动推送代码的是说法，如何更好的和Jenkins搭配在一起，这是本章的重点内容。那么我们就来看看如何将SonarQube和Jenkins进行整合吧。

Jenkins
SonarQube
Jenkins整合SonarQube
DevOps
原创 推荐 2022-09-12 18:33:19 948 阅读 yyds干货盘点
深入浅出DevOps：简易Docker入门

深入浅出DevOps：简易Docker入门

虽然我们前面有介绍如何通过Docker安装Gitlab和Jenkins，但是为了后续的内容不出现问题，我们有必要介绍一下Docker相关的内容。所以本章主要是对Docker做一个基础入门。方便大家后续的操作

docker
DevOps
敏捷开发
Jenkins
原创 推荐 2022-08-30 21:49:35 1040 阅读 yyds干货盘点
深入浅出DevOps：版本控制Git&Gitlab

深入浅出DevOps：版本控制Git&Gitlab

上一章我们已经介绍了DevOps的流程和在DevOps管理下的生命周期，接下来介绍一下关于版本控制相关的内容

DevOps
git
gitlab
版本控制
原创 推荐 2022-08-25 22:16:08 2884 阅读 私藏项目实操分享
深入浅出DevOps：DevOps核心思想

深入浅出DevOps：DevOps核心思想

深入浅出DevOps核心思想和生命周期，对DevOps的出现有一个清晰的认知。 并且通过本文能够了解DevOps下整个产品的诞生和流程

DevOps
原创 推荐 2022-08-22 21:40:24 1595 阅读 yyds干货盘点
分布式前修课：Etcd锁实现方式

分布式前修课：Etcd锁实现方式

前言这里就是分布式锁的最后一个系列，关于Etcd的方式。很多人可能并没有接触过Etcd，也不知道这是个什么东西。所以我们先来介绍一下关于Etcd的基本概念搞定“Etcd”WhatIsEtcd熟悉Linux的大家都知道，在Linux下存在一个目录:/etc，该目录是一个全局的配置存储目录。而我们要介绍到的Etcd的最初的主要目的也是来解决集群管理系统中OS升级时的分布式并发控制，配置文件的存储和分发

etcd
分布式
架构
原创 精选 2022-08-13 07:28:04 980 阅读 私藏项目实操分享
分布式前修课：Zookeeper锁实现方式

分布式前修课：Zookeeper锁实现方式

聊完MySQL和Redis，我们接下来在聊一聊Zookeeper。相信大家都已经发现了，这些都是我们在开发过程非常常用的技术。搞定他们，一切难题都不在话下。

zookeeper
架构
分布式
原创 推荐 2022-08-08 07:59:32 477 阅读 私藏项目实操分享
分布式前修课：Redis实现分布式锁

分布式前修课：Redis实现分布式锁

基于Redis实现分布式锁

redis
分布式锁
Redisson
架构
原创 推荐 2022-08-06 20:45:56 1950 阅读 私藏项目实操分享
分布式前修课：MySQL实现分布式锁

分布式前修课：MySQL实现分布式锁

前言 前面已经介绍了原理性的内容，如果原理看的不爽，想看点实际展示效果的话，那么它来了它来了，它带着代码走来啦? 基于MySQL分布式锁实现原理及代码来了

架构
分布式锁
mysql锁
原创 推荐 2022-07-29 14:11:17 1460 阅读 1点赞
分布式前修课：分布式锁技术

分布式前修课：分布式锁技术

分布式锁技术 什么是锁？在介绍分布式锁之前，先来了解一下单机锁的问题，在进行下一步的延伸到分布式锁。

分布式
mysql锁
redis锁
etcd锁
zookeeper锁
原创 精选 2022-07-27 10:08:08 383 阅读 yyds干货盘点

Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 全部文章 热门标签 班级博客
了解我们 网站地图 意见反馈
友情链接
鸿蒙开发者社区 51CTO学堂
51CTO 软考资讯