谢先生F的博客_Java,Spark,云原生,分布式协调组件,Hadoop系列,Spring全家桶,分布式架构,容器化,Java,MySQL,架构

分布式流处理组件-生产实战：Broker副本与优化

Kafka中存储消息数据看似在向Topic写入，但其实Topic只是逻辑上的概念，实际上数据最终都以Partition为落点. 接下来我们好好的来分析下Partition的相关信息

kafka

kafka优化

原创 1月前 43 阅读 yyds干货盘点

分布式流处理组件-生产实战：Broker节点负载

系统环境中由于业务不断调整，集群中Broker节点数量并不固定，此时不可避免的需要动态增减节点。为了保证集群的高可用性，此时不可避免的人为干预～

kafka

broker

负载均衡

原创 2月前 102 阅读

分布式流处理组件-理论篇：Broker

? 作者：谢先生。 2014年入行的程序猿。多年开发和架构经验。专注于Java、云原生、大数据等技术。从CRUD入行，负责过亿级流量架构的设计和落地，解决了千万级数据治理问题。 ? 微信公众号、B站：搜索「谢先生说技术」不定时更新～ ? 清单： goku-framework、【定期开源】享阅读II 前言通过之前几章的介绍，我们对Producer有了一定的认识。接下来我们将开启新篇章：Bro

kafka

服务器

负载均衡

原创精选 2月前 204 阅读

分布式流处理组件-优化篇：Producer生产调优之数据可靠性

? 作者：谢先生。 2014年入行的程序猿。多年开发和架构经验。专注于Java、云原生、大数据等技术。从CRUD入行，负责过亿级流量架构的设计和落地，解决了千万级数据治理问题。 ? 微信公众号、B站：搜索「谢先生说技术」不定时更新～ ? 清单： goku-framework、【定期开源】享阅读II 前言经过上一章的介绍，我们从配置参数方面了解到一部分生产调优的方式。当然：参数需要我们通

数据

幂等

kafka

原创精选 3月前 213 阅读 yyds干货盘点

分布式流处理组件-优化篇：Producer生产调优之核心参数

? 作者：谢先生。 2014年入行的程序猿。多年开发和架构经验。专注于Java、云原生、大数据等技术。从CRUD入行，负责过亿级流量架构的设计和落地，解决了千万级数据治理问题。 ? 微信公众号、B站：搜索「谢先生说技术」不定时更新～ ? 清单： goku-framework、【定期开源】享阅读II 前言发句牢骚：最近真的累。年后第三天就去出差。3月回来马上又投入到新项目中~ ┓(;

kafka

原创推荐 5月前 256 阅读 yyds干货盘点

分布式流式处理组件-理论篇： Producer分区

前面我们已经对Producer发送原理做了一个比较详细的说明，其中我们提到了****分区器****。其实从整体结构上来讲，分区器也是属于一个非常重要的知识点，所以我们来专门对分区以及分区策略等内容做一个介绍。

Kafka

kafka分区器

原创推荐 5月前 355 阅读 yyds干货盘点

分布式流处理组件-理论篇：Producer入门理论

前面两章我们花费了很长的时间将Kafka的整体架构，包括其中涉及到的角色、每个角色所对对应的用途进行了整体的一个串联。然后我们也通过Kafka所提供的脚本进行了相对应的操作，并且对核心参数进行了分析。现在我们开始对生产者进行介绍～

数据

kafka

序列化

原创精选 6月前 165 阅读 1点赞 yyds干货盘点

分布式流处理组件-理论实战结合篇：Kafka实战演练，基操勿6~

? 作者：俗世游子。 2014年入行的程序猿。多年开发和架构经验。专注于Java、云原生、大数据等技术。从CRUD入行，负责过亿级流量架构的设计和落地，解决了千万级数据治理问题。 ? 微信公众号：「谢先生说技术」关注同头像哦～? 同名社区：51CTO、 github、掘金、gitee。? 清单： goku-framework、【更新中】享阅读II

kafka

kafka实战

原创 6月前 192 阅读 yyds干货盘点

分布式流处理组件-理论实战结合篇：Kafka架构理论

当前面已经介绍完关于Kafka的基础安装之后，我们要对Kafka的整体架构有一个比较清晰的认知。别急，精彩来了～～～

kafka

原创精选 7月前 369 阅读 yyds干货盘点

分布式流处理组件-理论篇：Kafka与安装配置

Apache Kafka is an open-source distributed event streaming platform used by thousands of companies for high-performance data pipelines, streaming analytics, data integration, and mission-critical applications.

Kafka

Zookeeper安装

Kafka基础理论

原创推荐 9月前 941 阅读 yyds干货盘点

深入浅出DevOps：Jenkins任务构建结果通知

不要问我服务有没有发不好，你等构建通知就好

Jenkins

DevOps

Jenkins通知

原创精选 10月前 2439 阅读 yyds干货盘点

深入浅出DevOps：流水线任务改造

让我清楚的知道你执行到什么地方

Jenkinsfile

DevOps

CICD

Jenkins流水线

原创推荐 10月前 946 阅读 yyds干货盘点

深入浅出DevOps：初识Pipline流水线任务

让CI任务的每一个过程都像一颗螺丝一样钉在生产线上

DevOps

Pipeline

Jenkins流水线任务

原创精选 11月前 1201 阅读 yyds干货盘点

深入浅出DevOps：Jenkins基于Harbor部署

减少和其他团队扯皮的时间，专心敲代码

Jenkins

Harbor

Jenkins整合Harbor

原创推荐 11月前 851 阅读 yyds干货盘点

深入浅出DevOps：私有镜像仓库Harbor

让Docker构建的镜像有个“家”

DevOps

Harbor

镜像仓库

原创推荐 2022-09-22 09:08:52 1561 阅读 yyds干货盘点

深入浅出DevOps：Jenkins构建器

解放双手，让构建变得更加方便

Jenkins

DevOps

构建器

原创推荐 2022-09-16 07:45:34 2554 阅读 1收藏 yyds干货盘点

深入浅出DevOps：SonarQube提升代码质量【下】

在Jenkins横行的世界里，没有手动推送代码的是说法，如何更好的和Jenkins搭配在一起，这是本章的重点内容。那么我们就来看看如何将SonarQube和Jenkins进行整合吧。

Jenkins

SonarQube

Jenkins整合SonarQube

DevOps

原创推荐 2022-09-12 18:33:19 830 阅读 yyds干货盘点

深入浅出DevOps：SonarQube提升代码质量

在这个越来越卷的时代下，我们应该慢慢的提高自己的专业素养。代码质量和安全也是其中最重要的一环。SonarQube作为其中的佼佼者，并且能够作为DevOps其中的一环，自然而然的占据了重要的位置。接下来跟随我的脚步来看看如何入门SonarQube吧

DevOps

SonarQube

SonarScanner

原创推荐 2022-09-07 20:08:34 4868 阅读 yyds干货盘点

深入浅出DevOps：Jenkins实战之CI

本章就到了最最激动人心的时刻，就是通过这些来上手Jenkins，通过一个实际的小栗子将整个CI流程处理完成，通过这个小栗子可以对这个Jenkins的实际操作有一个具体的概念，并且得到相关经验！！！

Jenkins

DevOps

DevOps实战

SpringBoot

原创推荐 2022-09-04 14:27:43 1155 阅读 yyds干货盘点

深入浅出DevOps：简易Docker入门

虽然我们前面有介绍如何通过Docker安装Gitlab和Jenkins，但是为了后续的内容不出现问题，我们有必要介绍一下Docker相关的内容。所以本章主要是对Docker做一个基础入门。方便大家后续的操作

docker

DevOps

敏捷开发

Jenkins

原创推荐 2022-08-30 21:49:35 947 阅读 yyds干货盘点

深入浅出DevOps：持续集成工具Jenkins

Jenkins

CI

CD

DevOps

原创推荐 2022-08-29 22:05:47 1135 阅读 yyds干货盘点

深入浅出DevOps：版本控制Git&Gitlab

上一章我们已经介绍了DevOps的流程和在DevOps管理下的生命周期，接下来介绍一下关于版本控制相关的内容

DevOps

git

gitlab

版本控制

原创推荐 2022-08-25 22:16:08 2701 阅读私藏项目实操分享

深入浅出DevOps：DevOps核心思想

深入浅出DevOps核心思想和生命周期，对DevOps的出现有一个清晰的认知。并且通过本文能够了解DevOps下整个产品的诞生和流程

DevOps

原创推荐 2022-08-22 21:40:24 1267 阅读 yyds干货盘点

分布式前修课：Etcd锁实现方式

前言这里就是分布式锁的最后一个系列，关于Etcd的方式。很多人可能并没有接触过Etcd，也不知道这是个什么东西。所以我们先来介绍一下关于Etcd的基本概念搞定“Etcd”WhatIsEtcd熟悉Linux的大家都知道，在Linux下存在一个目录:/etc，该目录是一个全局的配置存储目录。而我们要介绍到的Etcd的最初的主要目的也是来解决集群管理系统中OS升级时的分布式并发控制，配置文件的存储和分发

etcd

分布式

架构

原创精选 2022-08-13 07:28:04 740 阅读私藏项目实操分享

分布式前修课：Zookeeper锁实现方式

聊完MySQL和Redis，我们接下来在聊一聊Zookeeper。相信大家都已经发现了，这些都是我们在开发过程非常常用的技术。搞定他们，一切难题都不在话下。

zookeeper

架构

分布式

原创推荐 2022-08-08 07:59:32 462 阅读私藏项目实操分享

分布式前修课：Redis实现分布式锁

基于Redis实现分布式锁

redis

分布式锁

Redisson

架构

原创推荐 2022-08-06 20:45:56 1900 阅读私藏项目实操分享

分布式前修课：MySQL实现分布式锁

前言前面已经介绍了原理性的内容，如果原理看的不爽，想看点实际展示效果的话，那么它来了它来了，它带着代码走来啦? 基于MySQL分布式锁实现原理及代码来了

架构

分布式锁

mysql锁

原创推荐 2022-07-29 14:11:17 1326 阅读 1点赞

分布式前修课：分布式锁技术

分布式锁技术什么是锁？在介绍分布式锁之前，先来了解一下单机锁的问题，在进行下一步的延伸到分布式锁。

分布式

mysql锁

redis锁

etcd锁

zookeeper锁

原创精选 2022-07-27 10:08:08 331 阅读 yyds干货盘点

数据结构：深入二进制的世界

牛逼的算法不一定牛逼，有可能是数据结构选的好。同样0和1的魅力无法挡！！！能够深入研究到0和1，才算是真正打开了算法的大门。

数据结构

二进制

原创推荐 2022-07-25 11:13:42 763 阅读

MySQL深入研究：表数据操作

非常详细的介绍操作MySQL数据的过程，包含数据的CRUD，各种查询方式，不同的体验。包括在面试中常见的题：行转列的2中解决方式

MySQL

CRUD

原创推荐 2021-05-06 09:05:53 2849 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	在线客服	网站地图	意见反馈

开源基础软件社区	51CTO学堂
51CTO	汽车开发者社区

51CTO博客

谢先生F的技术圈

分布式流处理组件-生产实战：Broker副本与优化

分布式流处理组件-生产实战：Broker节点负载

分布式流处理组件-理论篇：Broker

分布式流处理组件-优化篇：Producer生产调优之数据可靠性

分布式流处理组件-优化篇：Producer生产调优之核心参数

分布式流式处理组件-理论篇： Producer分区

分布式流处理组件-理论篇：Producer入门理论

分布式流处理组件-理论实战结合篇：Kafka实战演练，基操勿6~

分布式流处理组件-理论实战结合篇：Kafka架构理论

分布式流处理组件-理论篇：Kafka与安装配置

深入浅出DevOps：Jenkins任务构建结果通知

深入浅出DevOps：流水线任务改造

深入浅出DevOps：初识Pipline流水线任务

深入浅出DevOps：Jenkins基于Harbor部署

深入浅出DevOps：私有镜像仓库Harbor

深入浅出DevOps：Jenkins构建器

深入浅出DevOps：SonarQube提升代码质量【下】

深入浅出DevOps：SonarQube提升代码质量

深入浅出DevOps：Jenkins实战之CI

深入浅出DevOps：简易Docker入门

深入浅出DevOps：持续集成工具Jenkins

深入浅出DevOps：版本控制Git&Gitlab

深入浅出DevOps：DevOps核心思想

分布式前修课：Etcd锁实现方式

分布式前修课：Zookeeper锁实现方式

分布式前修课：Redis实现分布式锁

分布式前修课：MySQL实现分布式锁

分布式前修课：分布式锁技术

数据结构：深入二进制的世界

MySQL深入研究：表数据操作