从自上而下的角度去理解 Kafka
竟然发现了很多之前学习过程中忽略掉的东西更特别地是，我发现这种学习方法能够帮助我维持较长时间的学习兴趣，不会阶段性地产生厌烦情绪Apache Kafka 是消息引擎系统，也是一个分布式流处理平台
LinkedIn 最开始有强烈的数据强实时处理方面的需求，其内部的诸多子系统要执行多种类型的数据处理与分析，主要包括业务系统和应用程序性能监控以及用户行为数据处理等当时
转载
2024-11-02 11:28:19
42阅读
内容简介《深入理解Kafka：核心设计与实践原理》从Kafka的基础概念切入，循序渐进地转入对其内部原理的剖析。《深入理解Kafka：核心设计与实践原理》主要阐述了Kafka中生产者客户端、消费者客户端、主题与分区、日志存储、原理解析、监控管理、应用扩展及流式计算等内容。虽然Kafka的内核使用Scala语言编写，但《深入理解Kafka：核心设计与实践原理》基本以Java语言作为主要的示例语言，方
原创
2024-01-27 10:35:38
234阅读
本文章为书籍《深入理解Kafka》的读书笔记，不负任何版权责任。Kafka特征：系统解耦，流量削峰，冗余存储，持久化到磁盘，提供消息顺序性保障及回溯。目录：架构生产者消费者日志存储问题讨论名词：Producer：生产者，发送消息Consumer：消费者，接收消息，进行业务逻辑处理Zookeeper：树状2f+1集群保存metadataBroker：服务代理节点，将消息持久化到磁盘
转载
2024-03-05 15:18:34
85阅读
前言：消息队列技术广泛用于异步处理，应用解耦，流量削峰，日志处理等场景，对于一个热爱技术的程序员来说怎么能不去学习这一酷炫的技术呢？而为什么要选取kafka来进行学习？我认为kafka的中文学习资料是比较多的，而且kafka的国内开发者以及使用者比较多，最后是kafka是比较“重”的消息队列，我相信能把kafka搞定，其他的消息队列那也不成问题了！kafka基本概念：分区模型：Kafka集群向多个
一、Kafka介绍Kafka是由LinkedIn开发的一个分布式的消息系统，底层使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。综上，Kafka是一种分布式的，基于发布/订阅的消息系统，能够高效并实时的吞吐数据，以及通过分布式集群及数据复制冗余机制（副本冗余机制）实现数据的安全
转载
2024-02-13 14:50:53
436阅读
深入浅出LLVM什么是LLVM？LLVM项目是模块化、可重用的编译器以及工具链技术的集合。美国计算机协会 (ACM) 将其2012 年软件系统奖项颁给了LLVM，之前曾经获得此奖项的软件和技术包括:Java、Apache、 Mosaic、the World Wide Web、Smalltalk、UNIX、Eclipse等等。创始人:Chris Lattner亦是Swift之父。趣闻：Chris L
转载请注明出处： 1.1 kafka简介 Kafka 起初是由 Linkedin 公司采用 S
原创
2023-03-23 09:45:41
124阅读
最近开研究kafka，下面分享一下kafka的设计原理。kafka的设计初衷是希望作为一个统一的信息收集平台,能够实时的收集反馈信息,并需要能够支撑较大的数据量,且具备良好的容错能力. 1、持久性 kafka使用文件存储消息,这就直接决定kafka在性能上严重依赖文件系统的本身特性.且无论任何OS下,对文件系统本身的优化几乎没
原创
精选
2015-03-31 10:17:14
634阅读
点赞
kafka 的功能消息系统Kafka 与传统的消息系统（消息中间件）都具备系统解耦、冗余存储、流量削峰、缓冲、异步通信、扩展性、可恢复性等功能；存储系统Kafka 把消息持久化到磁盘，可以把 Kafka 作为长期的数据存储系统来使用，只需要把对应的数据保留策略设置为永久或启用主题的日志压缩功能；流式处理平台为多个流行的流式处理框架提供了可靠的数据来源和流式处理类库；kafka 系统的组成一个 Zo
MySQL入门姥姥家的程序员带你走进数据库的入门什么是数据库（数据库的概念，DB:DataBase）MySQL数据库的安装数据库定义语言（DDL）一、DDL之操作数据库二、DDL之操作表（下面操作中的[]，代表可选配置）三、DDL之操作字段数据操作语言（DML）：对数据进行操作。数据查询语言（DQL）一、简单查询二、条件查询 姥姥家的程序员带你走进数据库的入门此篇博客献给想入门计算机数据库的小白
转载
2023-12-03 06:54:58
104阅读
主题 4.2 优先副本的选举 4.3 分区重分配 4.4 如何选择合适的分区 4.5分区数越多吞吐量也越高？ 4.1创建主题 如果 broker 端配置参数 auto
原创
2023-02-21 11:00:17
132阅读
4.1 计算机体系结构（Computer Architecture）4.1.1 冯·诺依曼结构两个深远影响的观点：采用二进制，抛弃十进制程序存储（stored-program）4.1.2 哈佛结构对冯诺依曼结构的改进与完善，区别在指令与数据并不保存在同一个存储器。这意味着：指令与数据可以有不同的的数据宽度；执行速度更快。计算机结构的基本元素：中央处理器（CPU）内存储器I/O设备4.2 什么是操作
转载
2024-08-22 21:32:05
81阅读
开源Android pdf 解析 AndroidNDK
androidlibraryjavagooglesun测试
(1) 前段时间项目涉及到pdf阅读，因此我开始找了些源码阅读比较，现在贴出各实现方案的对比。希望对大家有帮助。方便大家的阅读，我将自己认为最好的排在最前。 &nbs
转载
2023-09-13 22:23:14
143阅读
消费者与消费组 3.2 消息消费过程及代码 3.3 消息消费模式 3.4 位移提交 3.5 位移提交过程导致重复消费的现象 3.6 再均衡 3.7Kafka消费端重要的参
原创
2023-02-21 11:00:09
126阅读
第一章 初识Kafka Kafka为一个分布式流处理平台，它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用。 一个典型的Kafka体系架构包含若干Producer、若干Broker、若干Consumer，以及一个Zookeeper集群。 Zookeeper用来负责集群元数据 ...
转载
2021-09-04 19:39:00
336阅读
2评论
本书这一部分的信息代表了你轻松理解本书其余部分所需的基本知识。如果您已经熟悉Linux内核，或者您是一位经验丰富的软件工程师，您将能够很快地浏览这些章节。对于其他读者，我建议在继续阅读本书的以下部分之前先熟悉一下这些材料：第一章引言本章的大部分内容致力于介绍一些常见的编程你经常会在代码中遇到模式和技巧。第2章关键数据结构在本章中，您可以找到两个最重要数据的详细描述网络代码使用的结构：套接字缓冲区s
转载
2023-08-15 16:11:14
166阅读
一本以情景方式对Android的源代码进行深入分析的书。内容广泛，以对Framework层的分析为主，兼顾Native层和Application层；分析深入，每一部分源代码的分析都力求透彻；针对性强，注重实际应用开发需求，书中所涵盖的知识点都是Android应用开发者和系统开发者需要重点掌握的。共10章，第1章介绍了阅读本书所需要做的准备工作，主要包括对Android系统架构和源码阅读
转载
2023-08-23 22:13:46
19阅读
转载请注明出处： 2.1Kafka生产者客户端架构 2.2 Kafka 进行消
原创
2023-02-21 11:01:00
1943阅读
