kafkaKafka 通过 topic 对存储的流数据进行分类每条记录中包含一个key，一个value和一个timestamp（时间戳）Kafka有四个核心的API:The Producer API 允许一个应用程序发布一串流式的数据到一个或者多个Kafka topic。The Consumer API 允许一个应用程序订阅一个或多个 topic ，并且对发布给他们的流式数据进行处理。The
转载
2024-08-08 10:22:23
16阅读
文章目录Kafka 核心设计原理Kafka 设计架构Kafka Rebalance 机制：Kafka 高可用原理Kafka Consumer Exactly Once Kafka 核心设计原理Kafka 设计架构Message System -> Streaming Platform (但业界现在仍以Message 为主 )特点
低延迟高吞吐水平扩展 （支持在线扩展）顺序性多场景 （
转载
2024-04-20 16:11:49
36阅读
Kafka 介绍与实践 1.1 实验内容 本节课将介绍 Kafka 及实现原理，然后完整搭建，案例演示，学习完本课程，你将对 kafka 有深入的了解，很快上手。 1.2 课程来源 参考资料： http://kafka.apache.org/documentation.html 1.3. 实验知识点生产者/消费者模型单机/集群的区别设计原理 1.4 实验环境Hadoop 2.6.1ka
转载
2024-05-11 21:15:05
79阅读
这系列是根据极客时间《Kafka核心技术与实战》这个课程做的笔记本篇目录消费者组避免消费者Rebalance消费者组重平衡全流程解析消费者组Consumer Group ：Kafka提供的可扩展且具有容错性的消息者机制。重要特征组内可以有多个消费者实例（Consumer Instance）。消费者组的唯一标识被称为Group ID，组内的消费者共享这个公共的ID。消费者组订阅主题，主题的每个分区只
转载
2021-01-27 22:06:00
844阅读
2评论
这系列是根据极客时间《Kafka核心技术与实战》这个课程做的笔记本篇目录Kafka术语Kafa版本演进上线部署集群重点参数Kafka术语消息：Record。 Kafka 是消息引擎嘛，这里的消息就是指 Kafka 处理的主要对象。主题：Topic。主题是承载消息的逻辑容器，在实际使用中多用来区分具体的业务。分区：Partition。 一个有序不变的消息序列。每个主题下可以有多个分区。消息位移：Of
转载
2021-01-28 20:28:01
657阅读
2评论
这系列是根据极客时间《Kafka核心技术与实战》这个课程做的笔记本篇目录位移主题_consumer_offsets位移提交CommitFailedException重设消费组位移位移主题 _consumer_offsets诞生背景老版本的Kafka会把位移信息保存在Zk中，当Consumer重启后，自动从Zk中读取位移信息。这种设计使Kafka Broker不需要保存位移数据，可减少Broker端
转载
2021-01-27 22:00:51
773阅读
2评论
这系列是根据极客时间《Kafka核心技术与实战》这个课程做的笔记本篇目录Kafka拦截器生产者消息分区机制生产者压缩算法面面观幂等生产者和事务生产者生产者无消息丢失配置怎么实现？Java生产者管理TCP连接Java消费者管理TCP链接Kafka拦截器Kafka 拦截器分为生产者拦截器和消费者拦截器。生产者拦截器允许你在发送消息前以及消息提交成功后植入你的拦截器逻辑；消费者拦截器支持在消费消息前以及
转载
2021-01-27 22:31:33
749阅读
2评论
Apache Kafka 编程实战您可能感性的文章:Apache-Kafka简介Apache Kafka安装和使用Apache-Kafka核心概念Apache-Kafka核心组件和流程-协调器Apache-Kafka核心组件和流程(副本管理器)Apache-Kafka 核心组件和流程-控制器Apache-Kafka核心组件和流程-日志管理器....本章简单介绍了副本管理器，副本管理器负责分区及其副
一.主题（Topic）主题（Topic）：发布订阅的对象，我们可以为每个业务，每个应用甚至是每类数据
原创
2022-03-27 20:15:27
123阅读
Elasticsearch核心技术与实战
原创
精选
2020-06-26 22:23:45
5641阅读
首先在 Elasticsearch 的config 目录下配置如下配置：Elasticsearch核心技术与实战$: vi elasticsearch/config/elasticsearch.yml在最下面加上下面的配置：#在最下面加上下面的代码 index: analysis: analyzer: ik_syno:
原创
2021-05-01 00:18:20
682阅读
Java核心技术与实战「持续更新」预计 100+ 篇，持续更新中！序号名称00aiyc：编写第一个程序—— Hello World csdn：编写第一个程序—— Hello World01aiyc：从加减乘除到变量csdn：从加减乘除到变量02aiyc：02-从加减乘除到变量和语句csdn：02-从加减乘除到变量和语句03aiyc：03-Java 中的基本数据类型 csdn：03-Java 中的基本数据类型04aiyc：04-Java 中的运算符cs
原创
2021-06-09 16:54:50
409阅读
首先我们创建一个索引和类型,也就是一个数据库和一张表,同时定义了表的字段,文章的标题和内容采用ik分词器download：Elasticsearch核心技术与实战PUT /renrensou
{
"mappings": {
"renrensou_v1": {
"properties": {
"title": {
"type": "text
原创
2021-03-24 00:36:19
675阅读
先说Elasticsearch的文件存储，Elasticsearch是面向文档型数据库，百度网盘：Elasticsearch核心技术与实战一条数据在这里就是一个文档，用JSON作为文档序列化的格式，比如下面这条用户数据：{"name" : "John","sex" : "Male","age" : 25,"birthDate": "1990/05/01","about"
原创
2021-04-12 00:49:35
1106阅读
# Redis 核心技术与实战
Redis 是一个开源的键值存储数据库，被广泛应用于缓存、实时数据处理和分布式系统。对于刚入门的开发者来说，掌握 Redis 的核心技术以及实战应用是非常重要的。本文将为你提供一个完整的学习流程，以及每一步的详细实现。
## 学习流程
以下是实现 Redis 核心技术与实战的流程步骤：
| 步骤 | 名称 | 描述
原创
2024-10-17 12:04:52
21阅读
Redis核心技术与实战课程复习一基础数据类型底层数据结构数据类型和数据类型的对应关系Redis数据类型操作复杂度大概如果业务非要范围操作有没有好的办法？Redis为什么快？Redis性能瓶颈AOFAOF是写后日志好处风险AOF写回策略AOF日志重写一个拷贝，两处日志 基础数据类型指给客户用的数据类型 string、list、hash、set、sorted set底层数据结构指实现Redis各功
转载
2023-07-13 15:53:30
164阅读
目录0 写在开头1 KV数据库的基本架构2 Redis的数据结构End 总结参考资料0 写在开头作为Key/Value键值数据库，Redis的应用非常广泛。在之前多年的工作生涯中，我也只是关注了零散的技术点，没有对Redis建立起一套整体观，但只有建立了系统整体观，才能更好地定位问题和解决问题，更重要的是应付面试。刚好，极客时间推出了一门《Redis核心技术与实战》课程，于是我就入手了
转载
2023-09-05 12:23:25
162阅读
之前收藏了极客时间的算法训练营3期 共10周，计划每周内容分3p博客来记录学习，主要形式为方法类型1题1题解题2题解方法类型2题1题解……题目大体来自leetcode 和 acwing主要记录和理解代码，所以基本完全搬运了视频题解代码，个人学习感受体现在大致思路的总结和注释上。目录数组原理链表数组原理题1删除有序数组中的重复项class Solution {
public:
int rem
文章目录12 | 有一亿个 keys 要统计，应该用哪种集合？聚合统计排序统计场景：二值状态统计基数统计HyperLogLog 的内部实现（TODO）13 | GEO是什么？还可以定义新的数据类型吗？面向 LBS 应用的 GEO 数据类型GeoHash 的编码方法如何自定义数据类型？14 | 如何在Redis中保存时间序列数据？基于 Hash 和 Sorted Set 保存时间序列数据基于 Re
转载
2023-09-15 11:28:16
185阅读
学习极客时间 《Kafka核心技术与实战》 作者 胡夕，Apache Kafka 的一名代码贡献者，目前在社区的 Patch 提交总数位列第 22 位，应该说算是国内比较活跃的贡献者了。胡夕老师 赠言： 聪明人也要下死功夫 。我们为什么要学习kafaka？我们平时的学习工作过程中，你不可避免的会遇到生产者和消费者问题，无论是某毛双11，还是你自己练习的小程序，在生产者效率原高于消费者处理速度的场景
转载
2024-10-18 08:58:44
66阅读
