Kafka实战笔记单机版搭建kafka的运行需要提前配好Java 环境，笔者的是 java version “1.8.0_201”第一步 下载程序下载源码 此处用的是2.11版本解压[root@cluster01:opt] # tar -xzf kafka_2.11-2.1.0.tgz
[root@cluster01:opt] # cd kafka_2.11-2.1.0第二步 启动服务开启zook
转载
2024-07-09 10:34:00
51阅读
本文摘自：Kafka 权威指南（Kafka: The Definitive Guide） 文章目录第一章 初识Kafka1.1 发布与订阅消息系统1.1.1 如何开始1.1.2 独立的队列系统1.2 Kafka登场1.2.1 消息和批次1.2.2 模式1.2.3 主题和分区1.2.4 生产者和消费者1.2.5 broker和集群1.2.6 多集群1.3 为什么选择Kafka1.3.1 多个生产者1
转载
2024-07-05 05:11:32
387阅读
Kafka权威指南笔记 kafka版本0.9.01一 第三章生产者 1.内容：生产者的设计，组件，使用，配置选项，分区方法和序列号器。 2.消息的场景：每个消息都很重要？是否允许丢失消息？重复消息是否可接受？严格的延迟和吞吐量要求。例如：不允许消息丢失和重复消费，可以接受延迟为500ms,吞吐量要求高。 3.生产者发送消
转载
2024-03-18 16:55:16
522阅读
上图所示，consumer订阅kafka集群中(一个broker中的一个topic中)的消息，然后对broker发起一个获取消息的请求，请求中携带了topic、partition、offset等信息，接着用pull的方式获取kafka log中所有可用消息，并对消息中的数据进行处理，比如使用spark进行计算，将结果存入DB中。
consumer订阅消息时，会连接上任
用kafka的目的kafka是mq的一种，那么使用mq的三大好处削峰、解耦、异步，自然也是使用kafka的目的之一。不过不同的mq有不同的使用场景，不同mq的使用场景以后我会在别的文章中总结。基本概念消息和批次消息：kafka的数据单元。可以理解成数据库的一条记录。消息有一个可选的元数据，叫做键。
批次：一组消息，这些消息属于相同主体和分区。消息分批次传输可以降低网络开销，不过要权衡响应时间和吞吐
转载
2024-06-06 22:13:10
139阅读
内容参考《MongoDB权威指南第2版》以下内容基本都是参照《MongoDB权威指南第2版》这本书的内容学习并且测试的，目前是第三章和第四章的内容。我用的MongoDB的版本是4.0。// 一：创建，更新，删除文档
for (var i = 0; i < 100; i++){
// 插入文档_id id不可以重复，不指定id会自动生成id
db.foo.insert({"no":"no
转载
2023-11-23 19:09:35
56阅读
首先推荐一款mongodb可视化工具：Robo 3t 下载链接为 https://robomongo.org/，然后瞅一眼数据库的使用排名，说明学习MongoDB是非常有必要的MongoDB 概念解析不管我们学习什么数据库都应该学习其中的基础概念，在mongodb中基本的概念是文档、集合、数据库，下面我们挨个介绍。下表将帮助您更容易理解Mongo中的一些概念：1、文
转载
2024-01-11 12:25:00
58阅读
企业由数据所驱动的，我们获取信息，分析，处理，最后创建更多的输出。每个应用都在创造数据，无论是日志消息，统计消息，用户行为，传出的消息或者其他类型。每个字节都有它的作用，传入的数据会告诉接下来需要做什么。为了知道数据的意义，我们需要把数据从它产生的地方，传输到它能够被分析的地方。然后把分析的结果返回到它们能够被执行的地方。 处理数据的速度越快，我们的系统就能更敏捷，具有更快的响应。我们在传输数据
转载
2024-03-21 10:04:03
147阅读
mongoDB简介(本文由www.169it.com搜集整理) MongoDB是一个高性能，开源，无模式的文档型数据库，是目前在IT行业非常流行的一种非关系型数据库(NoSql)。它在许多场景下可用于替代传统的关系型数据库或键/值存储方式。Mongo使用C++开发。Mongo的官方网站地址是：http://www.mongodb.org/.MongoDB灵活的数据存储方式
转载
2024-01-16 19:41:47
138阅读
cat > test.txt << EOF：往test.txt写入内容，EOF表示结束。不要让消费者的数量超过分区的数量，会导致一部分消费者闲置。为每一个需要获取一个或多个主题全部消息的应用程序创建一个消费者群组，然后往群组里添加消费者来伸缩读取能力和处理能力，群组里的每个消费者只处理一部分消息。一个消费者使用一个线程。消费者需要通过轮询发送心跳，如果一次性处理太多消息，消费者需
转载
2024-06-07 21:12:09
135阅读
内容简介本书从JVM和Java API两个方面，深入地介绍了Java 8和Java
11等新的Java长期支持版本中影响性能的因素。本书先从Java应用程序的通用方法、基准测试的缺陷、性能监控工具等方面，分析了如何通过JVM的配置方式影响程序的性能；接着从即时编译、垃圾回收、堆内存与原生内存最佳实践、线程与同步的性能等方面，分析了常见的优化方向及其特性。第2版专注于更加成熟的Java
8和Ja
原创
2024-01-22 22:26:45
454阅读
# MongoDB权威指南第2版概述与示例
MongoDB是一种非关系型数据库管理系统，基于文档的存储架构而闻名。它能够处理大规模的数据和快速的查询需求，因此越来越受到开发者的青睐。本文将基于“MongoDB权威指南第2版”，为你提供一个简要的介绍和代码示例，以帮助你了解MongoDB的基本概念。
## 什么是MongoDB？
MongoDB是一个基于文档的NoSQL数据库，数据以BSON(
作者： 【美】Srinath Perera , Thilina Gunarathne 译者： 杨卓荦 责编： 杨海玲2.2 HDFS基准测试Hadoop MapReduce实战手册运行基准测试程序，可以很好地验证HDFS集群是否已如预期般正确设置并执行。DFSIO是一个Hadoop自带的基准测试，可以用来分析一个HDFS集群的I/O性能。该部分展示了如何使用DFSIO来对HDFS集群的读取和写入性
转载
2023-08-18 20:43:10
54阅读
文档是Mongodb中数据的基本单元，非常类似于关系数据库管理系统中的行(但是比行要复杂得多)。类似地，集合可以被看做是没有模式的表。Mongodb单个实例可以容纳多个独立的数据库，每一个都有自己的集合和权限。Mongodb自带简洁但功能强大的JavaScript Shell，这个工具对于管理Mongodb实例和操作数据作用非常大。每一个文档都有一个特殊的键“_id”，它在文档所处的集合中是唯一的
转载
2023-10-09 11:43:28
104阅读
Kafka基础安装使用官网地址：http://kafka.apache.org/1.特性高吞吐低延迟可扩展性，支持集群热扩展可持久性，可靠性，消息持久化到本地磁盘，支持数据备份容错性，允许集群中节点失败高并发，支持数千个客户端同时读写2 .使用场景日志收集消息系统运营指标用户活动追踪流式处理3.相关概念Producter 生产者Broker 服务器节点Topic 划分数据类partition 分区
转载
2024-07-04 06:09:57
308阅读
1、有了分区，可以多个client消费一个topic，有了分区，可以将一个topic 分散在多个broker2、kafka通过复制实现可靠，通过横向扩展提高性能（如增加分区、客户端、增加broker）3、消费者占用网络流量，而复制、镜像也会占用网络流量。如果网络接口出现饱和，那么集群的复制出现延时就在所难免，从而让集群不堪一击。 4、如果服务器返回错误， get （）方怯会抛出异常&nb
转载
2024-05-09 09:26:41
183阅读
Spring 5更新了哪些内容？Spring 5的主要功能是对反应式编程的支持，包括Spring WebFlux。这是一个全新的反应式Web框架，借鉴了Spring MVC的编程模型，允许开发人员创建伸缩性更好且耗用更少线程的Web应用程序。至于Spring应用的后端，最新版本的Spring Data支持创建反应式、非阻塞的数据repository。所有这些都构建在Reactor项目之
转载
2024-05-09 10:45:10
121阅读
前面学习了kafka的基础知识，给大家推荐《kafka权威指南》这本书，这次学习kafka streams，参考书籍：《kafka从入门到实践》，电子书分享给大家。但是书中给出的有些示例是比较老的版本，有些类的用法已经更新了，我使用的是最新版的2.1.0，在此推荐大家参考官方文档：Apache Kafka《kafka权威指南》链接：https://pan.baidu.com/s/1_4u3C7D3
转载
2024-06-07 18:57:03
494阅读
【学习笔记】Kubernetes网络概念及策略控制Kubernetes 基本网络模型约法三章四大目标对基本约束的解释Netns 探秘Netns 究竟实现了什么Pod 与 Netns 的关系主流网络方案简介典型的容器网络实现方案Flannel 方案Network Policy 的用处Network Policy 基本概念配置实例内容总结 Kubernetes 基本网络模型Kubernetes 对一
转载
2024-02-20 20:56:45
32阅读
章节：第三章 创建、更新及删除文档内容:插入并保存文档使用insert方法：如 db.foo.insert({"bar" : "baz"})批量插入批量插入能传递一个由文档构成的数组给数据库，且一次批量插入只是单个的TCP请求，无需处理大量的消息头，避免了许多零碎的请求所带来的开销只有插入多个文档到一个集合时，才能提高效率，而不能用批量插入一次对多个集合执行操作要是只导入原始数据，可以使用命令行工
转载
2024-05-16 21:34:46
87阅读
