一、kafka的基本介绍kafka是一个分布式，分区的，多副本的，多订阅者的消息发布订阅系统（分布式MQ系统），可以用于搜索日志，监控日志，访问日志等。最初由linkedin公司开发，使用scala语言编写，Kafka is a distributed,partitioned,replicated commit logservice。kafka对消息保存时根据Topic进行归类，发送消息者成为Pr
安装包下载地址zookeeper 3.4.9+kafka 2.12_2.6.1
链接：https://pan.baidu.com/s/1aqBQVMxMNa7RrMfxmg65cw
提取码：s3ms
链接：https://pan.baidu.com/s/1Hr2pcqXUsQMrdxyLkuWZUA
提取码：9cwl192.xxx.xxxCentOS Linux release 7.9.2
转载
2024-04-25 21:30:06
41阅读
文章目录一. zookeeper安装1. 单节点安装1.1. 安装1.2. 操作zk2. Zk的集群安装二. kafka安装1. 单机安装2. kafka集群安装 一. zookeeper安装kafka是依赖zk的，所以需要安装zk kafka支持单机和集群模式，学习阶段推荐使用单机，单机和集群在操作上是没有区别的。1. 单节点安装1.1. 安装1、下载
https://www.apache.o
转载
2024-03-27 16:24:42
218阅读
step 1: 下载代码你可以登录Apache kafka 官方下载。http://kafka.apache.org/downloads.html下载和自己系统匹配的需要说明的是，kafka的安装依赖于zk，zk的部署可直接参考《Zookeeper介绍与基本部署》。当然，kafka默认也内置了zk的启动脚本，在kafka安装路径的bin目录下，名称为zookeeper-server-start.s
转载
2024-03-27 10:39:34
59阅读
kafka是一个高吞吐量的分布式消息系统，整体设计为典型的发布与订阅模式。kafka内部采用zookeeper来解决配置管理、通知/协调、集群管理、master选举等问题，所以建议先对zookeeper有个基本的了解，可以看下我的zookeeper笔记(一)。 这次对于kafka只介绍一下命令行下的安装部署等操作，其它的，比如kafka在zookeeper中的存储结构、配置详解、java
目录前言：集群规划一、安装zookeeper1.解压文件并重命名2.创建zk数据目录3.修改配置文件 4.文件分发并修改配置文件5.编写启动脚本二、安装kafka 1.解压文件并重命名2.修改配置文件3.分发后修改配置文件4.配置环境变量5.编写启停脚本前言：集群规划linux01linux02linux03zkzkzkkafkakafkakafka一、安装zookeeper1
转载
2024-04-13 13:49:10
64阅读
因为工作需要，我们使用hbase + hadoop存储基于用户内容的数据(UGC)，本文将描述如何逐步搭建此平台，仅作参考。 1. 环境 操作系统：Red hat 6.3，300G硬盘，双核CPU JAVA：JDK1.6
转载
2024-07-19 09:48:11
58阅读
kafka的部署模式单节点Broker部署单节点多Broker部署集群部署（多节点多Broker部署） 实际的生产环境中使用的是第3中方式，以集群的方式来部署kafka。kafka强依赖ZK，如果想要使用Kafka，就必须安装ZK，kafka中的消息偏置信息、kafka集群、topic信息会被存储在ZK中。有人可能会说在在使用kafka的时候就没有安装ZK，那是因为kafka内置了一个Z
转载
2024-02-29 17:23:31
337阅读
------------------------正文开始---------------------------一、如何保证百万级写入速度：目录1、页缓存技术 + 磁盘顺序写2、零拷贝技术3、最后的总结“这篇文章来聊一下Kafka的一些架构设计原理，这也是互联网公司面试时非常高频的技术考点。Kafka是高吞吐低延迟的高并发、高性能的消息中间件，在大数据领域有极为广泛的运用。配置良好的Kafka集群甚
# HBase 依赖 Zookeeper 吗？
作为一名经验丰富的开发者，我很高兴能够指导你理解 HBase 和 Zookeeper 的关系。HBase 是一个分布式的列存储系统，它建立在 Hadoop 文件系统（HDFS）之上，提供对大规模数据集的随机实时读写访问。而 Zookeeper 是一个开源的分布式协调服务，用于维护配置信息、命名、提供分布式同步和提供组服务等。
## HBase 和
原创
2024-07-20 07:30:19
52阅读
一、分离前后端1、把user项目拆开web前端和service后端。 2、gmall-user-web和gmall-user-service 3、比如双11来的时候，高并发的时候，前端压力小，后端大，就可以合理的分配机器分担压力到哪一层。 4、把他们分开的原因，一可以合理分配资源。二灵活的调用各种服务二、在项目当中引入dubbo服务框架1、把他们都拆开后 在service里引入父依赖、api、se
zookeeper概念介绍 在介绍zookeeper之前，先来介绍一下分布式协调技术，所谓分布式协调技术主要是用来解决分布式环境中多个进程之间的同步控制，让他们有序的去访问某一种共享资源，防止造成资源竞争（脑裂）的后果 分布式系统，分布式系统就是在不同地域分布的多个服务器，共同组成的一个应用系统来为用户提供服务，在分布式系统中最重要的是进程的调度，这里假设有一个应用
转载
2024-06-07 21:38:52
326阅读
Kafka 的核心是日志——一种简单的数据结构，它使用与底层硬件共生的顺序操作。Kafka 的设计是以日志为中心，这样带来了高效的磁盘缓冲和 CPU 缓存使用率、预取、零拷贝数据传输以及许多其他好处，从而带来了显著的高效率和吞吐量。对于那些刚接触 Kafka 的人来说，他们通常要了解的第一件事就是 topic 及其作为提交 commitLog 的底层实现。但是日志本身的代码在整个系统中所占的比例相
转载
2024-06-17 14:27:19
30阅读
一、ZooKeeper 简介1.基本介绍 ZooKeeper 的官网是：https://zookeeper.apache.org/。在官网上是这么介绍 ZooKeeper 的：ZooKeeper 是一项集中式服务，用于维护配置信息，命名，提供分布式同步和提供组服务。 当我们编写程序的时候，通常会将所有的配置信息保存在一个配置文件中，例如账号、密码等信息，后续直接修改配置文件就行了，那分布式场景
转载
2024-07-18 11:41:12
136阅读
HBase是一个分布式、可扩展、支持海量数据存储的NoSQL数据库。底层物理存储是以Key-Value的数据格式存储的，HBase中的所有数据文件都存储在Hadoop HDFS文件系统上。一、主要组件 HBase详细架构图解注意：HBase是依赖ZooKeeper和HDFS的，需要启动ZooKeeper和HDFS。 1. Client&n
转载
2023-09-01 10:59:49
72阅读
一、Zookeeper集群安装 要求：zookeeper的 jdk 要 6以上zookeeper生产环境版本为 3.4.81.首先编辑/Etc/Hosts1. 在5台都加入：
2. 10.0.50.10 zk-kafka01
3. 10.0.50.11 zk-kafka02
4. 10.0.50.12 zk-kafka03
5. 10.0.50.13 zk-kafka
转载
2024-08-13 16:46:28
39阅读
Apache Kudu的基本思想、架构和与Impala实践Apache Kudu是一个为了Hadoop系统环境而打造的列存储管理器，与一般的Hadoop生态环境中的其他应用一样，具有能在通用硬件上运行、水平扩展性佳和支持高可用性操作等功能。在Kudu出现之前，Hadoop生态环境中的储存主要依赖HDFS和HBase，追求高吞吐批处理的用例中使用HDFS，追求低延时随机读取用例下用HBase，而Ku
转载
2024-02-22 14:05:44
27阅读
kafka 可以脱离 zookeeper 单独使用吗？为什么？kafka 不能脱离 zookeeper 单独使用，因为 kafka 使用 zookeeper 管理和协调 kafka 的节点服务器。kafka 有几种数据保留的策略？kafka 有两种数据保存策略：按照过期时间保留和按照存储的消息大小保留。 kafka 同时设置了 7 天和 10G 清除数据，到第五
转载
2024-06-05 05:24:09
34阅读
环境准备kafka版本:kafka_2.12-1.0.0 三台主机IP 10.211.55.29、10.211.55.30、10.211.55.31配置工作1、修改hosts 由于zookeeper是通过主机名通信的,我们需要需改hosts. 编辑vim /etc/hosts 1）保留前2行，其余的127.0.0.1注释掉
127.0.0.1 localhost
::1 localhost
kafka+zk详解可参考：https://blog.51cto.com/johnzheng/2371286 一、环境准备：kafka和zk需要jdk1.8环境，安装前需安装jdk1.8，参考jdk1.8安装步骤三台服务器：172.20.224.37、172.20.224.38、172.20.224.39，centos7系统。kafka至少两台做主从，zk做集群最少三台二、安装zk1、获
转载
2024-03-15 09:57:22
110阅读
