【KASAN linux内存检测工具】 (本文档将引导编译一个开启kasan功能的内核)一 简介： Kernel Address Sanitizer 缩写KASAN；是linux内核的动态内存检测工具， 主要检查所有程序中内存越界访问和使用已经释放内存空间的问题。 ！注意：开启kasan后系统可用内存会减少约1/8，并且系统运行的程序性能会大幅下降。二 获取： kasan在lin
转载
2024-03-18 16:54:50
47阅读
一、搭建Zookeeper集群 二、kafka broker集群搭建kafka 下载、解压wget http://apache.opencas.org/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz
tar -xzf kafka_2.11-0.9.0.0.tgzkafka broker配置文件修改 修改kafka根目录下的config/server.propertie
转载
2024-05-15 20:41:36
92阅读
目录1、Kafka背景2、Kafka应用场景3、Kafka架构原理3.1、Producer And Consumer3.2、Topic4、安装教程首先我们先了解一下kafka的作用与背景（如果已非常了解kafka那么请直接跳过）1、Kafka背景本质上是一个消息系统，由当时从LinkedIn出来创业的三人小组开发，他们开发出了Apache Kafka实时信息队列技术，该技术致力于为各行各业的公司提
转载
2024-09-03 04:25:10
26阅读
前言kafka是一个优秀的消息队列框架，现在基于linux安装写个文档记录下。提示：以下是本篇文章正文内容，下面案例可供参考一、环境准备1.下载linux 安装包。 https://kafka.apache.org/downloads 注意下载二进制包，如果不是下载二进制包，就要自己编译了，这里不需要这么麻烦，就直接下载了。官网推荐下载2.13版本，就下载这个版本就行了。 2. 注意这个版本已经内
转载
2024-04-30 16:43:31
598阅读
我这边安装的是kafka_2.10-0.10.2.2.tar.gz, zookeeper-3.4.5.tar.gz1.安装zookeeper下载连接官网地址：https://zookeeper.apache.org/releases.html先上传linux并解压tar -zxvf zookeeper-3.4.5.tar.gz进入对应zookeeper配置目录并重命名zoo_sample
转载
2024-03-27 16:55:34
136阅读
准备下载zookeeper，我这里用的是zookeeper3.5.5版本。（这里提下，要下载带bin的文件，这个是已经编译好的，不带bin的是源码）下载kafka，我用的是2.12-2.4.0版本Centos7系统，Jdk1.8版本安装zookeeper因为kafka是依赖于zookeeper的，所以要先安装zookeeper。首先在 /usr/local/目录下建立 zookeeper3.5.5
转载
2024-04-17 14:15:50
26阅读
Linux下的Kafka+Zookeeper使用以及配置1.1(有待完善)1. 开发环境Linux版本Ubuntu 16.04.1 （虚拟机）Kafka版本kafka_2.12-1.1.0 （二进制版本）Zookeeper版本zookeeper-3.4.102. 占用内存推荐服务器内存3. 准备工作下载zookeeper 主页网址：http://zookeeper.a
转载
2024-04-23 12:47:28
199阅读
4.1 chkconfig命令详解 chkconfig命令主要用来更新（启动或停止）和查询系统服务的运行级信息。谨记chkconfig不是立即自动禁止或激活一个服务，它只是简单的改变了符号连接。 使用语法： chkconfig [--add][--del][--list][系统服务] 或 chkconfig [--level <等级代号>][系统服务][on
根据自己的java版本对Kafka版本进行选择4.0以上版本不兼容java8，这里推荐使用3.8.0版本
搭建Kafka集群需要先搭建好zookeeper集群（具体查看我的上一篇博客）先在/usr/local下下载解压Kafka配置Kafka配置文件（config文件夹下的server.properties）在Kafka的bin目录下启动Kafka 需要先搭建好zookeeper集群（具体查看我的上一篇博客）先在/usr/local下下载解压Kafkawget http://mirror.bit.e
转载
2024-06-28 04:02:04
130阅读
kafka面试问题听过kafka在面试中经常被问到为此整理了20个问题及其答案~Kafka中的ISR(InSyncRepli)、OSR(OutSyncRepli)、AR(AllRepli)又代表什么？ISR:同步队列副本：This is the subset of the replicas list that is currently alive and caught-up to the lead
转载
2024-06-05 05:06:02
67阅读
文章目录导入离线包开始安装flume消费kafka数据到hdfs上导入离线包主节点创建/opt/cloudera/csd目录mkdir -p /opt/cloudera/csd上传KAFKA-1.2.0.jar到/opt/cloudera/csd目录，并修改所有者和所有者的组[root@hadoop001 csd]# chown cloudera-scm:cloudera-scm ...
原创
2022-02-17 18:42:34
1023阅读
1评论
文章目录导入离线包开始安装flume消费kafka数据到hdfs上导入离线包主节点创建/opt/cloudera/csd目录mkdir -p /opt/cloudera/csd上传KAFKA-1.2.0.jar到/opt/cloudera/csd目录，并修改所有者和所有者的组[root@hadoop001 csd]# chown cloudera-scm:cloudera-scm ...
原创
2021-06-04 18:59:39
1549阅读
Seastar是Apache Cassandra的托管平台，涵盖硬件基础架构，托管环境，自助服务API和仪表板以及支持团队。 这是使群集快速且经济高效地启动和运行所需的一切。 该平台由Network Redux的工程师团队构建，他们在企业托管行业拥有数十年的综合经验，并已支持各种数据库部署。 为什么我们要建造海星 我的团队在产品开发生命周期的早期就决定，我们希望构建一些东西，使公司能够有效
https://www.jb51.net/article/76397.htm目录目录一、关闭SELINUX、开启防火墙9092端口二、安装JDK三、安装kafka四、创建启动和关闭的 kafka 执行脚本五、创建生产者 topic 和 消费者 topic 简单示例六、查看运行的进程 和 当前topic一、关闭SELINUX、开启防火墙9092端口1、关闭SELINUX# vim /etc/seli
转载
2024-03-07 09:53:05
45阅读
本文讨论的是假设存在完美无缺的producer和consumer， 从broker角度保障数据可靠的机制。一、名词介绍ISR(In-sync Replication):所有与leader副本保持一定程度同步的副本（包括Leader）,是kafka动态维护的一组同步副本，每当leader挂掉时，在ISR集合中选举出一个follower作为leader提供服务，当ISR中的副本被认为坏掉的时候，会被踢
转载
2024-06-26 15:28:28
125阅读
在使用Linux系统进行开发的过程中，经常需要用到一些消息队列来实现不同服务之间的通讯。而Kafka作为一种高性能、分布式的消息队列系统，被广泛应用于各种大规模数据处理和分析项目中。下面将介绍如何在Linux系统上安装和配置Kafka。
首先，我们需要下载Kafka的安装包。可以在官方网站上找到最新的版本，并选择合适的压缩包下载到本地。下载完成后，解压文件并将解压后的文件夹移动到合适的目录下。接
原创
2024-05-29 11:46:23
65阅读
kafka安装部署 1、安装jdk（1）创建安装目录mkdir /usr/local/java（2）解压缩包到安装的目录下tar -zxvf jdk-8u51-linux-x64.tar.gz -C /usr/local/java/（3）修改环境变量vim /etc/profile 配置文件中添加如下： export JAVA_HOME=/usr/local/jav
转载
2023-07-22 14:38:22
223阅读
原始出处不可考。。。一、Kafka中topic级别配置1、Topic级别配置 配置topic级别参数时，相同(参数)属性topic级别会覆盖全局的，否则默认为全局配置属性值。 创建topic参数可以设置一个或多个--config "Property(属性)",下面是创建一个topic名称为"my-topic"例子，它设置了2个参数max message size 和 flush rate.(A
转载
2021-05-07 10:23:38
2441阅读
前言前面学习了后台布局和tabs的使用，本次来学习下layui中的table和Django联动。 一、Django设置1、models，简单的两个类，一个是问题类型，一个是问题的详情。 1 # Create your models here.
2
3 #问题类型
4 class ProblemType(models.Model):
5 problem_type=mod
