Kafka的使用场景消息传输传统的消息总线(Message Bus)或消息代理(Message Broker)具备的批量处理消息和解耦生产者/消费者的特点，kafka都具备，同时kafka内置的分区机制和副本机制既实现了高性能的消息传输，又保证了高可靠性和高容错性，相比传统的该类应用，kafka能够处理的消息量级更大。网站行为日志追踪许多公司使用机器学习或者其他实时处理框架需要对用于的各种行为操作
转载
2024-03-21 09:44:53
13阅读
strom整合kafka关键就是以strom中的spout当作kafka的消费者来接收生产者传入的数据。画一个简单的图：好了，接下来我们直接上代码！1，先写一个main方法，作为消费者来接受生产者数据。package cn.itcast.storm.topology;
import storm.kafka.BrokerHosts;
import storm.kafka.KafkaSpout;
i
转载
2024-09-17 17:07:59
24阅读
helm镜像库配置 helm repo add stable http://mirror.azure.cn/kubernetes/charts helm repo add incubator http://mirror.azure.cn/kubernetes/charts-incubator hel
转载
2019-08-28 15:57:00
560阅读
2评论
Helm 是 Kubernetes 的包管理器。包管理器类似于我们在 Ubuntu 中使用的apt、Centos中使用的yum 或者Python中的 pip 一样，能快速查找、下载和安装软件包。Helm 由客户端组件 helm 和服务端组件 Tiller 组成, 能够将一组K8S资源打包统一管理, 是查找、共享和使用为Kubernetes构建的软件的最佳方式。解决问题：能对多个模板文件（yaml文
转载
2024-04-29 10:12:50
127阅读
一、准备工作 操作系统环境：Windows10 JDK:1.8 zookeeper：https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/stable/apache-zookeeper-3.5.9-bin.tar.gz kafka:https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.6
转载
2024-03-21 19:11:45
261阅读
目录 Helm安装Helm client安装Helm tiller安装Chart仓库配置私有chart仓库chart仓库的组成创建本地仓库chart仓库基本管理 Helm安装Helm client安装helm项目地址： https://github.com/helm/helm可以直接下载helm的二进制包，解压后，将二进制文件复制到标准命令路径即可完成安装Helm tiller安装Helm
转载
2024-03-18 10:43:43
59阅读
1. helm介绍helm 是一个用于管理部署在kubernetes上的应用的工具 使用要求：一个Kubernetes集群2.下载安装Helm Github DownloadHelm Huawei Source 按照自己的操作系统版本下载相应的helm压缩包 并将helm添加到环境变量中;# 检查是否安装成功
helm version3.创建一个examplehelm create example
转载
2024-08-16 10:21:36
109阅读
目录 1、Helm 介绍2、环境、软件准备3、安装并配置 Minikube4、安装并初始化 Helm5、使用 Helm 安装 Spinnaker 1、Helm 介绍Helm 是一个管理 Kubernetes Charts 的工具，Charts 可以理解为预先配置的 Kubernetes 资源包，通过 Helm 可以轻松的安装和管理 Kubernetes 应用，类似我们平时使用的 apt、yum、h
转载
2024-02-13 19:50:21
154阅读
关于 AR、ISR、OSR 名词的解释AR的解释AR:分区中所有的副本，AR（Assigned Replicas——已分配的副本）AR = ISR+ORISR 的解释ISR:所有与leader保持一定程度同步的副本，(in - Sync-Replicas) 正在同步的副本OSR 的解释OSR:follower同步滞后过多的副本 ，OSR（Out-of-Sync Replias）一般正常情况一下，所
转载
2024-04-24 16:12:49
61阅读
好了，本篇开始部署kafka集群Zookeeper集群搭建注:Kafka集群是把状态保存在Zookeeper中的，首先要搭建Zookeeper集群(也可以用kafka自带的ZK，但不推荐)1、软件环境（3台服务器）10.0.20.13110.0.20.13210.0.20.1331、Linux服务器一台、三台、五台、（2*n+1），Zookeeper集群的工作是超过半数才能对外提供服务，3台中超过
转载
2024-09-23 16:32:18
318阅读
序号
chart
文件
k8s组件类型
k8s组件名称
用途
1
main
_affinity.tpl
无
无
用于定义各个组件deployment chart中的nodeAffinity
_helpers.tpl
无
无
用于定义各个组件chart中一些变量的默认值
configmap.yaml
ConfigMap
istio
istio主配置configmap
crds.yaml
Custom
转载
2024-09-18 14:25:12
48阅读
helm使用总结简单介绍一下helm是emacs的一个第三方elisp库, 是emacs anything的一个fork,对anything的代码进行了整理和模块化, 主要的功能是方便查找各种文件内容,buffer切换,emacs命令执行等等.安装
安装很简单,从github上下载helm的源码包: https://github.com/emacs-helm/helm
将这个包解
错误原因： kafka设置了自动提交，但在规定的提交时间之内却没有处理完消息，导致消息自动提交出错，这样还会引发一个问题，就是当提交的消息不成功，kafka有重试机制，这样就会重新消费该消息，但消费又不成功，这样循环，会导致后面的消息堆积过多。解决办法： &n
转载
2024-03-20 20:06:36
59阅读
单线程的consumer 在前面我们讲过，KafkaProducer是线程安全的，同时其内部还有一个Sender，开了一个后台线程，不断从队列中取消息进行发送。 而consumer，是一个纯粹的单线程程序，后面所讲的所有机制，包括coordinator，rebalance, heartbeat等，都是在这个单线程的poll函数里面完成的。也因此，在consumer的代码内部，没有锁的
kubeadm是kubernetes官方用来自动化高效安装kubernetes的工具，手动安装，特别麻烦。使用kubeadm安装无疑是一种不错的选择。1、环境准备1.1系统配置系统是CentOS Linux release 7.5 [root@k8s-master ~]# tail -3 /etc/hosts
10.0.0.11 k8s-master
10.0.0.12 k8s-node1
1
文章目录 前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 这篇主要讲如何安装kafka+配置SASL安全验证，之前网上一些文章要么没有配置SASL，要么本身存在一些问题，这里主要把正确的配置方案放上来， 后续会讲讲遇到的一些问题和该如何解决。 一、安装kafka官网的quickstart有最新安装教程，想安装最新版可以去官网，目前我使用的
转载
2023-12-19 06:27:39
320阅读
基本概念、基本配置都有啦，Kafka已经启动起来，接下来就是写一个HelloWorld，创建生产者和消费者连接Kafka，做消费和生产的动作啦。引入依赖这里引入依赖需要小心，如果没有做相关的了解很容易引入jar包不可用，导致一直有错误。在下载Kafka的时候，Kafka的压缩包的名称都类似这样kafka_2.11-0.10.1.1。其中2.11是代表Kafka的版本，0.10.1.1代表的是客户端
下载安装 kafka (免安装)kafka安装 进入下载页：http://kafka.apache.org/downloads.html 选择Binary downloads下载 (Source download需要编译才能使用)，地址如下： # wget http://mirrors.hust.edu.cn/apache/kafka/0.10.1.0/kafka_2.10-0.10.1.0.t
转载
2024-05-21 17:17:30
66阅读
Kafka消息队列内部实现原理点对点模式(一对一)基于拉取或者轮询 。特点是发送到队列的消息被一个且只有一个接收者接收处理，即使有多个消息监听者也是如此。发布/订阅模式(一对多)基于推送的消息传输模型。分为临时订阅者(只在主动监听主题时才接收消息)和持久订阅者(监听主题的所有消息, 即使当前不可用, 处于离线状态)。Kafka定义:Kafka 主要是用于缓存数据 (Scala编写) 是一个分布式的
转载
2024-06-24 07:12:57
18阅读
文章目录Kafka整合Flume1.Kafka作为Flume的sourcesKafka Source测试1测试准备测试2.Kafka作为Flume的sinksKafka Sinks测试2测试准备测试小案例 Kafka整合Flume1.Kafka作为Flume的sourcesKafka SourceKafka Source是一个Kafka消费者(consumer)，从Kafka的Topic中消费消
