Kafka常用脚本
在Kafka安装目录下（$KAFKA_HOME/bin），提供了很多内置的脚本供我们使用。使用脚本可以测试Kafka的大多数功能，下面我们就脚本的使用作出说明。启动broker
bin/kafka-server-start.sh脚本提供了启动broker的功能。前台启动：> bin/kafka-server-start.sh config/server.propertie
转载
2024-02-27 17:43:51
95阅读
/usr/bin下面的是系统用户使用的应用程序脚本简介Kafka ConnectApache Kafka和其他系统之间流传输的数据工具connect-distributed.sh用于启动多节点的Distributed模式的Kafka Connect组件 (集群模式，可以扩展，容错)connect-standalone.sh用于启动单节点的Standalone模式的Kafka Connect组件 (
转载
2024-05-20 12:56:07
65阅读
Unity手游的Wwise初始化（考虑热更）Unity手游的Wwise初始化（考虑热更游戏音频设计师、技术音频这篇文章是写给音频程序员的。本来想写的更全面一些顺便帮设计师了解这部分流程，但是写的时候发现我并不知道哪些信息是设计师不了解的，展开一切细节又太琐碎，所以这篇文章就只针对程序员了。Wwise官方的Unity集成已经做了简单的初始化，但是默认的初始化流程无法满足热更等需求，而且在游戏启动时初
前提条件：zookeeper与kafka已通过systemctl关联kafka_g
原创
2022-12-01 17:02:35
64阅读
Kettle是一款开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。Kattle的工程存储方式有（1）以XML形式存储，（2）以资源库方式存储（不同的用户可以共同使用）Kattle的两种设计：Transformation（转换）：针对于数据的基础转换（着重于数据的ETL过程）Job（作业）：完成整个工作流的控制（着重于不同步骤之间的控
转载
2024-05-08 15:58:53
380阅读
kafka 根据时间统计topic 是否有数据#!/bin/shfor x in `cat /home/kafka/kafka_2.11-1.0.2/bin/topic.list_bak`dobrokers="192.168.27.13:9092"#topic="cmp_ddr_topic"path="/home/kafka/kafka_2.11-1.0.2/bin/"#y1=`date -d "
原创
2022-12-09 14:05:20
258阅读
前言书接前文，这一篇笔记记录一下Kafka如何配置（总体而言）。本篇文章主要是结合Kafka的quickstart的文章来理解，打算中英文混排--尽管这样做，是很多如何学好英语的建议里面所极力反对的--这样做，是为了简化书写，抓住重点进行记录。正文Step 1: Download the codeDownload the 2.1.0 release and un-tar it.Step
Kafka学习(一) 入门与原理初识KafkaKafka 起初是 由 LinkedIn 公司采用 Scala 语言开发的一个多分区、多副本且基于 ZooKeeper 协调的分布式消息系统，现已被捐献给 Apache 基金会。基本概念一个典型的 Kafka 体系架构包括若干 Producer、若干 Broker、若干 Consumer，以及一个 ZooKeeper 集群，如下图所示。其中 ZooKe
转载
2024-03-21 10:13:21
42阅读
kafka启动停止脚本
原创
2022-08-13 01:12:55
235阅读
背景：在做 javaweb 项目的时，前台传递的中文最后插入数据库的时候总是出现乱码现象。解决方案 A、不管是使用 Idea、eclipse，确定自己的项目所使用的字符集是 UTF-8。 B、查看 MySQL的字符集是否是 UTF-8。打开 Dos 窗口，输入：mysql -u root -p, 在输入密码即可进入 数据库。进入数据库输入命令 ：show variables like 'chara
什么是分布式锁？在回答这个问题之前，我们先回答一下什么是锁。普通的锁，即在单机多线程环境下，当多个线程需要访问同一个变量或代码片段时，被访问的变量或代码片段叫做临界区域，我们需要控制线程一个一个的顺序执行，否则会出现并发问题。如何控制呢？就是设置一个各个线程都能看的见的标志。然后，每个线程想访问临界区域时，都要先查看标志，如果标志没有被占用，则说明目前没有线程在访问临界区域。如果标志被占用了，则说
转载
2024-04-19 13:37:20
42阅读
Kafka初识Kafka是什么Kafka是最初由LinkedIn公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统。设计理念低延迟：持久化消息、消费消息时间复杂度都为O(1)高吞吐：普通机器也可以实现每秒发送10W条消息水平扩展：broker、producer、consumer都支持在线水平扩展，顺序性：每个partit
转载
2024-05-06 23:09:56
136阅读
前阵子在服务器上搭了个 kafka，搭好后安装在 /usr/local/kafka 下：[root@lucas kafka]# pwd
/usr/local/kafka
[root@lucas kafka]# ll
total 56
drwxr-xr-x 3 root root 4096 Jan 16 18:22 bin
drwxr-xr-
转载
2024-04-07 09:15:13
48阅读
参考文档：https://kafka.apache.org/documentation.html#monitoring Kafka使用Yammer Metrics来报告server和client的众多metric。还可以使用其他的插件来跟你的监控系统连接起来，比如https://cwiki.apache.org/confluence/display/KAFKA/JMX+Reporters
转载
2024-03-12 09:09:43
48阅读
生产者的分区写入策略轮询（按照消息尽量保证每个分区的负载）策略，消息会均匀地分布到每个partition
写入消息的时候，key为null的时候，默认使用的是轮询策略随机策略（不使用）按key写入策略，key.hash() % 分区的数量自定义分区策略（类似于MapReduce指定分区）乱序问题在Kafka中生产者是有写入策略，如果topic有多个分区，就会将数据分散在不同的partitio
转载
2024-03-17 00:07:30
33阅读
Windows系统下搭建Kafkakafka简介安装JDK安装zookeeper安装Kafkakafka演示创建主题创建生产者创建消费者生产者发送消息，消费者消费消息 kafka简介Kafka是一个分布式发布——订阅消息传递系统，它最初是由LinkedIn公司开发的，之后成为Apache项目的一部分。Kafka快速、可扩展且耐用。它保留主题中的消息源。生产者将数据写入主题，消费者从主题中读取数据
转载
2024-04-08 08:36:22
179阅读
业务场景来疯直播互动平台，每天有数百万人上下线，有数十万人同时参与互动直播聊天。用户的登陆、退出及用户间的各种交互行为如聊天、送礼、关注、投票、抢沙发等等事件都会产生大量的消息。这些消息具有瞬间爆发性，比如热门直播间刚开播，直播表演的高潮等等。而用户的礼物、星星、喇叭、沙发等这类消息是不允许丢失，必须100%送达。这就需要有一个高性能，高可靠，稳定可拓展的消息服务平台的支撑。它要求在网络压力大及服
转载
2024-05-22 08:44:37
78阅读
Kafka 位移提交自动提交手动提交 Consumer 的消费位移 : 记录 Consumer 下一条消息的消费位移如 : Consumer 已消费 5 条消息 (位移: 0 - 4) , 此时 Consumer 位移 = 5 : 指向下一条消息的位移提交位移 (Committing Offsets) : Consumer 向 Kafka 汇报位移数据Consumer 能同时消费多个分区的数据，
转载
2024-03-18 08:06:12
201阅读
Apache Kafka 官方提供了两个客户端性能测试脚本，它们的存放位置如下：
- 生产者性能测试脚本：$KAFKA_HOME/bin/kafka-producer-perf-test.sh
- 消费者性能测试脚本：$KAFKA_HOME/bin/kafka-consumer-perf-test.sh
kafka-producer-perf-test.sh 支持测试的性能指标包括：吞吐量（t
转载
2021-03-26 09:45:49
857阅读
2评论
1、$?表示显示最后命令的退出状态。0表示没有错误，其他任何值表明有错误 2、fiShell脚本没有{}括号，所以用fi表示if语句块的结束3、ln -sf软连接为某一个文件在另外一个位置建立一个同步的链接 命令参数： -b 删除，覆盖以前建立的链接 -d 允许超级用户制作目录的硬链接 -f 强制执行 -i 交互模式，文件存在则提示用户是否覆盖 -n 把符号链接视为一
转载
2024-08-09 17:50:38
36阅读
