前阵子在服务器上搭了个 kafka，搭好后安装在 /usr/local/kafka 下：[root@lucas kafka]# pwd
/usr/local/kafka
[root@lucas kafka]# ll
total 56
drwxr-xr-x 3 root root 4096 Jan 16 18:22 bin
drwxr-xr-
转载
2024-04-07 09:15:13
48阅读
案例分析处理kafka consumer的程序的时候，发现如下错误：ERROR [2016-07-22 07:16:02,466] com.flow.kafka.consumer.main.KafkaConsumer: Unexpected Error Occurred
! kafka.common.MessageSizeTooLargeException: Found a message lar
目录消息队列消息队列作用异步处理减少响应时间削峰/限流解耦消息队列的两种模式点对点模式发布 / 订阅模式常见消息队列特点Kafka基础架构Kafka基础架构多分区机制和多副本机制分区好处副本好处Zookeeper 在 Kafka 中的作用元数据管理Broker注册Topic注册辅助选举LeaderReplica Leader选举Replica副本概念Leader
转载
2024-09-26 09:29:08
33阅读
什么是KafkaApache Kafka® is a distributed streaming platformA streaming platform has three key capabilities:Publish and subscribe to streams of records, similar to a message queue or enterprise mess
转载
2024-07-27 15:42:48
19阅读
kafka入门安装学习1、linux环境下kafka下载安装下载压缩包cd /opt && wget https://www-eu.apache.org/dist/kafka/2.3.0/kafka_2.12-2.3.0.tgz如果wget无此命令提示符，执行yum wget 命令进行安装解压压缩包tar -xzf kafka_2.12-2.3.0.tgz
cd kafka_2.1
linux加载/卸载驱动有两种方法。1.modprobe注：在使用这个命令加载模块前先使用depmod -a命令生成modules.dep文件，该文件位于/lib/modules/$(uname -r)目录下； modprobe命令智能地向内核中加载模块或者从内核中移除模块，可载入指定的个别模块，或是载入一组相依的模块。modprobe会根据depmod所产生的依赖关系，决定要载入哪些模
转载
2024-05-11 09:39:22
110阅读
#!/bin/sh## 程序名称 : tb.sh# 程序功能 : 同步前置机参数文件# 系统名称 : 浙江稠州商业银行综合业务系统# 版 ...
转载
2015-05-13 11:26:00
79阅读
2评论
kafka 根据时间统计topic 是否有数据#!/bin/shfor x in `cat /home/kafka/kafka_2.11-1.0.2/bin/topic.list_bak`dobrokers="192.168.27.13:9092"#topic="cmp_ddr_topic"path="/home/kafka/kafka_2.11-1.0.2/bin/"#y1=`date -d "
原创
2022-12-09 14:05:20
258阅读
一、使用 Docker 搭建 Tomcat 运行环境1 Docker与虚拟机2 搭建过程2.1 准备宿主系统准备一个 CentOS 7操作系统，具体要求如下：必须是 64 位操作系统建议内核在 3.8 以上通过以下命令查看您的 CentOS 内核：# uname -r2.2 安装Docker # yum install docker可使用以下命令，查看 Docker 是否
转载
2024-10-23 20:44:56
26阅读
一, 使用IDEA连接数据库二, IDEA自带的两种创建实体类的方法(1), 如果只是创建简单的, 只有属性, getter, setter的实体类, 而不需要JPA/Hibernate的实体类注解(2), 使用了Hibernate/Jpa框架, 需要的是有注解的实体类, Idea也提供了相应的方法三, 更进一步, 使用自己的Groovy生成带注解的实体类(1), 使用自己的Groovy生成带注解
批量备份多个数据库#!/bin/bashBACKUP_HOST="localhost"BACKUP_USER="root"BACKUP_PASS="123456"BACKUP_DIR="/backup/mysql"BACKUP_DBNAME="one two three"COPIES=10MYSQL
转载
精选
2013-05-30 14:55:08
257阅读
脚本实现目的： 应用上线时，通过脚本同步代码到生产环境。脚本思路： 在测试环境启用rsync服务，在生产环境使用脚本同步代码，并排除不需要同步的文件。 可以通过参数指定需要同步的应用，或通过注释配置文件排除不同步的应用。 可以通过配置文件定义同步之前是否备
原创
2014-06-07 16:34:42
908阅读
生产上有40多个微服务部署的应用，每个应用都会产生日志，随着时间的增长，日志量不断增大，现需要清理。有两个重要的应用日志需保留90天，其它应用保留20天。
原创
2020-07-17 22:17:09
2668阅读
2评论
批量备份多个数据库#!/bin/bashBACKUP_HOST="localhost"BACKUP_USER="root"BACKUP_PASS="123456"BACKUP_DIR="/backup/mysql"BACKUP_DBNAME="one two three"COPIES=10MYSQLDUMP="mysqldump"TIMEPOINT=$(date +%Y-%m-%d)MYSQLDU
转载
2019-05-27 17:07:42
544阅读
ansible官网：https://www.ansible.com众所周知，ansible是新出现的自动化运维工具，基于Python开发，集合了众多运维工具（puppet、cfengine、chef、func、fabric）的优点，实现了批量系统配置、批量程序部署、批量运行命令等功能，它还提供通过编写playbook实现批量部署等功能。 原理图如下： ansible核心模块介绍
# 生产环境中运行 JavaScript 的方法
JavaScript 在过去的几年中已经取得了长足的发展。最初，它是作为网页的前端脚本语言被广泛应用，但现在，JavaScript 也逐渐进入了服务器端的开发领域。本文将探索如何在生产环境中运行 JavaScript，包括常用的方法和代码示例。
## 一、JavaScript 的运行环境
JavaScript 可以在多个环境中运行，其中最常见
原创
2024-11-01 08:16:39
17阅读
批量备份多个数据库#!/bin/bashBACKUP_HOST="localhost"BACKUP_USER="root"BACKUP_PASS="123456"BACKUP_DIR="/backup/mysql"BACKUP_DBNAME="one two three"COPIES=10MYSQL
推荐
原创
2013-05-29 10:17:52
2132阅读
点赞
2评论
批量备份多个数据库#!/bin/bashBACKUP_HOST="localhost"BACKUP_USER="root"BACKUP_PASS="123456"BACKUP_DIR="/backup/mysql"BACKUP_DBNAME="one two three"COPIES=10MYSQLDUMP="mysqldump"TIMEPOINT=$(date +%Y-%m-%d)MYSQLDU
转载
2019-05-27 17:07:48
562阅读
rman 生产全备脚本 expdp备份用户脚本expdp逻辑备份脚本：#!/bin/bashORACLE_HOME=/u01/app/oracle/product/11.2.0/dbhome_1export ORACLE_HOMEORACLE_SID=DAAS2export ORACLE_SIDPATH=$PATH:$HOME/bin:/usr/bin:/bin:/usr/sbin:/
转载
2017-05-12 01:17:37
1017阅读
明白生产环境中的jvm参数写代码的时候，程序写完了，发到线上去运行，跑一段时间后，程序变慢了，cpu负载高了……一堆问题出来了，所以了解一下生产环境的机器上的jvm配置是有必要的。比如说：JDK版本是多少？采用何种垃圾回收器？程序启动的时候默认分配堆内存空间是多少？随着程序的运行，程序最多能使用多大的内存空间？程序中使用了多少个线程？这些线程又处于何种状态？了解了这些，会对程序的运行有一个更好的了
转载
2024-01-18 11:22:35
64阅读
