安装nginx-kafka插件nginx可以直接把数据写到kafka里面去。1.安装git yum install -y git2.切换到/usr/local/src目录，然后将kafka的c客户端源码clone到本地 cd /usr/local/src git clone https://github.com/edenhill/librdkafka...
原创
2022-02-14 17:32:19
316阅读
...
原创
2021-09-01 16:44:57
545阅读
设计 Apache Flume + Zookeeper + Fafka中间件 + 持久化存储 。用 Apache Flume 获取 nginx 日志，设置 sources 为 tail -f access-log，设置 sink 为 kafka 集群 ，从kafka 中取数据 结果存入 redis/mongo/es ，提供 API查询Nginx 日志 format 修改首先，我们对 要收集的 Ng
转载
2024-06-23 05:57:34
303阅读
记住一点：nginx配置文件很多坑来源自你的空格少了或多了。OpenRestyOpenResty® 是一个基于 Nginx 与 Lua 的高性能 Web 平台，其内部集成了大量精良的 Lua 库、第三方模块以及大多数的依赖项。用于方便地搭建能够处理超高并发、扩展性极高的动态 Web 应用、Web 服务和动态网关。OpenResty® 通过汇聚各种设计精良的 Nginx 模块（主要由 OpenRes
转载
2024-02-27 10:29:12
63阅读
windows下编译nginx插件nginx-module-vts准备编译异常配置使用 准备基本与windows下编译nginx需要的一致。git。用于通过github下载源码。Visual Studio 2015+。我用的是Visual Studio 2019社区版。需要注意的是，安装的时候必须安装“使用C++的桌面开发”，不需要安装“通用Windows平台开发”，因为需要里面的C:\Prog
转载
2024-05-06 12:22:03
118阅读
看了几篇相关模块，总感觉没有将清楚，这里整理一下思路，希望给同行一些帮助。1. 编译安装nginx cd /usr/local
wget http://nginx.org/download/nginx-1.12.1.tar.gz
tar zxf nginx-1.0.0.tar.gz
cd nginx-1.12.1
./configure --prefix=/usr/local/nginx
转载
2024-03-21 19:33:19
159阅读
最近手上的项目需要拉去kafka的消息进行消费，不过以前没使用过kafka，这两天安装及摸索使用了kafka，对于在一个服务里开启多个kafka的消费者来提高消费速度的问题上，目前自己已摸索清楚并测试通过，故记录下。一. 项目场景 在分布式的情景下，有多个应用服务将消息推送到kafka的topic里，需要开发一个应用服务去拉去kafka的消息并进行消费，由于消息的生产速度很快，如果只开一个消
转载
2024-03-29 09:55:42
21阅读
前提auto.offset.reset=smallest,这样能保证每条消息都at least once,至少一次。否则offset取最大时，会导致有些消息因为offset已经跳过而取不到。zookeeper中没有初始化的offset时，如果offset是以下值的回应：smallest：自动复位offset为smallest的offsetlargest：自动复位offset为largest的of
转载
2024-03-07 15:45:21
81阅读
，是java语言开发的集成环境，IntelliJ在业界被公认为最好的java开发工具之一。Intellij IDEA 最突出的功能自然是调试（Debug)，可以对Java代码，JavaScript，JQuery，Ajax等技术进行调试。1、intellij 之前一直是使用的eclipse，后来读了一篇同事写的介绍intellij的文章，想开始使用intellij。公司其它团队用intellij比较
转载
2024-09-16 13:16:47
47阅读
Kafka-Eagle 2.0.5安装Kafka Eagle是一款由国内公司开源的Kafka集群监控系统，可以用来监视kafka集群的broker状态、Topic信息、IO、内存、consumer线程、偏移量等信息，并进行可视化图表展示。独特的KQL还可以通过SQL在线查询kafka中的数据。安装准备zookeeper-3.4.5已安装kafka_2.11-2.2.1已安装kafka-e
一、Kafka 概述1.1 为什么需要消息队列（MQ）主要原因是由于在高并发环境下，同步请求来不及处理，请求往往会发生阻塞。比如大量的请求并发访问数据库，导致行锁表锁，最后请求线程会堆积过多，从而触发 too many connection 错误，引发雪崩效应。 我们使用消息队列，通过异步处理请求，从而缓解系统的压力。消息队列常应用于异步处理，流量削峰，应用解耦，消息通讯等场景。当前比较
1.安装pip3 install flask 1 创建虚拟环境1.1 虚拟环境是什么?虚拟环境是隔离的Python解释器环境。通过创建虚拟环境，你可以拥有一个独立的Python解释器环境，相当于对全局的python解释器环境拷贝一份私有的副本， 这样做的好处是可以为每一个项目创建独立的Python解释器环境，因为不同的项目常常会依赖不同版本的库或Python版本。使用虚拟环境可以保持全局
转载
2024-10-16 15:41:20
22阅读
Kafka Tools - 管理Apache Kafka的得力助手1、项目介绍Kafka Tools是一个由LinkedIn的Site Reliability团队开发的集合，旨在简化Apache Kafka的管理工作。这个开源项目不仅包含了多种实用工具，还欢迎社区成员进行添加和修改，共同提升管理Kafka的效率。2、项目技术分析该项目基于Python编写，利用了pip进行安装，这意味着它具有良好的
文章目录下载安装windows安装目录结构启动服务器创建主题发送一些消息启动消费者设置多代理集群常见问题工具kafka tool常用指令topic查看topic删除topic常见问题参考文献 下载安装下载地址：kafka-downloadwindows安装下载完后，找一个目录解压。解压完成后，看看目录结构。对于linux来讲，所有的启动文件都放在bin目录下，那一堆sh文件；对于windows来
因为小编上一节讲的Nginx部署，是通过源码进行编译的，很多关于Nginx的插件是需要自己选择定义的。这里简单列列举几个常用的插件，供大家参考使用。1 通过Nginx获取到真正的IP模块：real_ip通过real_ip模块可以获取该报文发送时的客户主机IP，而非中间的路由节点IP。ngx_realip模块究竟有什么实际用途呢？为什么我们需要去改写请求的来源地址呢？答案是：当Nginx处理的请求经
转载
2024-04-07 13:51:40
152阅读
[size=x-large]2. Components of an Nginx Module[/size]
[size=x-large]2.Nginx模块的组成[/size]
我说过，Nginx模块的构建是很灵活的。这一节讲描述的东西会经常出现。它可以帮助你理解模块，也可以作为开发模块的手册。
提示：本节讨论的module源文件：[url]http:
转载
2024-04-23 14:16:26
36阅读
安装环境：
centos 6.5 64位
所需软件版本：
jdk1.8.0_171
nginx-1.12.2.tar.gz
kafka_2.11-0.10.2.1.tgz
zookeeper-3.4.5.tar.gz
scala-2.11.4.tgz
所需服务器：4台（三台安装scala、zookeeper和kafka，一台安装nginx）
【A:部署kafka集群
转载
2024-03-25 20:16:34
105阅读
本文主要讲解其中的 Producer API 和 Consumer API 在 Go Client sarama 中的使基本使用以及注意事项。1. 概述Kakfa 相关代码见 GithubKafka 有 5 个核心 API：Producer APIConsumer APIStream APIConnect APIAdmin API在 Go sarama 客户端中暂时只实现了 Producer、Co
转载
2024-08-07 10:22:12
52阅读
导读：Kafka 是广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析不可或缺的工具。本篇为 Kafka 系列的第一篇文章，之后将会每天持续更新，让你从上手到实践。作者 | 计缘什么是MQ首先我们来认知什么是MQ系统既消息队列（Message Queue）系统。举个不恰当的例子，消息（Message）就相当于自来水，队列（Queue）就相当于自来水管道，错综复杂的管道将自来水送给千家万户
转载
2024-05-29 11:46:55
25阅读
Compiling and Installing From the SourcesUpdate 2016/01/28: Updated for nginx-1.8.1 And openssl-1.0.2e.最近使用源码安装Nginx，遇到了一些问题，特此记录下来。1 安装前准备：检测系统版本:$ uname -rms
Darwin 15.3.0 x86_64检测GCC版本：$ gcc -v
