安装环境：
centos 6.5 64位
所需软件版本：
jdk1.8.0_171
nginx-1.12.2.tar.gz
kafka_2.11-0.10.2.1.tgz
zookeeper-3.4.5.tar.gz
scala-2.11.4.tgz
所需服务器：4台（三台安装scala、zookeeper和kafka，一台安装nginx）
【A:部署kafka集群
转载
2024-03-25 20:16:34
105阅读
zookeeper集群搭建和kafka集群搭建环境linux 开发机（主）4台centos7虚拟机 192.168.0.201 192.168.0.202（nginx-kafka）192.168.0.203192.168.0.204虚拟机配置 jdk1.8
原创
2022-02-14 17:27:00
145阅读
Kubernetes（K8S）是一种用于自动化部署、扩展和管理容器化应用程序的开源系统。在K8S中，我们经常会遇到需要使用nginx代理kafka的情况。nginx是一个高性能的反向代理服务器，可以提供负载均衡、缓存、SSL终结等功能，而kafka是一个分布式流处理平台，用于构建实时数据管道。在本文中，我将教会你如何在K8S中使用nginx代理kafka。
首先，让我们来看一下整个流程的步骤：
原创
2024-04-25 11:33:44
1115阅读
Linux 下Nginx+Tomcat 完美整合 nginx tomcat 整合方式随着IT行业的不断发展，个人、企业应用对网站的性能也不断的提高，从以前的apache+tomcat整合、weblogic等常见web应用，lighttpd、nginx 不断被企业应用，nginx+tomcat组合也应用的越来越广泛，下面是我的nginx+Tomcat整合方式，也参考有网上很多文章，谢谢他们！虽然网上
zookeeper集群搭建和kafka集群搭建环境linux 开发机（主）4台centos7虚拟机 192.168.0.201 192.168.0.202（nginx-kafka）192.168.0.203192.168.0.204虚拟机配置 jdk1.8 jpszookeeper集群搭建安装java（略）安装zookeeper下载（自己到官网下载...
原创
2021-09-01 17:06:31
358阅读
缘起有一个埋点收集系统，架构是Nginx+Flume。web，小程序，App等客户端将数据报送至Nginx，Nginx将请求写入本地文件，然后Flume读取日志文件的数据，将日志写入Kafka。这个架构本来没什么问题，但是部署在K8s容器就有问题了，当前一个Nginx后面是3个Flume，Nginx根据渠道将日志写入web.log，mp.log，app.log，3个log文件各对应一个Flume将
Compiling and Installing From the SourcesUpdate 2016/01/28: Updated for nginx-1.8.1 And openssl-1.0.2e.最近使用源码安装Nginx，遇到了一些问题，特此记录下来。1 安装前准备：检测系统版本:$ uname -rms
Darwin 15.3.0 x86_64检测GCC版本：$ gcc -v
nginx-kafka-module是nginx的一个插件，可以将kafka整合到nginx中，便于……
原创
精选
2018-10-23 17:11:11
10000+阅读
点赞
1评论
nginx + uwsgi + django出现的问题那么在用了一段时间后发现一个很严重的问题：无论代码层如何优化，都会出现内存泄漏（内存占用无限增长）的问题，尝试过增加uwsgi.ini配置文件中添加参数：max-requests = 50，来对抗内存泄露（该参数用来控制每个进程处理50个请求后重启该进程）。但发现并没有什么用，当然网上还有其他折中方案，比如控制达到占用多少内存后自动重启uwsg
0.架构简介模拟线上的实时流，比如用户的操作日志，采集到数据后，进行处理，暂时只考虑数据的采集，使用Html+Jquery+Nginx+Ngx_kafka_module+Kafka来实现，其中Ngx_kafka_module 是开源的专门用来对接Nginx和Kafka的一个组件。1.需求描述1.1 用html和jquery 模拟用户请求日志其中包括下面下面几项：用户id:use
转载
2024-04-11 13:44:44
1226阅读
NGINX lua集成kafka第一步：进入opresty目录[root@node03 openresty]# cd /export/servers/openresty/
[root@node03 openresty]# ll
total 356
drwxr-xr-x 2 root root 4096 Jul 26 11:33 bin
drwxrwxr-x 44 1000 1000 40
转载
2024-07-27 22:29:18
814阅读
反向代理作用隐藏服务器信息 -> 保证内网的安全，通常将反向代理作为公网访问地址，web服务器是内网，即通过nginx配置外网访问web服务器内网举例比如小编的码云个人博客地址为：http://zhengqingya.gitee.io/blog/ ，现在小编想通过自己的服务器地址 http://www.zhengqing520.com/blog/ 来访问到码云上
文章目录一、需求二、实现思路三、实现一、需求使用 Kafka 做日志收集。用户点击 HTML，Nginx 用于收集用户的点击数据流，记录_code）
原创
2022-10-21 16:19:15
211阅读
一、服务介绍1.1、ELKELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具。Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数
需求 需要收集的信息：1、用户ID（user_id）2、时间（act_time）3、操作（action，可以是：点击：click，收藏：job_collect，投简历：cv_send，上传简历：cv_upload）4、对方企业编码（job_code）1、HTML可以理解为拉勾的职位浏览页面2、Ngi ...
转载
2021-07-19 17:00:00
437阅读
2评论
第1章 Kafka概述1.1、定义Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统(也可以当做MQ系统)，常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。主要应用场景是：日志收集系统和消息系统。Kafka主要设计目标如下：以时间复杂度
转载
2023-09-27 22:39:29
70阅读
（1）redis的主要作用是用以内存数据库，只是它提供的数据类型list可以用作消息队列而已而kafka是本身就是消息队列，消息的存储模型只是其中的一个环节，还提供了消息ACK和队列容量、消费速率等消息相关的功能，更加完善（2）redis 发布订阅除了表示不同的 topic 外，并不支持分组kafka每个consumer属于一个特定的consumer group（default group）, 同
转载
2023-06-29 11:30:57
114阅读
设计 Apache Flume + Zookeeper + Fafka中间件 + 持久化存储 。用 Apache Flume 获取 nginx 日志，设置 sources 为 tail -f access-log，设置 sink 为 kafka 集群 ，从kafka 中取数据 结果存入 redis/mongo/es ，提供 API查询Nginx 日志 format 修改首先，我们对 要收集的 Ng
转载
2024-06-23 05:57:34
303阅读
1、服务注册、服务发现是什么在分析eureka、zookeeper、nacos区别前，需要先清楚服务注册、服务发现是什么？1.1 传统模式在传统的系统部署中，服务运行在一个固定的已知的 IP 和端口上，如果一个服务需要调用另外一个服务，可以通过地址直接调用。但是，在微服务架构下，服务实例的启动和销毁是很频繁的，服务地址在动态的变化，而且，由于自动扩展，失败和更新，服务实例的配置也经常变化，所以，无
转载
2024-04-23 10:52:16
154阅读
Nginx + Tomcat 实现负载均衡1、实验拓扑2、各个虚机的软件安装2.1 Nginx Server2.1.1 Nginx 安装2.1.2 Nginx 启动2.1.3 Nginx 访问2.2 Tomcat - 22.2.1 Tomcat 安装2.2.2 Tomcat 启动2.2.3 Tomcat 访问2.3 Tomcat - 12.3.1 Tomcat 安装2.3.2 Tomcat 启动
