安装环境：
centos 6.5 64位
所需软件版本：
jdk1.8.0_171
nginx-1.12.2.tar.gz
kafka_2.11-0.10.2.1.tgz
zookeeper-3.4.5.tar.gz
scala-2.11.4.tgz
所需服务器：4台（三台安装scala、zookeeper和kafka，一台安装nginx）
【A:部署kafka集群
转载
2024-03-25 20:16:34
105阅读
Kubernetes（K8S）是一种用于自动化部署、扩展和管理容器化应用程序的开源系统。在K8S中，我们经常会遇到需要使用nginx代理kafka的情况。nginx是一个高性能的反向代理服务器，可以提供负载均衡、缓存、SSL终结等功能，而kafka是一个分布式流处理平台，用于构建实时数据管道。在本文中，我将教会你如何在K8S中使用nginx代理kafka。
首先，让我们来看一下整个流程的步骤：
原创
2024-04-25 11:33:44
1115阅读
Linux 下Nginx+Tomcat 完美整合 nginx tomcat 整合方式随着IT行业的不断发展，个人、企业应用对网站的性能也不断的提高，从以前的apache+tomcat整合、weblogic等常见web应用，lighttpd、nginx 不断被企业应用，nginx+tomcat组合也应用的越来越广泛，下面是我的nginx+Tomcat整合方式，也参考有网上很多文章，谢谢他们！虽然网上
缘起有一个埋点收集系统，架构是Nginx+Flume。web，小程序，App等客户端将数据报送至Nginx，Nginx将请求写入本地文件，然后Flume读取日志文件的数据，将日志写入Kafka。这个架构本来没什么问题，但是部署在K8s容器就有问题了，当前一个Nginx后面是3个Flume，Nginx根据渠道将日志写入web.log，mp.log，app.log，3个log文件各对应一个Flume将
Compiling and Installing From the SourcesUpdate 2016/01/28: Updated for nginx-1.8.1 And openssl-1.0.2e.最近使用源码安装Nginx，遇到了一些问题，特此记录下来。1 安装前准备：检测系统版本:$ uname -rms
Darwin 15.3.0 x86_64检测GCC版本：$ gcc -v
nginx-kafka-module是nginx的一个插件，可以将kafka整合到nginx中，便于……
原创
精选
2018-10-23 17:11:11
10000+阅读
点赞
1评论
nginx + uwsgi + django出现的问题那么在用了一段时间后发现一个很严重的问题：无论代码层如何优化，都会出现内存泄漏（内存占用无限增长）的问题，尝试过增加uwsgi.ini配置文件中添加参数：max-requests = 50，来对抗内存泄露（该参数用来控制每个进程处理50个请求后重启该进程）。但发现并没有什么用，当然网上还有其他折中方案，比如控制达到占用多少内存后自动重启uwsg
0.架构简介模拟线上的实时流，比如用户的操作日志，采集到数据后，进行处理，暂时只考虑数据的采集，使用Html+Jquery+Nginx+Ngx_kafka_module+Kafka来实现，其中Ngx_kafka_module 是开源的专门用来对接Nginx和Kafka的一个组件。1.需求描述1.1 用html和jquery 模拟用户请求日志其中包括下面下面几项：用户id:use
转载
2024-04-11 13:44:44
1226阅读
NGINX lua集成kafka第一步：进入opresty目录[root@node03 openresty]# cd /export/servers/openresty/
[root@node03 openresty]# ll
total 356
drwxr-xr-x 2 root root 4096 Jul 26 11:33 bin
drwxrwxr-x 44 1000 1000 40
转载
2024-07-27 22:29:18
814阅读
反向代理作用隐藏服务器信息 -> 保证内网的安全，通常将反向代理作为公网访问地址，web服务器是内网，即通过nginx配置外网访问web服务器内网举例比如小编的码云个人博客地址为：http://zhengqingya.gitee.io/blog/ ，现在小编想通过自己的服务器地址 http://www.zhengqing520.com/blog/ 来访问到码云上
文章目录一、需求二、实现思路三、实现一、需求使用 Kafka 做日志收集。用户点击 HTML，Nginx 用于收集用户的点击数据流，记录_code）
原创
2022-10-21 16:19:15
211阅读
一、服务介绍1.1、ELKELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具。Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数
需求 需要收集的信息：1、用户ID（user_id）2、时间（act_time）3、操作（action，可以是：点击：click，收藏：job_collect，投简历：cv_send，上传简历：cv_upload）4、对方企业编码（job_code）1、HTML可以理解为拉勾的职位浏览页面2、Ngi ...
转载
2021-07-19 17:00:00
437阅读
2评论
设计 Apache Flume + Zookeeper + Fafka中间件 + 持久化存储 。用 Apache Flume 获取 nginx 日志，设置 sources 为 tail -f access-log，设置 sink 为 kafka 集群 ，从kafka 中取数据 结果存入 redis/mongo/es ，提供 API查询Nginx 日志 format 修改首先，我们对 要收集的 Ng
转载
2024-06-23 05:57:34
303阅读
Nginx + Tomcat 实现负载均衡1、实验拓扑2、各个虚机的软件安装2.1 Nginx Server2.1.1 Nginx 安装2.1.2 Nginx 启动2.1.3 Nginx 访问2.2 Tomcat - 22.2.1 Tomcat 安装2.2.2 Tomcat 启动2.2.3 Tomcat 访问2.3 Tomcat - 12.3.1 Tomcat 安装2.3.2 Tomcat 启动
安装nginx-kafka插件nginx可以直接把数据写到kafka里面去。1.安装git yum install -y git2.切换到/usr/local/src目录，然后将kafka的c客户端源码clone到本地 cd /usr/local/src git clone https://github.com/edenhill/librdkafka...
原创
2022-02-14 17:32:19
313阅读
...
原创
2021-09-01 16:44:57
545阅读
1.笔试常见的问题？面试常见的问题上面给的面试题链接基本都有。我只提几点：写SQL：写SQL很常考察group by、内连接和外连接。手写代码：手写代码一般考单例、排序、线程、消费者生产者。我建议排序算法除了冒泡排序，最好还能手写一种其他的排序代码。试想：如果一般面试者都写的冒泡排序，而你写的是快速排序/堆排序，肯定能给面试官留下不错的印象。2.面试流程？让你自我介绍问Java基础知识问项目情景问
目录 五、错误记录 Nginx作为网站的第一入口，其日志记录了除用户相关的信息之外，还记录了整个网站系统的性能，对其进行性能排查是优化网站性能的一大关键。Logstash是一个接收，处理，转发日志的工具。支持系统日志，webserver日志，错误日志，应用日志，总之包括所有可以抛出来的日志类型。一般
转载
2019-11-29 16:29:00
215阅读
Nginx (engine x) 是一个高性能的负载均衡和反向代理web服务器，同时也提供了IMAP/POP3/SMTP服务。一、nginx的安装1、下载linux版本安装包，解压2、安装C语言编译器3、安装依赖库yum install -y pcre-devel openssl-devel gcc curl4、重新编译这样，nginx就安装到了 /usr/local/nginx 下
原创
2022-04-22 10:14:20
665阅读
