nginx + uwsgi + django出现的问题那么在用了一段时间后发现一个很严重的问题：无论代码层如何优化，都会出现内存泄漏（内存占用无限增长）的问题，尝试过增加uwsgi.ini配置文件中添加参数：max-requests = 50，来对抗内存泄露（该参数用来控制每个进程处理50个请求后重启该进程）。但发现并没有什么用，当然网上还有其他折中方案，比如控制达到占用多少内存后自动重启uwsg
一、 去除各种封装，简单来看1. 相关核心知识点1. 在消息队列中，“topic” 和 “groupId” 是两个关键概念：Topic（主题）：Topic 是消息队列中的一个逻辑概念，用于将消息进行分类和组织。它可以看作是一个消息的容器或者分类目录。当消息生产者发送消息时，需要指定消息所属的主题。消费者可以订阅一个或多个主题，以接收和处理其中的消息。主题可以根据业务需求进行划分，每个主题下可以有多
上篇描述的kafka案例是个库存管理平台。是一个公共服务平台，为其它软件模块或第三方软件提供库存状态管理服务。当然，平台管理的目标必须是共享的，即库存是作为公共资源开放的。这个库存管理平台是一个Kafka消费端独立运行的软件。kafka的生产方即平台的服务对象通过kafka生产端producer从四面八方同时、集中将消息写入kafka。库存管理平台在kafka消费端不间
转载
2024-04-08 12:50:20
171阅读
worker_processes 4;events {use epoll; worker_connections 10240;}http { include mime.types; default_type application/o'$ms...
原创
2023-05-12 16:44:27
63阅读
kafka入门java例子 分布式日志消息队列
原创
2023-04-25 22:52:10
307阅读
wendows 版本 Nginx入门了解wendows 环境工具 Nginx idea第一先下载Nginx ：nginx/Windows-1.19.3 pgp下载安装后，双击nginx.exe 会防火墙提示，点击允许访问就可以了conf文件夹中的，nginx.conf为配置文件，logs为日志文件夹解释一下Nginx的作用Nginx是一个开源的Web服务器，同时Nginx也提供了反向代理和负载均衡
转载
2024-04-15 10:58:03
65阅读
为了提升页面加载速度，可以在服务端（nginx）开启gzip网页压缩，减小网络传输过程中文件大小。从而减小服务端带宽限制的压力。1.压缩实现原理 网页压缩是一项由 WEB 服务器和浏览器之间共同遵守的协议，也就是说 WEB 服务器和浏览器都必须支持该技术
上一篇介绍核心事件模块，本篇介绍事件模块ngx_epoll_module。Nginx在linux环境下采用epoll网络模型，对于epoll网络型不了解的可自行百度查询，本篇不在阐述。一、问题本篇要澄清以下几个问题：1、当客户端发起TCP连接后，事件模块是如何管理新连接？2、Nginx是如何接收到客户端请求（只是TCP层请求非HTTP请求）？3、Nginx是如何发送响应给客户端（只是TCP层响应）
转载
2024-06-12 18:24:05
80阅读
一、nginx rewrite标签rewrite 实现URL的改写主要是实现伪静态1、 rewrite指令语法指令语法：rewrite regex replacement[flag]默认值：none应用位置：server,location,if rewrite是实现URL重写的关键指令，根据regex（正则表达式）部分内容，重定向到replacement部分内容，
转载
2024-05-03 13:53:04
210阅读
Nginx 中配置服务的反向代理1.需求2.安装 tomcat3.配置 tomcat4.配置 Nginx 实现服务的反向代理5.在反向代理中配置负载均衡1.什么是负载均衡2.Nginx 负载均衡策略3.需求4.Nginx 的集群配置 1.需求安装两个 tomcat 服务，通过 nginx 反向代理。本案例中使用两台虚拟机演示。tomcat 安装到 192.168.70.143 环境中。端口为 8
转载
2023-08-14 20:37:56
127阅读
1. Kafka的Producer 不论将kafka作为什么样的用途，都少不了的向Broker发送数据或接受数据，Producer就是用于向Kafka发送数据。如下： 2. 添加依赖 pom.xml文件如下： <!-- https://mvnrepository.com/artifact/org.apache.kafka/kafka -->
<dependency
转载
2024-02-13 14:54:57
188阅读
[root@XWBizEngine03 conf]# cat nginx.conf |egrep -v '#' |grep -v '^$' user root; worke
原创
2023-06-20 06:48:55
30阅读
安装环境：
centos 6.5 64位
所需软件版本：
jdk1.8.0_171
nginx-1.12.2.tar.gz
kafka_2.11-0.10.2.1.tgz
zookeeper-3.4.5.tar.gz
scala-2.11.4.tgz
所需服务器：4台（三台安装scala、zookeeper和kafka，一台安装nginx）
【A:部署kafka集群
转载
2024-03-25 20:16:34
105阅读
一、kafka介绍在把Kafka集成到springboot之前，我们首先要了解Kafka是什么？由什么东西组成？主要的使用场景是哪些？Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。Kafka是一个分布式消息队列。Kafka对消息保存时根据Topic进行归类，发送消息者称为Producer，消息接受者称为Consumer，此外ka
转载
2023-11-13 23:01:59
67阅读
代码使用的是 0.10.1.0 版本的 Kafka examples Producer 代码 代码在源码包的 kafka.examples.Producer 中Kafka Producer 代码public class Producer extends Thread {
// 发送的数据是 K V 结构，对应上类型
private final KafkaProducer<In
转载
2024-07-04 16:03:41
28阅读
使用nginx+flask做了一个小的负载均衡例子。由于机器有限，只是基于端口做的，用的是同一台机器。flask：server1，from flask imp
原创
2022-11-11 12:17:53
91阅读
1.先介绍linux环境的，单机版1.下载安装kafka，Kafka内带zookeeper，可以使用内带就可以，如果生产环境最好使用单独配置的zookeeper集群环境wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/0.10.1.1/kafka_2.10-0.10.1.1.tgz进入到config目录主要关注：server.propert
转载
2024-06-04 10:52:06
198阅读
定义 传统定义：Kafka是一个分布式的基于发布订阅模式的消息队列，主要用于大数据实时处理领域。 最新定义： Kafka是一个开源的分布式事件流平台，主要用于高性能的数据通道，流分析，数据集成和关键任务应用。 消息队列 应用场景 1，异步处理 2，系统解耦 3，流量削峰 4，日志处理 5，消息通讯 两种模式 点对点模式： 消费者主动拉取数据，消息收到后清除消息发布/订阅模式： - 可以有个
转载
2024-04-03 15:09:50
38阅读
Compiling and Installing From the SourcesUpdate 2016/01/28: Updated for nginx-1.8.1 And openssl-1.0.2e.最近使用源码安装Nginx，遇到了一些问题，特此记录下来。1 安装前准备：检测系统版本:$ uname -rms
Darwin 15.3.0 x86_64检测GCC版本：$ gcc -v
缘起有一个埋点收集系统，架构是Nginx+Flume。web，小程序，App等客户端将数据报送至Nginx，Nginx将请求写入本地文件，然后Flume读取日志文件的数据，将日志写入Kafka。这个架构本来没什么问题，但是部署在K8s容器就有问题了，当前一个Nginx后面是3个Flume，Nginx根据渠道将日志写入web.log，mp.log，app.log，3个log文件各对应一个Flume将
