Nginx介绍Ngin（engine x）是一个高性能的HTPP和反向代理服务，也是一个IMAP/POP3/SMTP服务。Nginx是一款轻量级的Web服务器/反向代理服务器及电子邮件（IMAP/POP3）代理服务器，并在一个BSD-like协议下发行。其特点是占有内存少，并发能力强，事实上nginx的并发能力确实在同类型的网页服务器中表现较好，中国大陆使用nginx的网站有很多，比如京东、百度、
转载
2024-04-28 15:14:23
176阅读
一、背景 最近公司在做一些物联网产品，物物通信用的是MQTT协议，内部权限与内部关系等业务逻辑准备
原创
2022-05-27 08:31:59
3004阅读
点赞
# 使用 Spark 创建单机百万条数据的教程
在数据处理和分析的领域，Apache Spark 是一个非常强大的框架。对于刚入行的小白来说，了解如何在单机环境下生成和处理百万条数据是个很好的学习起点。文章将为你详细介绍整个流程，并逐步展示代码的实现。
## 流程概述
下面是整个任务的步骤总结，帮助我们更清晰地了解需要执行的各个环节。
| 步骤 | 描述 |
|------|------|
原创
2024-10-23 05:02:19
39阅读
同时开启多个tomcat1：http://127.0.0.1:80802：http://127.0.0.1:80813：http://127.0.0.1:8082 执行命令 ： vim /usr/local/nginx/conf/nginx.conf 修改一下内容server { listen 8080;
转载
2024-06-24 18:55:10
49阅读
1、优化方法论从软件层面提升硬件使用效率-增大CPU的利用率
-增大内存的利用率
-增大磁盘10的利用率
-增大网络带宽的利用率提升硬件规格-网卡：万兆网卡，例如10G、25G、40G等
-磁盘:固态硬盘
-CPU :更快的主频，更多的核心，更大的缓存,更优的架构
-内存：更快的访问速度 2、Nginx相关优化配置-进程相关1、如何增大Nginx使用CPU的有效时长能够使用全部CP
转载
2024-03-04 08:50:29
530阅读
总结了一下如何实现单机百万连接，甚至千万连接。”talk is cheap，show me code。01—原理 首先，我们都知道，TCP底层的socket编程有一个四元组的概念。也就是 <源IP><源port><目的IP><目的port>，当其中一项发生变化，都会认为是一条新的TCP连接。 如果我们在本机模拟百万级别的TCP连接，
原创
2021-02-28 09:47:39
3357阅读
前几天，偶然看到了 《扛住100亿次请求——如何做一个“有把握”的春晚红包系统”》一文，看完以后，感慨良多，收益很多。正所谓他山之石，可以攻玉，虽然此文发表于2015年,我看到时已经是2016年末，但...
转载
2022-04-21 08:39:16
64阅读
要实现百万并发连接的 Nginx 集群，可以考虑以下几种方案：横向扩展：使用多台 Nginx 服务器来处理并发连接。通过将流量分发到多个节点，每个节点处理一部分连接，从而实现并发连接的处理能力扩展。可以使用负载均衡器（如硬件负载均衡器、Nginx 负载均衡模块、HAProxy 等）来将请求均匀地分发给多个 Nginx 节点。反向代理集群：配置多个 Nginx 反向代理服务器，将请求转发给后端服务器
转载
2024-02-16 12:54:07
166阅读
nginx -h 或-?1、另行指定配置文件的启动方式nginx -c tmpnginx.conf,这时，会读取-c参数后指定的nginx.conf配置文件来启动Nginx。2、另行指定安装目录的启动方式nginx -p /usr/local/nginx/ 使用-p参数指定Nginx的安装目录3、另行指定全局配置项的启动方式nignx -g
转载
2024-03-27 08:33:06
112阅读
① 介绍100w连接需要多少台机器才能构建起来，这肯定是很多的，在测试的过程中，不需要几百个服务器完成百万连接。需要注意服务器支持端口的数量是可以支持很多的，但是如何2台服务器要实现百万连接，需要考虑一个TCP层次的一种限制，两台服务器之间建立的连接数量是有限的。网络四元组（客户端IP，客户端端口，服务端IP，服务端端口）。同一个IP的端口数不超过65535个，这是个限制，每一个连接不仅仅在服务器
转载
2023-12-16 09:25:31
392阅读
百万兵发
原创
2022-01-06 11:00:44
282阅读
“ 今天给大家分享一篇万字长文《微言 Netty：百万并发基石上的 epoll 之剑》。图片来自 Pexels相信很多人知道石中剑这个典故，在此典故中，天命注定的亚瑟很容易的就拔出了这把石...
转载
2021-06-12 12:21:06
308阅读
“ 今天给大家分享一篇万字长文《微言 Netty：百万并发基石上的 epoll 之剑》。图片来自 Pexels相信很多人知道石中剑这个典故，在此典故中，天命注定的亚瑟很容易的就拔出了这把石中剑，但是由于资历不被其他人认可，所以他颇费了一番周折才成为了真正意义上的英格兰全境之王，亚瑟王。说道这把剑，剑身上铭刻着这样一句话：ONLY THE KING CAN TAKE THE SWORD FROM T
转载
2021-06-06 16:51:10
373阅读
异步处理: 在设计服务时，尽量将处理过程异步化。例如，可以使用消息队列（如RabbitMQ、Kafka）来处理异步请求。请求合并: 在一些场景下，可以将多个小请求合并成一个大请求，从而减少服务器的处理负担。监控和日志: 对于无状态服务，需要有良好的监控和日志系统，以便在出现问题时进行排查。服务发现和注册: 对于微服务架构，服务发现和注册是必要的。可以使用Consul、ZooKeeper、Etcd等
榨干单机Nginx性能的诀窍Nginx架构图异步非阻塞模型事件驱动模型Nginx性能优化方法论别让OS限制了NGINX的性能缓冲队列文件句柄数可用端口数提升CPU使用效率合适的worker进程数CPU亲和增加worker进程的CPU使用时间减少CPU开销提升网络效率连接复用使用Cachegzip压缩开启proxy_buffering提升磁盘IO效率更换SSDaccess/error loggin
转载
2024-02-27 13:54:35
223阅读
#!/bin/bash
read -p "你想要安装哪个版本:" get_nginx_version ##通过变量的方式决定你要安装哪个版本。if [ ! -d "/usr/local/nginx/" -a ! -e "/tmp/nginx-$get_nginx_version.tar.gz" ] ##判断本机是否存在NGINX
then
wget http://n
原创
2023-04-04 15:37:46
123阅读
Elk监控nginx 一、服务介绍 ELK分别表示：Elasticsearch , Logstash, Kibana FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给LogstashElasticsearch是个开源
原创
2024-02-02 21:21:51
76阅读
目录标题1. 什么是NGINX_THREADS？2. 配置NGINX_THREADS3. 使用NGINX_THREADS处理耗时操作4. 性能调优5. 结论 NGINX作为一个高性能的HTTP和反向代理服务器，在处理高并发请求时表现出色。但随着互联网应用对性能要求的不断提高，深入了解和优化NGINX的各项功能变得尤为重要。1. 什么是NGINX_THREADS？在深入研究如何使用NGINX_TH
虚拟机信息 ➜ nginx lscpu Architecture: x86_64 CPU op-mode(s): 32-bit, 64-bit Byte Order: Little Endian CPU(s): 2 On-line CPU(s) list: 0,1 Thread(s) per core: 1 Core(s) per socket: 1 座： 2 NUMA 节点
目录一、性能优化考虑点1、当前系统结构瓶颈2、了解业务模式3、性能与安全二、系统与Nginx性能优化1、文件句柄2、cpu的亲和配置3、事件处理模型优化4、设置work_connections 连接数5、keepalive timeout会话保持时间6、GZIP压缩性能优化7、proxy超时设置8、高效传输模式9、Linux系统内核层面一、性能优化考虑点当我需要进行性能优化时，说明我们服务器无法满
转载
2024-04-07 12:49:44
32阅读
