前言：“客户端上传时间戳”的玩法，你玩过么？一起聊聊时间戳的奇技淫巧！
缘起：无线时代，流量敏感。APP在登录后，往往要向服务器同步非常多的数据，很费流量，技术上有没有节省流量的方法呢？这是本文要讨论的问题。
问题一：APP登录时需要拉取什么数据？
答：APP登陆时，一般要拉取两类数据，一类是“id列表型数据”，一类是“信息详情型数据”，以微信为例，需要拉取
（1）好友列表List<
转载
2014-01-02 10:40:00
90阅读
2评论
nginx中的状态统计基本介绍ngx_http_status_module模块auth_basichtpasswd隐藏NGINX的版本 基本介绍ngx_http_stub_status_module：该模块提供了一个简单的页面，显示当前Nginx的基本状态统计信息，如活跃的连接数、请求处理数、请求延迟等，可以通过设置指令启用。ngx_http_status_module：该模块提供了一个更全面的
Nginx 限速使用的是漏桶算法，此算法图示如下，一个桶有一定的容量，水从桶的上方流入，如果桶中有水，水就会从下方按照一定的速率流出。当然如果桶的容量已满，流入的部分水就会溢出。如果桶没有满，水流入速度大于流出速度，那么桶的容量就会上升。类比nginx环境，设置限速是1秒100个请求。Nginx时间粒度是毫秒，也就是10ms允许通过1个请求。那么可以认为桶的容量(10ms)是1。如果10ms到达2
首先给出配置段：http {
limit_conn_zone $binary_remote_addr zone=one:10m;
limit_req_zone $binary_remote_addr zone=one:10m rate=1r/s;
...
server {
...
location /download/
一. 需求背景需要把旧的推荐服务逐步切换到新的推荐服务上，需要灰度切换，流量比例和灰度策略可以控制。 二. 方案当前数据请求流程是：外部请求—>易车nginx --->后端服务 ；经过跟运维沟通发现，目前易车nginx 是公司级别的 不允许某个业务对配置的修改，所以我们在易车nginx 和 后端服务之间添加了一个新的转发组件；已经跟运维沟通过该方案可行。 小流量数据请求流程为
Nginx请求处理流程 分析上图：Nginx大致会处理三种流量：WEB，EMAIL，TCP流量。Nginx中三个大的状态机：处理TCP、UDP的传输层状态机，处理应用层的HTTP状态机，处理邮件的MALL状态机。当Nginx解析出请求需要访问静态资源的时候，会走左下方的流程，如果Nginx做反向代理的时候，将请求的资源缓存在磁盘也是这条线。对于每个处理完成的请求，出记录Access日志，出错的情况
Nginx 以其超高的性能与稳定性，在业界获得了广泛的使用，微博的七层就大量使用了 Nginx 。结合 Nginx 的健康检查模块，以及动态 reload 机制，可以近乎无损的服务的升级上线与扩容。这个时候扩容的频次比较低，大多数情况下是有计划的扩容。 微博的业务场景有非常显著的峰值特征。既有例行的晚高峰，也有像元旦、春晚、红包飞这样的预期内的极端流量峰值。更有#周一见# #我们#等明星/社会事
Nginx 自切换脚本现状： 现生产环境中有两台nginx服务器A,B 分别用来做不同域名的反向代理，A，B所处机房都在上海，相互访问速度都很快。随着访问量的增大，为进一步改善用户体验，需在另一个城市北京部署一台nginx反向代理加速服务器C，要求同时对A，B进行缓存加速。 问题： 由于网络的不稳定因素，C服务器到A,B的速度并不相同，有时到A快，有时到B快。&nbs
使用前提:项目重构了,旧项目还在线上运行,新项目准备替换线上的旧项目最终目标:要实现实时切换新旧项目,保证如果新项目上线后有问题,可以立刻快速的将流量切回旧项目方案:关于abtest的基本原理本文不再多说,本文重点是实践，先看图 如上图所示,用户访问的永远都是dns,单独集群部署,由dns上的配置决定后面的访问的集群 旧项目nginx和旧项目tomcat在一组linux上部署 新项目nginx和新
Nginx 的限流主要是两种方式：限制访问频率和限制并发连接数。 Nginx 按请求速率限速模块使用的是漏桶算法，即能够强行保证请求的实时处理速度不会超过设置的阈值。 Nginx 官方版本限制 IP 的连接和并发分别有两个模块： 1、limit_req_zone：用来限制单位时间内的请求数，即速率限制 , 采用的漏桶算法 “leaky bucket”。 2、limit_conn_zone：用来限制
#一、Nginx如何限流 Nginx的”流量限制”使用漏桶算法(leaky bucket algorithm)，该算法在通讯和分组交换计算机网络中广泛使用，用以处理带宽有限时的突发情况。就好比，一个桶口在倒水，桶底在漏水的水桶。如果桶口倒水的速率大于桶底的漏水速率，桶里面的水将会溢出；同样，在请求处理方面，水代表来自客户端的请求，水桶代表根据”先进先出调度算法”(FIFO)等待被处理的请求队列，桶
环境
nginx1.22，centos7.9
由于线上数据的各类问题，不容易在测试环境复现，只好将线上数据，复制转发到测试环境进行验证及问题查询
步骤
流量复制主要依赖ngx_http_mirror_module模块
nginx 1.13.4及后续版本内置ngx_http_mirror_module模块，提供流量镜像(复制)的功能。
没有则编译添加
./configure
--sbi
原创
2023-08-04 14:50:07
195阅读
location /download/ { limit_rate_after 5m; limit_rate 1m; alias /data/html/; }
转载
2019-06-14 17:10:00
157阅读
需求将生产环境的流量拷贝到预上线环境或测试环境，这样做有很多好处，比如：可以验证功能是否正常，以及服务的性能；用真实有效的流量请求去验证，又不用造数据，不影响线上正常访问；这跟灰度发布还不太一样，镜像流量不会影响真实流量；可以用来排查线上问题；重构，假如服务做了重构，这也是一种测试方式； 为了实现流量拷贝，Nginx提供了ngx_http_mirror_module模块安装Nginx首页，设置yu
转载
2021-04-25 12:52:34
709阅读
什么是API网关呢？想象一下，你有几个好朋友，他们各自会一些不同的技能。有的会画画，有的会唱歌，还有的会讲故事。如果你想请这些朋友为你表演，但每次只能叫一个朋友来，这时候你需要一个“守门人”或者“调度员”，他会根据你的请求，去叫对应的朋友过来。这个“守门人”就像是API网关，而你的朋友们就像是后端的各种服务或API。Nginx如何当这个“守门人”呢？Nginx是一个非常强大的服务器软件，它可以帮助
1. 需求将生产环境的流量拷贝到预上线环境或测试环境，这样做有很多好处，比如：可以验证功能是否正常，以及服务的性能；用真实有效的流量请求去验证，又不用造数据，不影响线上正常访问；这跟灰度发布还不太一样，镜像流量不会影响真实流量；可以用来排查线上问题；重构，假如服务做了重构，这也是一种测试方式； 为了实现流量拷贝，Nginx提供了ngx_http_mirror_module模块2. 安装Nginx首
转载
2020-02-28 10:30:00
110阅读
在学习Nginx的时候遇到了这个问题，百度到了很多博客，大多都讲得不清不楚，在看到了http://www.wangjingfeng.com/730.htmlhttp://cjhust.blog.163.com/blog/static/17582715720111017114121678/这两篇博客之后终于疑窦瞬开，在综合了之前看到的博客再加上测试案例之后整理成文。引言：漏斗算法（Leaky Buc
问题1：下单的请求可以通过脚本不停的刷造成黄牛还有对服务器的压力可以在秒杀令牌颁发的过程中做限购 比如一个用户只能拿一个令牌等逻辑问题2：秒杀下单逻辑和秒杀下单接口写在一起，强冗余。即使活动不开始，也可以作为普通商品下单。会对交易系统造成无关联负载解决：引入秒杀令牌，将秒杀下单逻辑放到生成令牌这里，这样方便以后分开部署。1.使用令牌来避免大量的访问来下单秒杀令牌来管风控和验证，避免大流量的用户来进
**客户需求：**数据中心监控96×100Gbit链路，带有VXLAN**技术挑战：**网络速度的提高要求工具能够跟上不断变化的需求，并使数据中心高度可靠。 网络可视化工具需要为网络管理和运营团队提供实时，准确的分析。 该解决方案涉及两个问题：**挑战1：**高带宽中的聚合**挑战2：**能够以100Gbit线速的倍数进行数据包切片、标记和VXLAN删除。Cubro解决方案：**数据包切...
原创
2021-07-14 15:32:11
187阅读
最近做实验室项目，因为有过多长短类型不一的数组要保存交互，感觉JDBC实在是有些麻烦，所以尝试用文件形式做交互，但是也遇到了一些问题。1、文件读写相关程序1)新建文件 File f=new File(path);
if(!f.exists()){
f.createNewFile();
