最近在做游戏服务分层的时候，一直想把mysql的访问独立成一个单独的服务DBGate，原因如下:请求收拢到DBGate，可以使DBGate变为无状态的，方便横向扩展当请求量或者存储量变大时，mysql需要做分库分表，DBGate可以内部直接处理，外界无感知通过restful限制对数据请求的形式，仅支持简单的get/post/patch/put 进行增删改查，并不支持复杂查询。这个也是和游戏业务的特
转载
2023-10-10 16:32:04
124阅读
【小宅按】并发，在操作系统中，是指一个时间段中有几个程序都处于已启动运行到运行完毕之间，且这几个程序都是在同一个处理机上运行，但任一个时刻点上只有一个程序在处理机上运行。里面的一个时间段内说明非常重要,这里假设这个时间段是一秒，所以本文指的并发是指服务器在一秒中处理的请求数量，即rps，那么rps高,本文就认为高并发。操作系统到底在干啥?如果由笔者来概括，操作系统大概做了两件事情，计算与IO，任何
转载
2024-06-26 11:00:53
176阅读
第1章 随便聊聊聊聊Flask与Django，聊聊代码的创造性1-1 Flask VS Django1-2 课程更新维护说明第2章 起步与红图本章我们初始化项目，探讨与研究Flask的默认层级结构。当我们遇到层级结构不合理时，我们将模仿蓝图自己定义一个“红图”来扩展Flask层级体系2-1 环境、开发工具与flask1.02-2 初始化项目2-3 新建入口文件2-4 蓝图分离视图函数的缺陷2-5
转载
2024-04-22 09:04:27
73阅读
楔子这次我们来介绍一个 web 框架：Sanic，它既是一个 web 框架，同时也是一个 web 服务器。关于框架，首先浮现在脑海中的就是 Flask、Django 之类的，但它们都是同步框架，而现在是一个高并发的时代，并发量是在构建服务时必须考量的一个指标。所以我们自然就想到了 Python 中的异步框架，而提到异步框架，那么就必须要提 Sanic、FastAPI，这两个异步框架都很
转载
2023-08-09 16:12:55
169阅读
FastAPI是一个基于Python 3.6+的现代Web框架，它专注于高性能和易用性。FastAPI通过结合多种技术实现了出色的性能，包括异步编程、类型提示和自动文档生成。FastAPI基于Starlette框架，并且使用Pydantic库进行数据验证和转换，从而使RESTful API的开发变得更加容易。在FastAPI中，GET和POST请求可以通过装饰器@app.get()和@app.po
转载
2023-10-01 16:05:00
269阅读
最近精神有点顶不住了，感觉做自己喜欢的事情真的是其乐无穷，被电脑砸脸也只是担心电脑和刚才因为走神没看到的东西。前段时间看了一段话，怕忘记了就写在这里吧，与你共勉“值得念念不忘的应该是自己的梦想和心愿，而不是受过的委屈、难过的小事，甚至命运的捉弄”。 感觉最近进入Python学习的心法阶段，都是在将编程概念，但愿后面自己能够接触到一些实际案例。下面我就开始回顾一下自己今天的学习内容。一、关于多
转载
2024-10-09 19:43:38
34阅读
## 高并发 API 架构简介
在当今互联网时代，随着用户数量的不断增加，对于API的高并发处理能力要求也越来越高。一个高效的API架构既能够提供良好的用户体验，又能够保证系统稳定性，是开发者们在项目中需要重点关注的一个方面。
### 架构设计原则
在设计高并发API架构时，需要考虑以下几个方面：
1. **负载均衡：** 通过负载均衡的方式将用户请求分发到不同的服务器节点上，避免单个节点
原创
2024-04-02 05:55:26
52阅读
问题：在页面上有许多js，css的链接，在低并发访问时，往往看不出问题存在。 但是在高并发访问的情况下，这些HTTP请求无疑会增加服务器的负担。HTTP请求知识梳理：Stalled（阻塞）： 浏览器对同一个主机域名的并发连接数有限制，因此如果当前的连接数已经超过上限，那么其余请求就会被阻塞，等待新的可用连接；此外脚本也会阻塞其他组件的下载；优化措施： 1、将资源合理分布到多台主机上，可以提
转载
2024-09-23 06:32:03
94阅读
背景：经过前面一二三文章的范例，现在服务搭建好了，一个裸奔的服务，以及上线。对线上服务，我们必须考虑下服务的性能。如果多个请求发过来，可能会发生进程堵塞，然后服务挂掉，那么我们希望能该服务可以并发请求。解决：使用gunicorn。gunicorn是一个python Wsgi http server，只支持在Unix系统上运行，来源于Ruby的unicorn项目。Gunicorn使用prefork
转载
2024-03-05 22:07:47
150阅读
一、接受请求数据request来提供这些信息。如果你有一定的 Python 经验，你会好奇这个对象怎么可能是全局的，并且 Flask 是怎么还能保证线程安全。 答案是上下文作用域: 1. 局部上下文 Flask 中的某些对象是全局对象，但不是通常的类型。这些对象实际上是给定上下文的局部对象的代理。虽然很拗口，但实际上很容易理解。 想象下线程处理的上下文。一个请求传入，web 服务器决定产生一个新
hadoop适合处理分布式集群系统，本身是支持高速并发海量数据的写入和读取的。解决大量用户并发访问的方案有很多，给你个千万pv的参考方案：
1）架构中直接引入软件名称的模块，是个人推荐使用的，如Haproxy、Hadoop等；
2）关于全局负载均衡，看成本投入情况，可以使用商业的产品，如F5-GTM，开源方案便是自搭智能DNS；
3）本地负载均衡方案，可以考虑F5-LTM或成熟的开源解决方案LVS
下面我们使用Python来实现并发的Web Server，其中采用了多进程、多线程、协程、单进程单线程非阻塞的方式。 一、使用子进程来实现并发Web Serverimport socket
import re
import multiprocessing
def handle_request(new_socket):
# 接收请求
recv_msg = ""
转载
2023-07-04 22:02:28
447阅读
常见的站点架构基本是这样的（绝对不画忽悠类的架构图）：（1）浏览器端，最上层，会执行到一些JS代码（2）站点层，这一层会访问后端数据，拼html页面返回给浏览器（3）服务层，向上游屏蔽底层数据细节，提供数据访问（4）数据层，最终的库存是存在这里的，mysql是一个典型（当然还有会缓存）这个图虽然简单，但能形象的说明大流量高并发的秒杀业务架构，大家要记得这一张图。后面细细解析各个层级怎么优化。四、各
在开发高并发系统时有三把利器用来保护系统：缓存、降级和限流缓存 缓存的目的是提升系统访问速度和增大系统处理容
原创
2021-12-31 17:41:30
517阅读
并发编程是提高程序运行效率与响应速度的重要手段，在多CPU条件下，并发编程可以使硬件得到更大程度的运用。由于在并发环境下CPU随时会对多线程的运行进行调度，因此线程中各指令执行的顺序是不确定的，出现问题时也难以复现和定位。如果开发人员了解并发的原理，就能在有并发问题隐患的地方妥善处理来规避风险。并发的知识体系很庞大，涉及到内存模型、并发容器、线程池等一系列知识点，优秀并发程序对性能与活跃性也有较高
# 实现一个高并发的 Java API 转发服务
欢迎来到 Java API 高并发转发服务的学习之旅！在这篇文章中，我们将一起探讨如何构建这样一个服务。下面将首先介绍实现的整体流程，然后逐步深入到每一个步骤中，提供必要的代码及解释。
## 整体流程
在构建这样一个高并发的转发服务时，我们需要遵循如下流程：
| 步骤 | 描述 |
|----
原创
2024-10-20 07:32:59
60阅读
1.单线程tornado.web：基础web框架模块tornado.ioloop：核心IO循环模块，高效的基础。封装了:1.asyncio 协程，异步处理2. epoll模型：水平触发（状态改变就询问，select(),poll()）， 边缘触发（一直询问，epoll()）3.poll 模型：I/O多路复用技术4.BSD（UNIX操作系统中的一个分支的总称）的kqueue（
转载
2023-08-19 16:30:09
274阅读
aiohttp介绍官网上有这样一句话介绍：Async HTTP client/server for asyncio and Python翻译过来就是 基于asyncio和Python实现的异步HTTP客户端/服务器asyncio可以实现单线程并发IO操作。也就是做异步操作。如果仅用在客户端，发挥的威力不大。如果把asyncio用在服务器端，例如Web服务器，由于HTTP连接就是IO操作，因此可以用
转载
2023-12-12 15:49:10
32阅读
一、前言在Python开发中，服务部署有各种各样的方案，同时作为服务端语言也是比较吃力的，没有Java那样有很成熟的方案。在这里介绍一个高并发部署方案：Systemd+Nginx+Gunicorn+Gevent+Supervisor+Flask。众所周知 Flask 是一个同步的框架，处理请求的时候是以单进程的方式，当同时访问的人数过多时，Flask 服务就会出现阻塞的情况。就像我们买火车票一样，
转载
2021-05-17 08:17:00
271阅读
一、什么是epoll我们在 Python多种方式实现并发的Web Server 的最后使用单进程+单线程+非阻塞+长连接实现了一个可并发处理客户端连接的服务器。他的原理可以用以下的图来描述：解释：1.HTTP服务器是我们使用 单进程+单线程+非阻塞+长连接实现 的web服务器。2.在实现的时候，我们创建了一个存放已接受Socket连接的列表，该列表是在应用程序的内存空间中的。如图中深蓝色部分3.当
转载
2023-10-11 08:37:59
154阅读
