Python高级编程和异步IO并发编程一、多线程、多进程和线程池编程1、GIL gil global interpreter lock （全局解释器锁）python中一个线程对应于c语言中的一个线程 （cpython）gil使得同一个时刻只有一个线程在一个cpu上执行字节码, 无法将多个线程映射到多个cpu上执行GIL主动释放的情况： gil会根据执行的字节码行数以及时间片释放gil gil在遇到
转载
2023-12-14 11:01:53
69阅读
引言Gin是Golang的一个web框架，性能高且拓展性强，使用也很简单；下面简单介绍一些请求时常用到的操作；注：当下前后端分离项目居多，所以对于Gin框架模板相关的内容就不介绍了；下面所有代码省略以下内容，只保留请求发送过程:package main
import (
"fmt"
"github.com/gin-gonic/gin"
"net/http"
)
func main() {
转载
2024-10-17 16:20:50
29阅读
python并发研究python并发主要方式有：Thread(线程)Process(进程)协程
python因为GIL的存在使得python的并发无法利用CPU多核的优势以至于性能比较差，下面我们将通过几个例子来介绍python的并发。线程我们通过一个简单web server程序来观察python的线程，首先写一个耗时的小函数def fib(n):
if n <= 2:
转载
2023-07-12 11:02:27
143阅读
requests库是个串行库，grequests库是并行库。把请求放到列表中，一起发送，返回的也是一个列表 下面做个实验; 先用requests进行对一个接口的100次访问： import requests import time start = time.time() res_list = [re
原创
2022-07-04 21:51:36
316阅读
[TOC] 前言 requests是Python发送接口请求非常好用的一个三方库，由K神编写，简单，方便上手快。但是requests发送请求是串行的，即阻塞的。发送完一条请求才能发送另一条请求。 为了提升测试效率，一般我们需要并行发送请求。这里可以使用多线程，或者协程，gevent或者aiohttp
原创
2021-07-28 15:33:48
3108阅读
# 实现 Python grequests
## 简介
在开始教导如何实现 `python grequests` 之前，我们先来了解一下这个概念。`grequests` 是一个基于 `gevent` 库和 `requests` 库的异步 HTTP 请求库。它允许我们同时发送多个 HTTP 请求，而不需要等待每个请求的响应。这样可以大大提高程序的执行效率和吞吐量。
## 流程
下面是实现 `py
原创
2023-08-03 10:36:34
107阅读
# PYTHON grequests库：异步HTTP请求的利器
在进行Web开发或者数据爬取时，经常会遇到需要发送大量的HTTP请求的情况。如果使用传统的同步方式发送请求，可能会导致程序运行缓慢，影响用户体验或者数据爬取效率。为了解决这个问题，Python提供了grequests库，可以异步发送HTTP请求，提高程序的性能和效率。
## grequests库简介
grequests库是基于r
原创
2024-07-13 05:08:57
31阅读
下面我们使用Python来实现并发的Web Server，其中采用了多进程、多线程、协程、单进程单线程非阻塞的方式。 一、使用子进程来实现并发Web Serverimport socket
import re
import multiprocessing
def handle_request(new_socket):
# 接收请求
recv_msg = ""
转载
2023-07-04 22:02:28
447阅读
一、什么是epoll我们在 Python多种方式实现并发的Web Server 的最后使用单进程+单线程+非阻塞+长连接实现了一个可并发处理客户端连接的服务器。他的原理可以用以下的图来描述：解释：1.HTTP服务器是我们使用 单进程+单线程+非阻塞+长连接实现 的web服务器。2.在实现的时候，我们创建了一个存放已接受Socket连接的列表，该列表是在应用程序的内存空间中的。如图中深蓝色部分3.当
转载
2023-10-11 08:37:59
154阅读
一、前言在Python开发中，服务部署有各种各样的方案，同时作为服务端语言也是比较吃力的，没有Java那样有很成熟的方案。在这里介绍一个高并发部署方案：Systemd+Nginx+Gunicorn+Gevent+Supervisor+Flask。众所周知 Flask 是一个同步的框架，处理请求的时候是以单进程的方式，当同时访问的人数过多时，Flask 服务就会出现阻塞的情况。就像我们买火车票一样，
转载
2021-05-17 08:17:00
267阅读
aiohttp介绍官网上有这样一句话介绍：Async HTTP client/server for asyncio and Python翻译过来就是 基于asyncio和Python实现的异步HTTP客户端/服务器asyncio可以实现单线程并发IO操作。也就是做异步操作。如果仅用在客户端，发挥的威力不大。如果把asyncio用在服务器端，例如Web服务器，由于HTTP连接就是IO操作，因此可以用
转载
2023-12-12 15:49:10
32阅读
前面学习了socket的相关知识，但是只能处理单线程的，当然我们也可以使用python多线程模块实现多线程并发，python中socketserver模块实现了并发相关操作，本文主要记录一下学习过程。服务端代码如下：#1、自定义一个类#2、在类中重写handle方法(该方法中实现自己业务逻辑)importsocketserverclassMyserver(socketserver.BaseRequ
转载
2024-01-23 20:12:57
46阅读
1.单线程tornado.web：基础web框架模块tornado.ioloop：核心IO循环模块，高效的基础。封装了:1.asyncio 协程，异步处理2. epoll模型：水平触发（状态改变就询问，select(),poll()）， 边缘触发（一直询问，epoll()）3.poll 模型：I/O多路复用技术4.BSD（UNIX操作系统中的一个分支的总称）的kqueue（
转载
2023-08-19 16:30:09
272阅读
1、并发1.1、并发与并行并行，parallel，同一时刻，执行不同任务，并且相互没有干扰；并发，concurrency，一段时间内，交替执行不同的任务；串行，一个任务执行完成后执行下一个任务；1.2、并发的解决方法“高并发模型”：例如早高峰的北京地铁，在同一时刻，需要处理大量任务，可以理解为高并发模型；解决方法：（1）队列，缓冲区：将任务排队，形成队列，先进先出，就解决了资源的使用问题；形成的队
转载
2023-08-08 08:26:18
413阅读
现在高并发的解决方案都非常成熟了，不仅是Java能做好，Pyton和C#也是毫无问题的！个人比较擅长C#，就分享下C#的高并发处理方式(非系统架构，仅从开发角度)。
转载
2023-05-24 20:45:11
329阅读
一.cdn加速简单说就是把静态资源放到别人服务器上全称:Content Delivery Network或Content Ddistribute Network，即内容分发网络基本思路：尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输的更快、更稳定。通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络，CDN系统能够实时地根据网络流量和各节点的连接、
转载
2024-03-08 20:43:15
10阅读
并发的基本概念并发与并行并发(concurrent)是指计算机可以处理多个任务，且并非像串行执行，这些任务并不需要等待计算机完成其中一个后再开始下一个，而是可以在多个任务间切换执行，或者同时执行多个任务。并行(parallelism)是指则是指多核计算机可以使用自己的多个CPU同时独立地执行多个任务。从定义上可以看出，并行的要求更为严格。必须是多核计算机利用其多核同时处理多个任务。而并发并不要求一
转载
2023-08-09 07:26:47
1225阅读
某个时间段内，数据涌来，这就是并发。如果数据量很大，就是高并发高并发的解决方法：1、队列、缓冲区假设只有一个窗口，陆续涌入食堂的人，排队打菜是比较好的方式所以，排队（队列）是一种天然解决并发的办法排队就是把人排成 队列，先进先出，解决了资源使用的问题排成的队列，其实就是一个缓冲地带，就是 缓冲区假设女生优先，每次都从这个队伍中优先选出女生出来先打饭，这就是 优先队列例如queue模块的类Queue
转载
2023-06-29 13:21:04
150阅读
【小宅按】并发，在操作系统中，是指一个时间段中有几个程序都处于已启动运行到运行完毕之间，且这几个程序都是在同一个处理机上运行，但任一个时刻点上只有一个程序在处理机上运行。里面的一个时间段内说明非常重要,这里假设这个时间段是一秒，所以本文指的并发是指服务器在一秒中处理的请求数量，即rps，那么rps高,本文就认为高并发。操作系统到底在干啥?如果由笔者来概括，操作系统大概做了两件事情，计算与IO，任何
转载
2024-06-26 11:00:53
173阅读
最近在做游戏服务分层的时候，一直想把mysql的访问独立成一个单独的服务DBGate，原因如下:请求收拢到DBGate，可以使DBGate变为无状态的，方便横向扩展当请求量或者存储量变大时，mysql需要做分库分表，DBGate可以内部直接处理，外界无感知通过restful限制对数据请求的形式，仅支持简单的get/post/patch/put 进行增删改查，并不支持复杂查询。这个也是和游戏业务的特
转载
2023-10-10 16:32:04
124阅读
