python httpx请求 await请求不到数据不执行

原创

mob64ca12e5502a 2023-08-25 09:19:22 ©著作权

©著作权归作者所有：来自51CTO博客作者mob64ca12e5502a的原创作品，请联系作者获取转载授权，否则将追究法律责任

Python httpx请求 await请求不到数据不执行

引言

在使用Python进行网络请求时，我们通常会使用第三方库httpx来发送HTTP请求。使用httpx的异步请求功能，可以更高效地处理大量的并发请求。但有时候我们可能会遇到一个问题，就是通过await关键字发送的异步请求无法获取到数据，或者干脆不执行。本文将介绍这个问题的原因和解决方法，并提供相应的代码示例。

问题描述

假设我们需要发送一个GET请求来获取某个网页的内容。我们使用httpx库的以下代码来发送异步请求：

import httpx
import asyncio

async def fetch(url):
    async with httpx.AsyncClient() as client:
        response = await client.get(url)
        return response.text

async def main():
    url = '
    content = await fetch(url)
    print(content)

asyncio.run(main())

然而，当我们运行以上代码时，可能会遇到以下两种情况：

代码执行后没有任何输出，也没有报错。
代码执行后报错，提示RuntimeError: Event loop is closed。

那么，为什么我们无法获取到数据或者代码根本不执行呢？

问题原因

造成这个问题的原因是我们在使用await关键字发送异步请求时，没有在一个异步上下文中执行。简单来说，就是我们没有在一个async函数中执行异步请求。

在上面的代码示例中，我们定义了一个名为main的异步函数，并在其中调用了fetch函数来发送异步请求。然而，在asyncio.run(main())这行代码中，我们并没有在异步上下文中执行main函数。

这就导致了两种问题：

如果我们没有在异步上下文中调用main函数，那么该函数将无法被执行，从而导致没有任何输出。
如果我们在异步上下文中调用了main函数，但在函数执行完毕后没有等待异步任务完成，就会导致RuntimeError: Event loop is closed错误。

解决方法

要解决这个问题，我们需要将执行异步请求的代码放在一个异步函数中，并使用await关键字来等待异步任务完成。修改后的代码如下：

import httpx
import asyncio

async def fetch(url):
    async with httpx.AsyncClient() as client:
        response = await client.get(url)
        return response.text

async def main():
    url = '
    content = await fetch(url)
    print(content)

async def run():
    await main()

asyncio.run(run())

在以上代码中，我们定义了一个名为run的异步函数，并在其中调用了main函数，然后使用await关键字来等待main函数完成异步任务。

这样，我们就可以正确地发送异步请求，并获取到相应的数据了。

类图

以下是本文所介绍的代码示例的类图：

classDiagram
    class AsyncClient{
        + __aenter__()
        + __aexit__(exc_type, exc_value, traceback)
        + get(url, **kwargs)
    }
    class Response
    class Request
    class EventLoop
    class FetchFunction{
        + fetch(url)
    }
    class MainFunction{
        + main()
    }
    class RunFunction{
        + run()
    }
    AsyncClient <|-- FetchFunction
    FetchFunction "1" <|-- MainFunction
    MainFunction "1" <|-- RunFunction
    RunFunction --> EventLoop
    FetchFunction --> Request
    AsyncClient --> Response