Python的requests库执行HTTP或HTTPS请求速度较慢，完成请求需要很长时间。

11 浏览
0 Comments

Python的requests库执行HTTP或HTTPS请求速度较慢，完成请求需要很长时间。

使用requests库请求一个网页资源、网站或者Web服务时，请求需要很长时间才能完成。以下是示例代码：\n

import requests
requests.get("https://www.example.com/")

\n这个请求需要超过2分钟（确切地说是2分钟10秒）才能完成！为什么会这么慢，我该如何解决？

0

1 答案

0 Comments

Python的requests库在进行HTTP或HTTPS请求时可能会出现速度慢、耗时长的问题。这个问题的原因可能有多种，但是可以通过以下方法进行解决。

首先，尝试打开日志记录，在问题出现时可以帮助我们查找错误。代码如下：

import requests
import logging
import http.client
http.client.HTTPConnection.debuglevel = 1
# You must initialize logging, otherwise you'll not see debug output.
logging.basicConfig()
logging.getLogger().setLevel(logging.DEBUG)
requests_log = logging.getLogger("requests.packages.urllib3")
requests_log.setLevel(logging.DEBUG)
requests_log.propagate = True
requests.get("https://www.example.com")

如果日志输出无法解决问题，可以尝试以下方法。

1. 如果只需要检查服务器是否正常运行，可以尝试发送HEAD请求或流式请求。代码如下：

requests.head("https://www.example.com")

或者使用流式请求：

requests.get("https://www.example.com", stream=True)

2. 如果需要连续发送多个请求，可以尝试使用requests.Session来提高请求的速度。这样可以确保与服务器的连接保持打开状态，并且还可以维护cookie。代码如下：

import requests
session = requests.Session()
for _ in range(10):
    session.get("https://www.example.com")

3. 如果需要同时发送大量请求（大于10个），可以尝试使用requests-futures库进行并行请求。代码如下：

from concurrent.futures import as_completed
from requests_futures.sessions import FuturesSession
with FuturesSession() as session:
    futures = [session.get("https://www.example.com") for _ in range(10)]
    for future in as_completed(futures):
        response = future.result()

注意不要一次发送太多请求，以免对服务器造成过大的压力。

如果以上方法仍然无法解决问题，那么可能原因不在于requests库，而是服务器或者网络连接的问题。可以通过以下方法来排查问题：

1. 首先，尝试请求其他URL，看是否能正常获取响应。例如：

requests.get("https://www.google.com")

如果可以正常获取响应，那么问题可能出在以下几个方面。

2. 服务器可能只允许特定的user-agent字符串。可以尝试发送一个更友好的user-agent字符串来请求。例如：

headers = {"User-Agent": "Mozilla/5.0 (X11; CrOS x86_64 12871.102.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.141 Safari/537.36"}
requests.get("https://www.example.com", headers=headers)

3. 服务器可能对请求进行了速率限制。可以通过检查响应内容来判断是否被限制。如果是速率限制的问题，可以通过增加请求之间的等待时间来解决，例如使用time.sleep()函数。

4. 服务器的响应格式可能有误，导致解析问题。可以尝试不解析响应内容，看是否能提高速度。如果可以，可能是解析响应时出现了问题。

5. 如果IPv6无法正常工作，可以尝试使用IPv4。可以通过设置timeout参数来强制使用IPv4连接。例如：

requests.get("https://www.example.com/", timeout=5)

如果使用IPv4连接可以正常获取响应，那么问题可能出在IPv6上。可以使用wget或curl工具进行验证。

6. 如果使用VPN，尝试关闭VPN连接，看是否能解决问题。

希望以上方法可以帮助解决Python requests库请求慢的问题。

0