Requests:Python中的HTTP请求库

发布时间:2023年12月23日

在现代软件开发中,与Web服务进行交互已经成为一种常见的需求。无论是构建API、爬虫还是自动化测试,都需要向服务器发送HTTP请求并处理响应。Python作为一种功能强大且易于学习的编程语言,提供了许多用于处理HTTP请求的库。其中,Requests库是最受欢迎的选择之一。本文将介绍Requests库的基本用法和一些高级特性,帮助读者更好地理解和利用这个强大的工具。

  1. Requests库简介

Requests库是一个简洁而优雅的Python HTTP库,它的目标是使HTTP请求变得简单易用。通过Requests库,我们可以方便地向服务器发送GET、POST、PUT、DELETE等不同类型的HTTP请求,并处理服务器返回的响应数据。Requests库的设计哲学是“人类可读”和“友好”,使得开发者可以更加专注于业务逻辑的实现,而不需要花费大量时间处理底层的网络细节。

  1. 安装Requests库

要使用Requests库,首先需要将其安装到Python环境中。可以通过以下命令使用pip工具安装Requests库:

pip install requests

安装完成后,可以在Python代码中通过import requests语句导入Requests库。
以下是一些常用的Requests方法及其功能:

	1. `r.status_code`:获取响应状态码,如200表示成功,404表示未找到等。
	2. `r.content`:以字节方式获取响应体,会自动解码gzip和deflate压缩。
	3. `r.headers`:以字典对象存储服务器响应头,若键不存在则返回None。
	4. `r.json()`:Requests中内置的JSON解析方法,将响应体解析为Python字典或列表。
	5. `r.url`:获取请求的URL。
	6. `r.encoding`:获取响应的编码格式。
	7. `r.cookies`:获取响应中的cookie。
	8. `r.raw`:返回原始响应体。
	9. `r.text`:以字符串方式获取响应体,会自动根据响应头部的字符编码进行解码。
	10. `r.raise_for_status()`:如果请求失败(非200响应),则抛出异常。

使用Requests库的基本步骤如下:

1. 导入requests库:`import requests`
2. 发送请求:`r = requests.get(url)` 或 `r = requests.post(url, data=data)` 等。
3. 获取响应状态码:`r.status_code`
4. 获取响应内容:`r.content` 或 `r.text`
5. 获取响应头:`r.headers`
6. 解析响应体为JSON:`r.json()`
7. 获取请求的URL:`r.url`
8. 获取响应的编码格式:`r.encoding`
9. 获取响应中的cookie:`r.cookies`
10. 获取原始响应体:`r.raw`
11. 如果请求失败,抛出异常:`r.raise_for_status()`
  1. 发送GET请求

GET请求是最常见的HTTP请求类型,用于从服务器获取资源。使用Requests库发送GET请求非常简单,只需要调用requests.get()函数并传入URL参数即可。以下是一个简单的示例:

import requests

url = 'https://www.baidu.com'
response = requests.get(url)

print(response.text)

在这个示例中,我们向https://www.baidu.com发送了一个GET请求,并将响应内容打印出来。需要注意的是,response.text属性包含了服务器返回的原始文本数据,如果响应内容是JSON格式,可以使用response.json()方法将其解析为Python对象。

  1. 发送POST请求

POST请求用于向服务器提交数据,通常用于创建新资源或更新现有资源。使用Requests库发送POST请求也非常简单,只需要调用requests.post()函数并传入URL和数据参数即可。以下是一个简单的示例:

import requests

data = {'wd': 'Python'}
response = requests.post('https://www.baidu.com/s', data=data)

print(response.text)

在这个示例中,我们向https://www.baidu.com/s发送了一个POST请求,并将数据以字典的形式传递给data参数。需要注意的是,POST请求的数据通常以表单形式或JSON格式提交,可以通过设置headers参数来指定数据的格式。例如,如果要以JSON格式提交数据,可以设置headers{'Content-Type': 'application/json'}

  1. 处理响应状态码和异常

在发送HTTP请求时,我们需要关注服务器返回的状态码,以便了解请求是否成功以及如何处理错误情况。Requests库提供了一些方便的方法来处理响应状态码和异常。以下是一些常用的方法:

  • response.status_code:获取响应的状态码。例如,如果状态码为200,表示请求成功;如果状态码为404,表示找不到资源。
  • response.raise_for_status():如果响应的状态码表示错误(非2xx),则抛出异常。这可以帮助我们及时发现并处理错误情况。例如:
response = requests.get('https://www.baidu.com')
response.raise_for_status()  # 如果状态码不是2xx,抛出异常
  1. 设置请求头和Cookies

有时候,我们需要在HTTP请求中设置特定的请求头或Cookies。Requests库提供了一些方法来实现这一功能。以下是一些常用的方法:

  • requests.get(url, headers={'User-Agent': 'Mozilla/5.0'}):在GET请求中设置请求头。例如,我们可以设置User-Agent来模拟不同的浏览器或设备。
  • requests.get(url, cookies={'session': '123456789'}):在GET请求中设置Cookies。例如,我们可以使用会话ID来保持用户登录状态。
  • requests.post(url, data=data, headers={'Content-Type': 'application/json'}, cookies={'session': '123456789'}):在POST请求中设置请求头和Cookies。例如,我们可以同时设置数据格式和会话ID。
  1. 超时和重试机制

在发送HTTP请求时,可能会遇到网络延迟、服务器故障等问题导致请求失败。为了提高程序的健壮性,我们可以使用Requests库提供的超时和重试机制。以下是一些常用的方法:

  • requests.get(url, timeout=5):设置GET请求的超时时间为5秒。如果超过5秒还没有收到响应,将抛出异常。
  • requests.Session().mount('http://', requests_retry.Retry()):使用重试机制来处理HTTP请求。例如,我们可以使用requests_retry库来实现自动重试功能。具体使用方法可以参考该库的文档。
  1. 其他高级特性

除了上述基本用法外,Requests库还提供了许多其他高级特性,如代理、身份验证、文件上传等。这些特性可以帮助我们更灵活地处理各种HTTP场景。以下是一些常用的高级特性:

  • requests.get(url, proxies={'http': 'http://user:password@proxy:port', 'https': 'https://user:password@proxy:port'}):使用代理服务器发送HTTP请求。例如,我们可以使用代理服务器来绕过网络限制或提高访问速度。
  1. 封装requests公共方法
import requests

class Request:
    def requests_api(self, url, data=None, json=None, headers=None, cookies=None, method="get"):
        if method == "get":
            r = requests.get(url, data=data, json=json, headers=headers, cookies=cookies)
        elif method == "post":
            r = requests.post(url, data=data, json=json, headers=headers, cookies=cookies)

        code = r.status_code
        try:
            body = r.json()
        except Exception as e:
            body = r.text
        res = dict()
        res["code"] = code
        res["body"] = body
        return res
    def get(self, url, **kwargs):
        return self.requests_api(url, method="get", **kwargs)
    def post(self, url, **kwargs):
        return self.requests_api(url, method="post", **kwargs)
  • 这个类的作用是封装了requests库中的get和post方法,使得发送HTTP请求更加方便。通过调用get或post方法,可以向指定的URL发送GET或POST请求,并获取响应的状态码和内容。
  • 在requests_api方法中,根据传入的method参数选择使用requests.get或requests.post方法发送请求。然后,将响应的状态码存储在变量code中,尝试将响应的内容解析为JSON格式,如果解析失败则使用原始文本作为响应内容。最后,将状态码和响应内容存储在一个字典中,并返回该字典作为结果。
  • 另外,get和post方法都是通过调用requests_api方法来实现的,它们分别传入不同的HTTP方法参数(“get"或"post”),并将其他参数传递给requests_api方法。这样,用户可以通过调用这两个方法来发送不同类型的HTTP请求。
文章来源:https://blog.csdn.net/python_jeff/article/details/135165619
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。