selenium并不支持获取响应的数据,我们可以使用selenium-wire库,selenium-wire扩展了 Selenium 的 Python 绑定,可以访问浏览器发出的底层请求。 编写的代码与 Selenium 的方式相同。
pip install selenium-wire -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com
注意:seleniumwire只兼容Selenium 4.0.0+,所以如果版本不兼容,请升级selenium
# from selenium import webdriver
from seleniumwire import webdriver
driver.requests
for request in driver.requests:
if request.response:
# 判断列表数据的接口在不在获取的请求中
if '/sugrec' in request.url:
print(
# 请求方式
request.method,
# 获取请求参数
request.body,
# 获取请求头
request.headers,
# 获取结果的状态码
request.response.status_code,
# 获取请求的返回值
request.response.body
)
break