python中urllib模块使用

目录

一：访问url

二：发送参数

三：发送带header的参数

四：发送超时时间

五：发送代理服务请求

六：发送认证服务请求

在Python 3中，urllib2模块已被重命名为urllib。在python2中，你可以使用urllib2。

一：访问url

import urllib.request ?
??
response = urllib.request.urlopen('http://www.baidu.com') ?
data = response.read()
print(data)

二：发送参数

import urllib.request ?
import urllib.parse ?
??
data = {'key1': 'value1', 'key2': 'value2'} ?
post_data = urllib.parse.urlencode(data) ?
??
with urllib.request.urlopen('http://www.baidu.com', post_data) as response: ?
? ? data = response.read()
? ? print(data)

三：发送带header的参数

import urllib.request ?
??
url = 'http://www.baidu.com' ?
data = {'key1': 'value1', 'key2': 'value2'} ?
headers = {'User-Agent': 'Mozilla/5.0'} ?
??
# 发送GET请求 ?
req = urllib.request.Request(url, data, headers) ?
response = urllib.request.urlopen(req) ?
data = response.read() ?
print(data)

四：发送超时时间

import urllib.request ?
??
url = 'http://www.baidu.com' ?
timeout = 10 ?# 设置超时时间为10秒 ?
??
try: ?
? ? response = urllib.request.urlopen(url, timeout=timeout) ?
? ? data = response.read() ?
? ? print(data) ?
except urllib.request.URLError as e: ?
? ? print(f"Error: {e.reason}")

五：发送代理服务请求

import urllib.request ?
import urllib.error ?
??
# 代理服务器设置 ?
proxy_handler = urllib.request.ProxyHandler({'http': 'http://proxy.baidu.com:8080'}) ?
??
# 创建未处理HTTP错误的处理程序 ?
http_error_handler = urllib.request.HTTPDefaultErrorHandler() ?
??
# 创建自定义的处理器，包括代理处理器和错误处理器 ?
opener = urllib.request.build_opener(proxy_handler, http_error_handler) ?
??
# 使用自定义的处理器发送请求 ?
try: ?
? ? response = opener.open('http://www.baidu.com') ?
? ? data = response.read() ?
? ? print(data) ?
except urllib.error.HTTPError as e: ?
? ? print(f"Error: {e.code} {e.reason}")

六：发送认证服务请求

import urllib.request ?
import urllib.error ?
??
# 认证信息 ?
username = 'your_username' ?
password = 'your_password' ?
??
# 创建认证处理器 ?
auth_handler = urllib.request.HTTPBasicAuthHandler() ?
auth_handler.add_password(realm='Authentication Required', ?
? ? ? ? ? ? ? ? ? ? ? ? ? uri='http://www.baidu.com', ?
? ? ? ? ? ? ? ? ? ? ? ? ? user=username, ?
? ? ? ? ? ? ? ? ? ? ? ? ? passwd=password) ?
??
# 创建自定义的处理器，包括认证处理器和错误处理器 ?
opener = urllib.request.build_opener(auth_handler) ?
??
# 使用自定义的处理器发送请求 ?
try: ?
? ? response = opener.open('http://www.baidu.com') ?
? ? data = response.read() ?
? ? print(data) ?
except urllib.error.HTTPError as e: ?
? ? print(f"Error: {e.code} {e.reason}")