编写一个功能强大的爬虫需要考虑多个方面，包括目标网站的结构、反爬机制、数据存储等。以下是一个使用Python编写的简单示例，用于爬取网页上的图片链接并将其保存到本地。
请注意，爬取网站数据可能违反网站的使用条款或法律，因此在使用爬虫之前，请确保您了解并遵守相关规定。
python复制代码
import os | |
import requests | |
from bs4 import BeautifulSoup | |
from urllib.parse import urljoin | |
# 配置请求头，模拟浏览器行为 | |
headers = { | |
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} | |
# 爬取图片的函数 | |
def download_images(url, output_folder): | |
response = requests.get(url, headers=headers) | |
soup = BeautifulSoup(response.text, 'html.parser') | |
img_tags = soup.find_all('img') | |
if not os.path.exists(output_folder): | |
os.makedirs(output_folder) | |
for img in img_tags: | |
img_url = img.attrs.get('src') | |
if not img_url: | |
continue | |
img_url = urljoin(url, img_url) | |
try: | |
img_data = requests.get(img_url, headers=headers, timeout=5).content | |
file_name = os.path.join(output_folder, img_url.split("/")[-1]) | |
with open(file_name, 'wb') as handler: | |
handler.write(img_data) | |
print(f"Downloaded image: {file_name}") | |
except Exception as e: | |
print(f"Error downloading image: {img_url}. Error: {e}") | |
# 主程序开始执行 | |
if __name__ == '__main__': | |
target_url = 'https://example.com' # 替换为你要爬取的网站URL | |
output_folder = 'images' # 图片保存的文件夹名称 | |
download_images(target_url, output_folder) |
这个示例使用requests库发送HTTP请求，BeautifulSoup库解析HTML，以及os和urllib库处理文件和URL。你可以根据需要修改target_url和output_folder变量来指定要爬取的网站和保存图片的文件夹。然后运行代码即可开始爬取图片。
请注意，这个示例仅用于演示目的，并且在实际应用中可能需要进一步修改和优化。在编写爬虫时，请务必遵守网站的使用条款和法律规定。