用python写个爬虫蜘蛛

发布时间:2024年01月03日

爬虫蜘蛛通常用于从网站上抓取数据。Python中有很多库可以用来编写爬虫,其中最常用的是requestsBeautifulSoup。下面是一个简单的爬虫蜘蛛示例,用于抓取网页上的标题和链接:

 

python复制代码

import requests
from bs4 import BeautifulSoup
def get_page(url):
try:
response = requests.get(url)
response.raise_for_status()
return response.text
except requests.RequestException as e:
print(e)
def parse_page(html):
soup = BeautifulSoup(html, 'html.parser')
# 获取所有标题和链接
titles = soup.find_all('h1')
links = soup.find_all('a')
# 打印标题和链接
for title in titles:
print(title.get_text())
for link in links:
print(link.get('href'))
if __name__ == '__main__':
url = 'http://example.com' # 要抓取的网页地址
html = get_page(url)
if html:
parse_page(html)

在这个示例中,我们首先使用requests库向指定的URL发送GET请求,并获取返回的HTML内容。然后,我们使用BeautifulSoup库解析HTML,并使用选择器找到所有的标题和链接。最后,我们将标题和链接打印到控制台上。

文章来源:https://blog.csdn.net/ducanwang/article/details/135366874
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。