爬取彼案壁纸

发布时间:2024年01月06日

代码展现:e890006b63c347e7ac694f5676d0a831.png

具体代码:

import requests
import re
import os
filename = '壁纸\\'
if not os.path.exists(filename):
? ? os.mkdir(filename)
for i in range(2,11):
? ? url = f'http://www.netbian.com/index_{i}.htm'
? ? headers = {'User-Agent':
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36',
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?}
? ? response = requests.get(url=url,headers=headers)
? ? response.encoding = response.apparent_encoding
? ? print(response.text)
? ? data_list = re.findall('<a href="(.*?)" title=".*?" target="_blank"><img src=".*?" alt="(.*?)" />',response.text)
? ? for href,title in data_list:
? ? ? ? href = 'http://www.netbian.com'+href
? ? ? ? response1 = requests.get(url=href,headers=headers)
? ? ? ? response1.encoding = response1.apparent_encoding
? ? ? ? img_url = re.findall('target="_blank"><img src="(.*?)" alt=".*?',response1.text)[0]
? ? ? ? print(f"正在打印{title}的壁纸")
? ? ? ? img_content = requests.get(url=img_url,headers=headers).content
? ? ? ? with open(filename+title+'.jpg',mode='wb') as fp:
? ? ? ? ? ? fp.write(img_content)

结果展现:9294f0749a1b42ffabfa9226a685298f.png?

总结:这个案例不难,静态网页,爬取二进制数据

复习了一番,注意编码的问题,response.encoding=response.apparent_encoding

学到的新东西:

1.print(response.text)后,在下方,按住ctrl+f键可以搜索如下图

d5f2ced75a854b12b8564d70ce546d1a.png?

?点击:95f411d26699418e886e3e4c8dafd339.png

点击.*可以用正则表达式,如果用正则表达解析数据,可以在这里尝试,可以看见匹配的数量,然后再写入代码中。

2.列表中嵌套元祖,如何快速找出元祖中的元素。

如:a=[(1,'as'),(2,'ajsh'),(781,'ajhsasa')]

04c07180d44744c2851321ae0209ac72.png

bcedd1fe514e49479e0f1f9bd71140da.png?

用第二张图的方法,可以直接取出元素

3.遇到参数很多,加冒号很麻烦怎么办,如下图:

?6656f636412e4384804666a55d2423f1.png

?首先选中代码,按ctrl+r出现下图:72f08f93e4f0487ea429ac78243182a8.png

点击·*进入正则,写入下图:2611a7dd0a3f4c328900561e1ad14d5d.png?

代码是:?(.*?): (.*)

'$1': '$2',

点击replaceall

结果展现:ce9bfcd0941b41519cee4857aba9985b.png

?

?

?

?

文章来源:https://blog.csdn.net/m0_57265868/article/details/135425432
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。