趁网站还在!用python把次元岛COS小姐姐图集批量下载~

发布时间:2023年12月22日

嗨喽,大家好呀~这里是爱看美女的茜茜呐

开发环境:

  • Python 3.10

  • Pycharm

模块使用:

  • requests >>> 数据请求模块

  • re >>> 匹配提取数据

  • os >>> 自动创建文件夹

如何安装python第三方模块:

  1. win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车

  2. 在pycharm中点击Terminal(终端) 输入安装命令


👇 👇 👇 更多精彩机密、教程,尽在下方,赶紧点击了解吧~

python源码、视频教程、插件安装教程、资料我都准备好了,直接在文末名片自取就可


爬虫基本实现流程: 从单个数据/单页数据开始分析 -> 多个/多页的数据采集

一. 数据来源分析

  1. 明确需求: 明确采集网站以及数据内容

    • 网址: http://ciyuandao.com/photo/show/132425

    • 数据: 图片链接 / 标题

  2. 抓包分析: 通过浏览器开发者工具分析数据对应位置

    • 打开开发者工具: F12 / 右键点击检查选择network (网络)

    • 刷新网页: 让网页数据内容重新加载一遍

    • 点击Img, 查看图片链接数据 (单张图片链接)

      图片链接: http://img.ciyuandao.com//works/article/d581b9a921343dc7db308ace1432b468.jpg?x-oss-process=image/auto-orient,1/resize,m_lfit,w_1440/quality,q_100

    • 是否存在数据包: 包含了所有图片链接?

      通过关键字去搜索对应数据包位置

      关键字: 图片链接中一段内容

      • http://ciyuandao.com/photo/show/132425

二. 代码实现步骤

  1. 发送请求 -> 模拟浏览器对于url地址发送请求

    模拟浏览器: 请求头

    请求网址: http://ciyuandao.com/photo/show/132425

    请求方法: get

  2. 获取数据 -> 获取服务器返回响应数据 (整个网页的数据)

    开发者: 响应 response

  3. 解析数据 -> 提取我们需要内容: 标题 / 图片链接

  4. 保存数据 -> 获取图片内容, 保存本地文件夹

代码展示

导入模块

# 导入数据请求模块 第三方模块
import requests
# 导入正则表达式模块 内置模块
import re
# 导入文件操作模块 内置模块
import os

模拟浏览器

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'
}

多页采集

'''
python资料获取看这里噢!! 小编 V:Pytho8987(记得好友验证备注:6 否则可能不通过)
即可获取:文章源码/教程/资料/解答等福利,还有不错的视频学习教程和PDF电子书!
'''
for page in range(2, 6):
    print(f'=========正在采集第{page}页的数据内容=========')

请求网址

    link = f'http://ciyuandao.com/photo/list/0-5-{page}'

发送请求

    link_data = requests.get(url=link, headers=headers).text

提取图集ID

    img_id_list = re.findall('<a href="/photo/show/(\d+)" class="tits grey">', link_data)

for循环遍历, 提取列表中ID

    for img_id in img_id_list:

“”"

  1. 发送请求 -> 模拟浏览器对于url地址发送请求

“”"

请求网址

        url = f'http://ciyuandao.com/photo/show/{img_id}'

发送请求

        response = requests.get(url=url, headers=headers)

“”"

  1. 获取数据 -> 获取服务器返回响应数据 (整个网页的数据)

“”"

        html_data = response.text

“”"

  1. 解析数据 -> 提取我们需要内容: 标题 / 图片链接

    • 正则表达式 re

      re.findall(‘数据’, ‘数据源’) -> 找到所有你想要的数据

      从什么地方, 去找什么数据

      从 html_data (网页数据) 中 去找这部分 (.<em>?) - 次元岛</em> 其中(.?)返回出来

“”"
标题

'''
python资料获取看这里噢!! 小编 V:Pytho8987(记得好友验证备注:6 否则可能不通过)
即可获取:文章源码/教程/资料/解答等福利,还有不错的视频学习教程和PDF电子书!
'''
        title = re.findall('<title>(.*?) - 次元岛</title>', html_data)[0]

替换特殊字符

        new_title = re.sub(r'[\\/:*?"<>|]', '', title)

图片链接

        img_list = re.findall('<a href="javascript:;"><img src="(.*?)"></a>', html_data)

根据图集标题, 自动创建文件夹

        filename = f'img\\{title}\\'

判断文件夹是否存在

        if not os.path.exists(filename):

自动创建文件夹

            os.makedirs(filename)
        print(title)

定义变量

        num = 1

for循环遍历, 提取列表里面所有元素

        for img in img_list:

“”"

  1. 保存数据 -> 获取图片内容, 保存本地文件夹

“”"

对于图片链接发送请求, 获取图片内容

            img_content = requests.get(url=img, headers=headers).content

保存数据 -> 取名 (默认图片保存和代码放在一起)

            with open(filename + new_title + str(num) + '.jpg', mode='wb') as f:

写入数据内容

'''
python资料获取看这里噢!! 小编 V:Pytho8987(记得好友验证备注:6 否则可能不通过)
即可获取:文章源码/教程/资料/解答等福利,还有不错的视频学习教程和PDF电子书!
'''
                f.write(img_content)
            num += 1
            print(img)

图片展示







尾语

感谢你观看我的文章呐~本次航班到这里就结束啦 🛬

希望本篇文章有对你带来帮助 🎉,有学习到一点知识~

躲起来的星星🍥也在努力发光,你也要努力加油(让我们一起努力叭)。

最后,宣传一下呀~👇👇👇更多源码、资料、素材、解答、交流皆点击下方名片获取呀👇👇

文章来源:https://blog.csdn.net/m0_72282564/article/details/135153830
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。