[手写爬虫框架],从回忆Python到爬虫原理解析

发布时间:2024年01月11日

手写爬虫框架,又名:手写爬虫框架的第1天

  1. 数据存储(无数据库版)
    • HTML正文抽取
    • 多媒体文件抽取
    • Email提醒
  2. 实战项目:基础爬虫
    • 基础爬虫架构及运行流程
    • URL管理器
    • HTML下载器
    • HTML解析器
    • 数据存储器
    • 爬虫调度器

从爬虫底层 —> 分布式爬虫, 企业级大数据融合, 个人应用场景总有一个适合你, 动动你的小手。 点上关注,方便每天阅读

一键三连是我最大的动力。谢谢~~

1. 回顾Python编程

  • 安装Python
    • 概念: 安装Python解释器,使您可以在计算机上运行Python程序。
    • 场景: 当您开始学习Python编程或需要在新的计算机上配置Python开发环境时,这个概念很重要。
    • 示例代码: 安装Python的示例代码可以是安装Python的命令或链接到Python官方下载页面的代码。
  • 搭建开发环境
    • 概念: 配置开发环境包括设置编辑器、虚拟环境和必要的工具,以便更有效地编写和运行Python代码。
    • 场景: 开发者通常需要在自己的计算机上配置适当的开发环境,以便顺利进行Python编程工作。
    • 示例代码: 创建虚拟环境、安装依赖库和编辑器配置等示例。
  • IO编程
    • 概念: IO编程涉及输入和输出操作,包括文件读写、控制台输入和输出等。
    • 场景: 当您需要处理文件、读取用户输入或将输出写入文件时,IO编程是必不可少的。
    • 示例代码: 读取文件、写入文件、从控制台获取用户输入等IO操作的示例。
  • 进程和线程
    • 概念: 进程和线程是多任务处理的方式。进程是独立的执行单元,线程是在进程内部运行的轻量级执行单元。
    • 场景: 在需要同时执行多个任务或并行处理时,了解进程和线程的概念非常重要。
    • 示例代码: 创建进程、创建线程、进程间通信、线程同步等多任务处理的示例。
  • 网络编程
    • 概念: 网络编程涉及使用Python编写网络应用程序,包括服务器和客户端应用程序,以进行网络通信。
    • 场景: 在构建网络应用程序、实现网络通信或访问网络资源时,网络编程是必需的。
    • 示例代码: 创建简单的网络服务器和客户端、HTTP请求、Socket编程等网络编程示例。

2. Web前端基础

  • W3C标准
    • 概念: W3C标准是由万维网联盟制定的互联网标准,用于确保Web文档的一致性和互操作性。
    • 场景: Web开发者需要了解W3C标准以确保网页在不同浏览器和设备上的正确渲染。
    • 示例代码: 无代码示例,但可以涉及HTML和CSS的示例,以遵循W3C标准。
  • HTTP标准
    • 概念: HTTP(超文本传输协议)是用于在Web上传输数据的协议,包括HTTP请求和HTTP响应。
    • 场景: Web开发者需要理解HTTP协议以构建和维护Web应用程序。
    • 示例代码: 发送HTTP请求、处理HTTP响应和创建RESTful API等HTTP相关示例。

3. 初识网络爬虫

  • 网络爬虫概述
    • 概念: 网络爬虫是自动抓取和提取网页信息的程序,用于获取数据并进行分析。
    • 场景: 网络爬虫在数据采集、搜索引擎、价格比较等应用中有广泛的用途。
    • 示例代码: 基本的网络爬虫示例,例如抓取网页内容。
  • HTTP请求的Python实现
    • 概念: 使用Python编写HTTP请求代码,可以实现向Web服务器发送请求以获取网页内容。
    • 场景: 在网络爬虫中,您需要了解如何使用Python发送HTTP请求以获取需要的数据。
    • 示例代码: 使用Python发送GET和POST请求的示例代码。

希望以上解释、场景说明和示例代码对您有所帮助,如果您需要更详细的示例代码或其他问题,请随时提出。


1. 如何安装 Python,进行步骤说明:

安装Python非常简单,以下是安装Python的一般步骤:

步骤 1:访问Python官方网站
首先,打开您的Web浏览器,并访问Python的官方网站。官方网站地址为:https://www.python.org/

步骤 2:下载Python安装程序
在官方网站上,您会看到一个大的“Downloads”按钮。点击这个按钮,它将带您到Python的下载页面。

步骤 3:选择Python版本
Python有多个版本可供选择,通常有Python 3.x和Python 2.x。推荐选择最新的Python 3.x版本。点击下载按钮,选择您操作系统对应的安装程序。

步骤 4:运行安装程序
一旦下载完成,运行安装程序。在Windows上,双击下载的安装程序文件并按照提示进行安装。在Linux或macOS上,打开终端,进入下载文件所在的目录,运行以下命令:

python3 -m venv myenv

这将创建一个虚拟环境,以隔离Python环境。

步骤 5:完成安装
按照安装程序的提示,完成Python的安装。安装完成后,您可以在命令行中输入以下命令来验证Python是否成功安装:

python --version

现在,您已成功安装Python并可以开始编写Python代码了。

2. 介绍 Python 的基础语法,及其示例:

Python的基础语法非常简单和易于学习。以下是一些Python基础语法的示例:

  • 变量和数据类型:
# 定义变量
name = "John"
age = 30
height = 5.9

# 数据类型示例
text = "Hello, World!"  # 字符串
num = 42                # 整数
pi = 3.14159265         # 浮点数

  • 条件语句(if语句):
# 判断条件
if age < 18:
    print("未成年")
elif age >= 18 and age < 65:
    print("成年")
else:
    print("退休年龄")

  • 循环(for循环):
# 循环示例
fruits = ["apple", "banana", "cherry"]
for fruit in fruits:
    print(fruit)

  • 函数定义和调用:
# 函数定义
def greet(name):
    return "Hello, " + name

# 函数调用
message = greet("Alice")
print(message)

这些示例覆盖了Python的基础语法元素,包括变量、数据类型、条件语句、循环和函数

3. 中级Python 回忆

  1. 列表(List):

    • 概念: 列表是Python中的有序可变序列,可以包含不同类型的元素。
    • 示例代码: 创建列表、访问元素、添加和删除元素、列表切片等示例。
    my_list = [1, 2, 3, "apple", "banana"]
    print(my_list[0])          # 访问元素
    my_list.append("cherry")   # 添加元素
    del my_list[3]             # 删除元素
    
    
  2. 字典(Dictionary):

    • 概念: 字典是Python中的无序键值对集合,用于存储相关数据。
    • 示例代码: 创建字典、访问和修改键值对、遍历字典等示例。
    my_dict = {"name": "John", "age": 30, "city": "New York"}
    print(my_dict["name"])       # 访问值
    my_dict["age"] = 31          # 修改值
    for key, value in my_dict.items():
        print(key, value)
    
    
  3. 模块和包(Modules and Packages):

    • 概念: Python的模块是代码组织的方式,而包是一组相关模块的集合。
    • 示例代码: 导入模块、使用模块中的函数和变量、创建和使用包等示例。
    import math
    print(math.sqrt(25))   # 使用math模块的函数
    
    
  4. 异常处理(Exception Handling):

    • 概念: 异常处理用于处理程序运行时可能出现的错误,以避免程序崩溃。
    • 示例代码: 使用try-except语句捕获和处理异常。
    try:
        result = 10 / 0
    except ZeroDivisionError as e:
        print("发生除零错误:", e)
    
    
  5. 面向对象编程(Object-Oriented Programming,OOP):

    • 概念: 面向对象编程是Python的一种编程范式,它允许您创建和操作对象。
    • 示例代码: 创建类和对象、定义方法、继承等示例。
    class Person:
        def __init__(self, name, age):
            self.name = name
            self.age = age
    
        def greet(self):
            return f"Hello, my name is {self.name} and I am {self.age} years old."
    
    person = Person("Alice", 25)
    print(person.greet())
    
    

这些知识点覆盖了Python的一些重要方面,包括数据结构、模块、异常处理和面向对象编程。如果您需要更多关于特定知识点的详细信息或示例,请随时提出具体的问题。我将继续为您提供详细解释和示例代码。

4. 回忆 高级 Python

  1. 生成器(Generators):

    • 概念: 生成器是一种特殊类型的迭代器,可以逐个产生值,而不是一次性生成所有值。
    • 场景: 当您需要处理大量数据,但又不想一次性加载所有数据到内存中时,生成器非常有用。
    • 示例代码: 创建生成器函数、使用yield关键字、迭代生成器等示例。
    def read_large_file(file_path):
        with open(file_path, 'r') as file:
            for line in file:
                yield line
    
    for line in read_large_file('large_data.txt'):
        process_line(line)
    
    
  2. 装饰器(Decorators):

    • 概念: 装饰器是Python中用于修改函数或类行为的强大工具,通常用于日志记录、授权、性能测量等。
    • 场景: 当您希望在不修改原始函数代码的情况下,添加额外的功能或逻辑时,可以使用装饰器。
    • 示例代码: 创建和使用装饰器函数,将装饰器应用于函数或方法等示例。
    def log_function_call(func):
        def wrapper(*args, **kwargs):
            print(f"Calling {func.__name__} with arguments {args}, {kwargs}")
            result = func(*args, **kwargs)
            print(f"{func.__name__} returned {result}")
            return result
        return wrapper
    
    @log_function_call
    def add(a, b):
        return a + b
    
    
  3. 多线程和多进程编程:

    • 概念: 并发编程涉及同时执行多个任务,了解如何使用多线程和多进程来实现并发。
    • 场景: 当您需要加速计算或同时处理多个任务时,多线程和多进程是有用的。
    • 示例代码: 创建多线程、多进程、线程同步和进程间通信等示例。
    import threading
    import multiprocessing
    
    def print_numbers():
        for i in range(1, 6):
            print(f"Number {i}")
    
    def print_letters():
        for letter in 'abcde':
            print(f"Letter {letter}")
    
    # 多线程示例
    thread1 = threading.Thread(target=print_numbers)
    thread2 = threading.Thread(target=print_letters)
    thread1.start()
    thread2.start()
    
    
  4. 异步编程(Asynchronous Programming):

    • 概念: 异步编程用于处理非阻塞的I/O操作,以提高应用程序性能。
    • 场景: 当您需要处理大量的I/O操作,如网络请求或文件读写时,异步编程可以提高效率。
    • 示例代码: 使用asyncio库创建异步函数、协程、异步I/O操作等示例。
    import asyncio
    
    async def fetch_url(url):
        print(f"Fetching {url}")
        await asyncio.sleep(2)
        print(f"Received data from {url}")
    
    async def main():
        await asyncio.gather(
            fetch_url("<https://example.com>"),
            fetch_url("<https://google.com>"),
            fetch_url("<https://github.com>")
        )
    
    asyncio.run(main())
    
    
  5. 数据库连接和操作:

    • 概念: Python可以与各种数据库进行连接和操作,包括SQLite、MySQL、PostgreSQL等。
    • 场景: 当您需要存储和检索大量数据时,与数据库的交互是必要的。
    • 示例代码: 使用数据库库连接数据库、执行查询、插入、更新和删除数据等示例。
    import sqlite3
    
    conn = sqlite3.connect('mydb.db')
    cursor = conn.cursor()
    
    # 创建表
    cursor.execute('''CREATE TABLE IF NOT EXISTS users (id INTEGER PRIMARY KEY, name TEXT, age INTEGER)''')
    
    # 插入数据
    cursor.execute("INSERT INTO users (name, age) VALUES (?, ?)", ('Alice', 30))
    
    # 查询数据
    cursor.execute("SELECT * FROM users")
    rows = cursor.fetchall()
    for row in rows:
        print(row)
    
    conn.close()
    
    

这些知识点包含了更高级和挑战性的Python主题,每个主题都伴随着场景示例,以帮助您理解如何在实际应用中使用它们。如果您对其中的任何主题有兴趣或需要更多示例或解释,请随时提出具体问题。我将尽力为您提供更详细的帮助。

5. 关于 W3C 的来源和重要性,及其例子:

W3C标准(World Wide Web Consortium标准):

来源: W3C是一个国际性组织,成立于1994年,致力于制定和维护Web技术标准。它由互联网上的领先公司、研究机构和个人共同组成。W3C的任务是确保Web的长期发展,推动Web技术的标准化和互操作性。

重要性: W3C标准是Web开发的基石,它们确保了不同浏览器和设备之间的一致性,以及Web内容的可访问性和可维护性。W3C标准包括HTML、CSS、XML等,它们定义了Web页面的结构、样式和数据交换格式。在没有这些标准的情况下,Web开发将变得混乱,不同浏览器之间的渲染可能会不一致,这会增加开发的复杂性。

示例: HTML5是一个W3C标准的示例,它定义了Web页面的结构和元素。以下是一个简单的HTML5示例:

<!DOCTYPE html>
<html>
<head>
    <title>我的网页</title>
</head>
<body>
    <h1>欢迎来到我的网页</h1>
    <p>这是一个示例网页。</p>
</body>
</html>

HTTP标准(Hypertext Transfer Protocol标准):

来源: HTTP是一个应用层协议,用于在Web上传输和交换超文本文档,它是Web的核心协议之一。HTTP的标准化由IETF(Internet Engineering Task Force)进行,其中定义了HTTP/1.0、HTTP/1.1和HTTP/2等版本。

重要性: HTTP标准定义了Web客户端和服务器之间的通信方式。它规定了请求和响应的格式、方法(GET、POST等)、状态码(200 OK、404 Not Found等)等。HTTP的正确实施是确保Web应用程序可靠性、性能和安全性的关键。HTTP/2的引入进一步提高了Web性能,允许多路复用和头部压缩,加速了页面加载速度。

示例: HTTP请求和响应是HTTP标准的核心示例。以下是一个HTTP GET请求的示例,该请求获取一个Web页面:

GET /index.html HTTP/1.1
Host: www.example.com

服务器将对这个请求返回一个HTTP响应,如下所示:

HTTP/1.1 200 OK
Content-Type: text/html

<!DOCTYPE html>
<html>
<head>
    <title>我的网页</title>
</head>
<body>
    <h1>欢迎来到我的网页</h1>
    <p>这是一个示例网页。</p>
</body>
</html>

这个示例展示了HTTP标准中的请求和响应的结构,以及状态码和响应的内容类型。

总之,W3C标准和HTTP标准是Web开发中至关重要的概念和规范,它们确保了Web的稳定性、一致性和可靠性。了解并遵循这些标准是Web开发人员的基本要求。

6. HTTP-request 进行一个爬虫演练

初识网络爬虫:

  1. 网络爬虫概述:
    • 概念: 网络爬虫是一种自动化程序,用于在互联网上抓取网页信息并提取数据。它们可以浏览网站,下载网页内容,然后对数据进行分析、存储或其他操作。
    • 重要性: 网络爬虫在许多领域中都有用,包括搜索引擎、数据采集、信息聚合、价格比较和自动化测试等。它们帮助我们从大量的互联网信息中提取有用的数据。
  2. HTTP请求的Python实现:
    • 概念: 在网络爬虫中,HTTP请求是与Web服务器通信以获取网页内容的关键部分。Python提供了许多库和模块来实现HTTP请求,其中最常用的是requests库。
    • 使用场景: HTTP请求的Python实现可用于从网站上获取HTML页面、API数据或其他网络资源。这对于构建网络爬虫或进行Web数据挖掘非常有用。

Python代码示例:

以下是一个简单的Python示例,使用requests库实现HTTP GET请求,以获取网页内容。假设我们要获取一个示例网页的内容:

import requests

# 指定目标URL
url = '<https://example.com>'

# 发送HTTP GET请求
response = requests.get(url)

# 检查响应状态码
if response.status_code == 200:
    # 打印响应内容
    print(response.text)
else:
    print(f"请求失败,状态码:{response.status_code}")

上述示例中,我们首先导入requests库,然后指定目标URL。接着,我们使用requests.get()函数发送HTTP GET请求,并获取响应。如果响应的状态码是200(表示成功),则打印响应内容。否则,打印请求失败的状态码。

这个示例展示了如何使用Python实现HTTP请求,这是构建网络爬虫的关键一步。网络爬虫通常会发送多个HTTP请求来获取不同页面的内容,然后解析和处理这些内容以提取所需的数据。

请注意,网络爬虫的使用需要遵守网站的使用条款和法律法规,以确保合法和道德的数据采集。

8. 解析的方法提升(使用 BeautifulSoup)

HTML解析大法:

HTML解析是Web开发和网络爬虫中的重要任务,它涉及将HTML文档分析为结构化数据以进行处理。在这个概念中,我们将介绍初识Firebug、正则表达式和强大的BeautifulSoup这三个工具,它们在HTML解析中发挥着关键作用。

BeautifulSoup是一个强大而易于使用的HTML解析工具,使开发人员能够轻松地处理和分析HTML文档。它在Web开发、网络爬虫、数据抓取和数据分析等领域都有广泛的应用。虽然也可以使用正则表达式等方法进行HTML解析,但BeautifulSoup提供了更便捷、可读性更高的解决方案,减少了错误和复杂性。

  • 如果没有它,那么:
  • 手动解析HTML: 没有BeautifulSoup,您需要手动编写代码来解析HTML文档,包括编写自定义的解析器以分析文档的结构和标签。
  • 容错性差: HTML文档可能包含不规范的标记、嵌套问题或其他错误,没有BeautifulSoup的容错性,您需要编写更多的代码来处理这些问题,以确保解析的准确性。
  • 复杂的元素定位: 没有BeautifulSoup提供的元素定位功能,您需要使用正则表达式或字符串处理函数来准确定位文档中的元素,这可能变得非常复杂和容易出错。
  • 文本提取困难: 没有BeautifulSoup的文本提取功能,您需要手动编写代码来提取文档中的文本内容,这包括处理各种标签和文本元素。

三大工具认识:

  1. 初识Firebug:
    • 概念: Firebug是一个用于Web开发的浏览器扩展程序,它提供了强大的调试和分析工具,使开发人员能够检查和修改网页的HTML、CSS和JavaScript。
    • 重要性: Firebug允许开发人员实时查看网页的DOM结构、样式和响应数据,帮助他们诊断问题并改进网页设计。
  2. 正则表达式:
    • 概念: 正则表达式是一种强大的文本匹配和模式查找工具,它允许您根据模式在文本中搜索、替换和提取内容。
    • 重要性: 在HTML解析中,正则表达式可以用来匹配和提取特定的HTML标签、属性或文本,从而实现数据抓取。
  3. 强大的BeautifulSoup:
    • 概念: BeautifulSoup是一个Python库,用于解析HTML和XML文档,提供了简单而直观的方式来浏览和搜索文档树。
    • 重要性: BeautifulSoup使HTML解析变得容易,它可以帮助开发人员轻松地从网页中提取数据,并进行分析和操作。

示例代码:

以下是一个使用BeautifulSoup解析HTML的示例,以从一个简单的HTML页面中提取链接的文本和URL。

import requests
from bs4 import BeautifulSoup

# 指定百度首页的URL
url = 'https://www.baidu.com'

# 发送HTTP GET请求
response = requests.get(url)

# 检查响应状态码
if response.status_code == 200:
    # 使用BeautifulSoup解析HTML
    soup = BeautifulSoup(response.text, 'html.parser')
    
    # 查找百度搜索框的HTML元素
    search_input = soup.find('input', {'name': 'wd'})
    
    if search_input:
        # 提取搜索框的相关信息
        input_name = search_input['name']
        input_type = search_input['type']
        input_placeholder = search_input['placeholder']
        
        print(f"搜索框名称: {input_name}")
        print(f"搜索框类型: {input_type}")
        print(f"搜索框占位符: {input_placeholder}")
    else:
        print("未找到搜索框元素")
else:
    print(f"请求失败,状态码:{response.status_code}")

在上述示例中,我们导入了BeautifulSoup库,然后使用BeautifulSoup()函数解析HTML。接着,我们使用find_all()方法找到所有的链接,并循环遍历它们以提取文本和URL。

这个示例展示了BeautifulSoup的强大功能,使HTML解析变得简单而直观。这种工具在Web开发和网络爬虫中非常有用,可以帮助您轻松地处理和分析HTML文档。

9. 扩展爬虫的功能

让爬虫在后台爬取,其中正文内容和多媒体内容要进行分开, 比如爬的时候出去喝杯咖啡摸一下🐟,也要及时回来,则就需要一个消息提醒了:

  1. HTML正文抽取:
    • 概念: HTML正文抽取是从HTML页面中提取主要内容的过程,通常去除导航、广告和其他非关键信息,以便更好地分析和保存有用的数据。
    • 扩展: 为了更精确地抽取HTML正文,可以使用专门的库或工具,如Python中的newspaper3kreadability库,它们可以智能地识别和提取主要内容。
  2. 多媒体文件抽取:
    • 概念: 除了HTML文本,网页上还可能包含图片、音频、视频等多媒体文件。抽取这些多媒体文件是在数据存储过程中的重要一部分。
    • 扩展: 使用Python的requests库下载多媒体文件,然后将它们保存到本地文件系统。可以根据需要创建不同的文件夹来组织这些文件。
  3. Email提醒:
    • 概念: Email提醒是一种方式,通过电子邮件通知用户或管理员有关抓取和存储数据的重要信息,例如错误报告、进度更新或新数据可用的通知。
    • 扩展: 使用Python的smtplib库来编写代码,以在特定条件下发送邮件通知。您可以设置警报阈值,例如在网站抓取失败时发送邮件提醒。

示例代码:

以下是一个示例代码,扩展了HTML正文抽取、多媒体文件抽取和Email提醒的内容:

import requests
from bs4 import BeautifulSoup
import os
import smtplib
from email.mime.text import MIMEText
from email.mime.multipart import MIMEMultipart

# HTML正文抽取示例
def extract_main_content(html):
    # 使用新闻提取库 newspaper3k 提取HTML正文
    from newspaper import Article
    article = Article(url)
    article.download()
    article.parse()
    main_content = article.text
    return main_content

# 多媒体文件抽取示例
def extract_media_files(html, save_path):
    soup = BeautifulSoup(html, 'html.parser')
    # 从HTML中查找多媒体文件链接
    media_links = soup.find_all('img', src=True)
    for link in media_links:
        media_url = link['src']
        media_data = requests.get(media_url).content
        # 保存多媒体文件到本地文件系统
        media_filename = os.path.join(save_path, os.path.basename(media_url))
        with open(media_filename, 'wb') as media_file:
            media_file.write(media_data)

# Email提醒示例
def send_email_notification(subject, body, to_email):
    smtp_server = 'smtp.example.com'
    smtp_port = 587
    sender_email = 'your_email@example.com'
    sender_password = 'your_email_password'

    msg = MIMEMultipart()
    msg['From'] = sender_email
    msg['To'] = to_email
    msg['Subject'] = subject

    msg.attach(MIMEText(body, 'plain'))

    # 连接SMTP服务器并发送邮件
    server = smtplib.SMTP(smtp_server, smtp_port)
    server.starttls()
    server.login(sender_email, sender_password)
    server.sendmail(sender_email, to_email, msg.as_string())
    server.quit()

# 示例用法
url = '<https://example.com>'
response = requests.get(url)
if response.status_code == 200:
    html_content = response.text

    # 抽取HTML正文
    main_content = extract_main_content(html_content)
    print("HTML正文抽取结果:")
    print(main_content)

    # 抽取多媒体文件
    save_directory = 'media_files'
    os.makedirs(save_directory, exist_ok=True)
    extract_media_files(html_content, save_directory)
    print(f"多媒体文件已保存到目录:{save_directory}")

    # 发送Email提醒
    subject = '数据抓取完成'
    body = '数据抓取已完成,可以查看结果。'
    recipient_email = 'recipient@example.com'
    send_email_notification(subject, body, recipient_email)
    print(f"Email提醒已发送至:{recipient_email}")
else:
    print(f"请求失败,状态码:{response.status_code}")

10. 实战的爬虫考虑

不管你是自己开发的框架还是使用别人的框架,大致内容都需要涉及下面几个步骤:

主要由这几个部分:

URL管理器、HTML下载器、HTML解析器、数据存储器和爬虫调度器是构成一个完整爬虫系统的关键组件。URL管理器负责管理待抓取的URL,HTML下载器负责下载网页内容,HTML解析器负责解析网页并提取有用的数据,数据存储器负责将提取的数据保存到指定的存储介质中,而爬虫调度器则负责协调各个组件的工作流程,确保爬虫系统的稳定运行。这些组件之间的协作和配合,使得爬虫系统能够高效地获取目标网站的数据,并实现相关的数据处理和分析任务。

  1. 基础爬虫架构及运行流程:
    • 概念: 基础爬虫通常遵循一种流程,包括从起始URL开始,依次进行URL管理、HTML下载、HTML解析、数据存储和爬虫调度等步骤。
    • 扩展: 在实际项目中,流程可能更复杂,包括多个爬虫模块、并发处理、异常处理和日志记录等。
  2. URL管理器:
    • 概念: URL管理器负责管理待爬取的URL队列,包括去重、添加新URL和获取下一个URL等功能。
    • 扩展: 可以使用哈希算法或分布式存储来处理大规模爬虫项目中的URL管理。
  3. HTML下载器:
    • 概念: HTML下载器负责从互联网上下载HTML页面,通常使用HTTP请求获取页面内容。
    • 扩展: 在现实项目中,可能需要处理反爬虫机制、设置代理、实现并发下载等。
  4. HTML解析器:
    • 概念: HTML解析器用于解析下载的HTML页面,提取有用的信息,通常使用正则表达式、XPath或HTML解析库(如BeautifulSoup)。
    • 扩展: 在大规模爬虫项目中,可能需要优化解析性能、处理多种HTML结构和错误情况。
  5. 数据存储器:
    • 概念: 数据存储器负责将抓取的数据保存到本地文件系统、数据库或其他存储介质中。
    • 扩展: 可以考虑分布式存储、数据清洗、数据转换和备份策略等。
  6. 爬虫调度器:
    • 概念: 爬虫调度器协调整个爬虫流程,包括控制爬虫速率、处理异常、管理任务队列等。
    • 扩展: 可以实现分布式爬虫调度、优化爬虫策略、处理多个爬虫模块等。

示例代码:

以下是一个基础爬虫架构的扩展示例,演示了如何构建一个简单的爬虫项目,并包含了上述扩展内容:

import requests
from bs4 import BeautifulSoup

class URLManager:
    def __init__(self):
        self.urls = set()

    def add_url(self, url):
        if url not in self.urls:
            self.urls.add(url)
            return True
        return False

    def get_url(self):
        if self.urls:
            return self.urls.pop()
        return None

class HTMLDownloader:
    def download(self, url):
        try:
            response = requests.get(url)
            if response.status_code == 200:
                return response.text
        except Exception as e:
            print(f"下载失败:{str(e)}")
        return None

class HTMLParser:
    def parse(self, html):
        soup = BeautifulSoup(html, 'html.parser')
        # 在这里添加具体的解析逻辑,提取数据并返回

class DataStorage:
    def save_data(self, data):
        # 在这里添加数据存储逻辑,将数据保存到文件、数据库等

class SpiderScheduler:
    def __init__(self):
        self.url_manager = URLManager()
        self.downloader = HTMLDownloader()
        self.parser = HTMLParser()
        self.data_storage = DataStorage()

    def run(self, start_url):
        self.url_manager.add_url(start_url)
        while True:
            current_url = self.url_manager.get_url()
            if current_url:
                html = self.downloader.download(current_url)
                if html:
                    data = self.parser.parse(html)
                    self.data_storage.save_data(data)
                    # 在这里添加更多的爬虫调度逻辑,如添加新URL、处理异常等
            else:
                break

# 示例用法
start_url = '<https://example.com>'
spider = SpiderScheduler()
spider.run(start_url)

关注,评论,留下你的邮箱,机器人自动发送代码。

文章来源:https://blog.csdn.net/lixiemang8887/article/details/135524705
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。