手写爬虫框架，又名：手写爬虫框架的第1天
从爬虫底层 —> 分布式爬虫， 企业级大数据融合， 个人应用场景总有一个适合你， 动动你的小手。 点上关注，方便每天阅读
一键三连是我最大的动力。谢谢~~
希望以上解释、场景说明和示例代码对您有所帮助，如果您需要更详细的示例代码或其他问题，请随时提出。
1. 如何安装 Python，进行步骤说明：
安装Python非常简单，以下是安装Python的一般步骤：
步骤 1：访问Python官方网站
首先，打开您的Web浏览器，并访问Python的官方网站。官方网站地址为：https://www.python.org/
步骤 2：下载Python安装程序
在官方网站上，您会看到一个大的“Downloads”按钮。点击这个按钮，它将带您到Python的下载页面。
步骤 3：选择Python版本
Python有多个版本可供选择，通常有Python 3.x和Python 2.x。推荐选择最新的Python 3.x版本。点击下载按钮，选择您操作系统对应的安装程序。
步骤 4：运行安装程序
一旦下载完成，运行安装程序。在Windows上，双击下载的安装程序文件并按照提示进行安装。在Linux或macOS上，打开终端，进入下载文件所在的目录，运行以下命令：
python3 -m venv myenv
这将创建一个虚拟环境，以隔离Python环境。
步骤 5：完成安装
按照安装程序的提示，完成Python的安装。安装完成后，您可以在命令行中输入以下命令来验证Python是否成功安装：
python --version
现在，您已成功安装Python并可以开始编写Python代码了。
2. 介绍 Python 的基础语法，及其示例：
Python的基础语法非常简单和易于学习。以下是一些Python基础语法的示例：
# 定义变量
name = "John"
age = 30
height = 5.9
# 数据类型示例
text = "Hello, World!" # 字符串
num = 42 # 整数
pi = 3.14159265 # 浮点数
# 判断条件
if age < 18:
print("未成年")
elif age >= 18 and age < 65:
print("成年")
else:
print("退休年龄")
# 循环示例
fruits = ["apple", "banana", "cherry"]
for fruit in fruits:
print(fruit)
# 函数定义
def greet(name):
return "Hello, " + name
# 函数调用
message = greet("Alice")
print(message)
这些示例覆盖了Python的基础语法元素，包括变量、数据类型、条件语句、循环和函数
列表（List）：
my_list = [1, 2, 3, "apple", "banana"]
print(my_list[0]) # 访问元素
my_list.append("cherry") # 添加元素
del my_list[3] # 删除元素
字典（Dictionary）：
my_dict = {"name": "John", "age": 30, "city": "New York"}
print(my_dict["name"]) # 访问值
my_dict["age"] = 31 # 修改值
for key, value in my_dict.items():
print(key, value)
模块和包（Modules and Packages）：
import math
print(math.sqrt(25)) # 使用math模块的函数
异常处理（Exception Handling）：
try:
result = 10 / 0
except ZeroDivisionError as e:
print("发生除零错误:", e)
面向对象编程（Object-Oriented Programming，OOP）：
class Person:
def __init__(self, name, age):
self.name = name
self.age = age
def greet(self):
return f"Hello, my name is {self.name} and I am {self.age} years old."
person = Person("Alice", 25)
print(person.greet())
这些知识点覆盖了Python的一些重要方面，包括数据结构、模块、异常处理和面向对象编程。如果您需要更多关于特定知识点的详细信息或示例，请随时提出具体的问题。我将继续为您提供详细解释和示例代码。
生成器（Generators）：
yield关键字、迭代生成器等示例。def read_large_file(file_path):
with open(file_path, 'r') as file:
for line in file:
yield line
for line in read_large_file('large_data.txt'):
process_line(line)
装饰器（Decorators）：
def log_function_call(func):
def wrapper(*args, **kwargs):
print(f"Calling {func.__name__} with arguments {args}, {kwargs}")
result = func(*args, **kwargs)
print(f"{func.__name__} returned {result}")
return result
return wrapper
@log_function_call
def add(a, b):
return a + b
多线程和多进程编程：
import threading
import multiprocessing
def print_numbers():
for i in range(1, 6):
print(f"Number {i}")
def print_letters():
for letter in 'abcde':
print(f"Letter {letter}")
# 多线程示例
thread1 = threading.Thread(target=print_numbers)
thread2 = threading.Thread(target=print_letters)
thread1.start()
thread2.start()
异步编程（Asynchronous Programming）：
asyncio库创建异步函数、协程、异步I/O操作等示例。import asyncio
async def fetch_url(url):
print(f"Fetching {url}")
await asyncio.sleep(2)
print(f"Received data from {url}")
async def main():
await asyncio.gather(
fetch_url("<https://example.com>"),
fetch_url("<https://google.com>"),
fetch_url("<https://github.com>")
)
asyncio.run(main())
数据库连接和操作：
import sqlite3
conn = sqlite3.connect('mydb.db')
cursor = conn.cursor()
# 创建表
cursor.execute('''CREATE TABLE IF NOT EXISTS users (id INTEGER PRIMARY KEY, name TEXT, age INTEGER)''')
# 插入数据
cursor.execute("INSERT INTO users (name, age) VALUES (?, ?)", ('Alice', 30))
# 查询数据
cursor.execute("SELECT * FROM users")
rows = cursor.fetchall()
for row in rows:
print(row)
conn.close()
这些知识点包含了更高级和挑战性的Python主题，每个主题都伴随着场景示例，以帮助您理解如何在实际应用中使用它们。如果您对其中的任何主题有兴趣或需要更多示例或解释，请随时提出具体问题。我将尽力为您提供更详细的帮助。
W3C标准（World Wide Web Consortium标准）：
来源： W3C是一个国际性组织，成立于1994年，致力于制定和维护Web技术标准。它由互联网上的领先公司、研究机构和个人共同组成。W3C的任务是确保Web的长期发展，推动Web技术的标准化和互操作性。
重要性： W3C标准是Web开发的基石，它们确保了不同浏览器和设备之间的一致性，以及Web内容的可访问性和可维护性。W3C标准包括HTML、CSS、XML等，它们定义了Web页面的结构、样式和数据交换格式。在没有这些标准的情况下，Web开发将变得混乱，不同浏览器之间的渲染可能会不一致，这会增加开发的复杂性。
示例： HTML5是一个W3C标准的示例，它定义了Web页面的结构和元素。以下是一个简单的HTML5示例：
<!DOCTYPE html>
<html>
<head>
<title>我的网页</title>
</head>
<body>
<h1>欢迎来到我的网页</h1>
<p>这是一个示例网页。</p>
</body>
</html>
HTTP标准（Hypertext Transfer Protocol标准）：
来源： HTTP是一个应用层协议，用于在Web上传输和交换超文本文档，它是Web的核心协议之一。HTTP的标准化由IETF（Internet Engineering Task Force）进行，其中定义了HTTP/1.0、HTTP/1.1和HTTP/2等版本。
重要性： HTTP标准定义了Web客户端和服务器之间的通信方式。它规定了请求和响应的格式、方法（GET、POST等）、状态码（200 OK、404 Not Found等）等。HTTP的正确实施是确保Web应用程序可靠性、性能和安全性的关键。HTTP/2的引入进一步提高了Web性能，允许多路复用和头部压缩，加速了页面加载速度。
示例： HTTP请求和响应是HTTP标准的核心示例。以下是一个HTTP GET请求的示例，该请求获取一个Web页面：
GET /index.html HTTP/1.1
Host: www.example.com
服务器将对这个请求返回一个HTTP响应，如下所示：
HTTP/1.1 200 OK
Content-Type: text/html
<!DOCTYPE html>
<html>
<head>
<title>我的网页</title>
</head>
<body>
<h1>欢迎来到我的网页</h1>
<p>这是一个示例网页。</p>
</body>
</html>
这个示例展示了HTTP标准中的请求和响应的结构，以及状态码和响应的内容类型。
总之，W3C标准和HTTP标准是Web开发中至关重要的概念和规范，它们确保了Web的稳定性、一致性和可靠性。了解并遵循这些标准是Web开发人员的基本要求。
初识网络爬虫：
requests库。Python代码示例：
以下是一个简单的Python示例，使用requests库实现HTTP GET请求，以获取网页内容。假设我们要获取一个示例网页的内容：
import requests
# 指定目标URL
url = '<https://example.com>'
# 发送HTTP GET请求
response = requests.get(url)
# 检查响应状态码
if response.status_code == 200:
# 打印响应内容
print(response.text)
else:
print(f"请求失败，状态码：{response.status_code}")
上述示例中，我们首先导入requests库，然后指定目标URL。接着，我们使用requests.get()函数发送HTTP GET请求，并获取响应。如果响应的状态码是200（表示成功），则打印响应内容。否则，打印请求失败的状态码。
这个示例展示了如何使用Python实现HTTP请求，这是构建网络爬虫的关键一步。网络爬虫通常会发送多个HTTP请求来获取不同页面的内容，然后解析和处理这些内容以提取所需的数据。
请注意，网络爬虫的使用需要遵守网站的使用条款和法律法规，以确保合法和道德的数据采集。
HTML解析大法：
HTML解析是Web开发和网络爬虫中的重要任务，它涉及将HTML文档分析为结构化数据以进行处理。在这个概念中，我们将介绍初识Firebug、正则表达式和强大的BeautifulSoup这三个工具，它们在HTML解析中发挥着关键作用。
BeautifulSoup是一个强大而易于使用的HTML解析工具，使开发人员能够轻松地处理和分析HTML文档。它在Web开发、网络爬虫、数据抓取和数据分析等领域都有广泛的应用。虽然也可以使用正则表达式等方法进行HTML解析，但BeautifulSoup提供了更便捷、可读性更高的解决方案，减少了错误和复杂性。
示例代码：
以下是一个使用BeautifulSoup解析HTML的示例，以从一个简单的HTML页面中提取链接的文本和URL。
import requests
from bs4 import BeautifulSoup
# 指定百度首页的URL
url = 'https://www.baidu.com'
# 发送HTTP GET请求
response = requests.get(url)
# 检查响应状态码
if response.status_code == 200:
# 使用BeautifulSoup解析HTML
soup = BeautifulSoup(response.text, 'html.parser')
# 查找百度搜索框的HTML元素
search_input = soup.find('input', {'name': 'wd'})
if search_input:
# 提取搜索框的相关信息
input_name = search_input['name']
input_type = search_input['type']
input_placeholder = search_input['placeholder']
print(f"搜索框名称: {input_name}")
print(f"搜索框类型: {input_type}")
print(f"搜索框占位符: {input_placeholder}")
else:
print("未找到搜索框元素")
else:
print(f"请求失败，状态码：{response.status_code}")
在上述示例中，我们导入了BeautifulSoup库，然后使用BeautifulSoup()函数解析HTML。接着，我们使用find_all()方法找到所有的链接，并循环遍历它们以提取文本和URL。
这个示例展示了BeautifulSoup的强大功能，使HTML解析变得简单而直观。这种工具在Web开发和网络爬虫中非常有用，可以帮助您轻松地处理和分析HTML文档。
让爬虫在后台爬取，其中正文内容和多媒体内容要进行分开， 比如爬的时候出去喝杯咖啡摸一下🐟，也要及时回来，则就需要一个消息提醒了：
newspaper3k或readability库，它们可以智能地识别和提取主要内容。requests库下载多媒体文件，然后将它们保存到本地文件系统。可以根据需要创建不同的文件夹来组织这些文件。smtplib库来编写代码，以在特定条件下发送邮件通知。您可以设置警报阈值，例如在网站抓取失败时发送邮件提醒。示例代码：
以下是一个示例代码，扩展了HTML正文抽取、多媒体文件抽取和Email提醒的内容：
import requests
from bs4 import BeautifulSoup
import os
import smtplib
from email.mime.text import MIMEText
from email.mime.multipart import MIMEMultipart
# HTML正文抽取示例
def extract_main_content(html):
# 使用新闻提取库 newspaper3k 提取HTML正文
from newspaper import Article
article = Article(url)
article.download()
article.parse()
main_content = article.text
return main_content
# 多媒体文件抽取示例
def extract_media_files(html, save_path):
soup = BeautifulSoup(html, 'html.parser')
# 从HTML中查找多媒体文件链接
media_links = soup.find_all('img', src=True)
for link in media_links:
media_url = link['src']
media_data = requests.get(media_url).content
# 保存多媒体文件到本地文件系统
media_filename = os.path.join(save_path, os.path.basename(media_url))
with open(media_filename, 'wb') as media_file:
media_file.write(media_data)
# Email提醒示例
def send_email_notification(subject, body, to_email):
smtp_server = 'smtp.example.com'
smtp_port = 587
sender_email = 'your_email@example.com'
sender_password = 'your_email_password'
msg = MIMEMultipart()
msg['From'] = sender_email
msg['To'] = to_email
msg['Subject'] = subject
msg.attach(MIMEText(body, 'plain'))
# 连接SMTP服务器并发送邮件
server = smtplib.SMTP(smtp_server, smtp_port)
server.starttls()
server.login(sender_email, sender_password)
server.sendmail(sender_email, to_email, msg.as_string())
server.quit()
# 示例用法
url = '<https://example.com>'
response = requests.get(url)
if response.status_code == 200:
html_content = response.text
# 抽取HTML正文
main_content = extract_main_content(html_content)
print("HTML正文抽取结果：")
print(main_content)
# 抽取多媒体文件
save_directory = 'media_files'
os.makedirs(save_directory, exist_ok=True)
extract_media_files(html_content, save_directory)
print(f"多媒体文件已保存到目录：{save_directory}")
# 发送Email提醒
subject = '数据抓取完成'
body = '数据抓取已完成，可以查看结果。'
recipient_email = 'recipient@example.com'
send_email_notification(subject, body, recipient_email)
print(f"Email提醒已发送至：{recipient_email}")
else:
print(f"请求失败，状态码：{response.status_code}")
不管你是自己开发的框架还是使用别人的框架，大致内容都需要涉及下面几个步骤：
主要由这几个部分：
URL管理器、HTML下载器、HTML解析器、数据存储器和爬虫调度器是构成一个完整爬虫系统的关键组件。URL管理器负责管理待抓取的URL，HTML下载器负责下载网页内容，HTML解析器负责解析网页并提取有用的数据，数据存储器负责将提取的数据保存到指定的存储介质中，而爬虫调度器则负责协调各个组件的工作流程，确保爬虫系统的稳定运行。这些组件之间的协作和配合，使得爬虫系统能够高效地获取目标网站的数据，并实现相关的数据处理和分析任务。
示例代码：
以下是一个基础爬虫架构的扩展示例，演示了如何构建一个简单的爬虫项目，并包含了上述扩展内容：
import requests
from bs4 import BeautifulSoup
class URLManager:
def __init__(self):
self.urls = set()
def add_url(self, url):
if url not in self.urls:
self.urls.add(url)
return True
return False
def get_url(self):
if self.urls:
return self.urls.pop()
return None
class HTMLDownloader:
def download(self, url):
try:
response = requests.get(url)
if response.status_code == 200:
return response.text
except Exception as e:
print(f"下载失败：{str(e)}")
return None
class HTMLParser:
def parse(self, html):
soup = BeautifulSoup(html, 'html.parser')
# 在这里添加具体的解析逻辑，提取数据并返回
class DataStorage:
def save_data(self, data):
# 在这里添加数据存储逻辑，将数据保存到文件、数据库等
class SpiderScheduler:
def __init__(self):
self.url_manager = URLManager()
self.downloader = HTMLDownloader()
self.parser = HTMLParser()
self.data_storage = DataStorage()
def run(self, start_url):
self.url_manager.add_url(start_url)
while True:
current_url = self.url_manager.get_url()
if current_url:
html = self.downloader.download(current_url)
if html:
data = self.parser.parse(html)
self.data_storage.save_data(data)
# 在这里添加更多的爬虫调度逻辑，如添加新URL、处理异常等
else:
break
# 示例用法
start_url = '<https://example.com>'
spider = SpiderScheduler()
spider.run(start_url)
关注，评论，留下你的邮箱，机器人自动发送代码。