Scikit-Learn 中级教程——网格搜索和交叉验证

Python Scikit-Learn 中级教程：网格搜索和交叉验证

在机器学习中，选择合适的模型超参数是提高模型性能的关键一步。Scikit-Learn 提供了网格搜索（Grid Search）和交叉验证（Cross-Validation）等工具，帮助我们找到最佳的超参数组合。本篇博客将深入介绍如何使用 Scikit-Learn 中的网格搜索和交叉验证来优化模型。

1. 网格搜索

网格搜索是一种通过遍历指定参数组合的方法，找到模型最佳超参数的技术。Scikit-Learn 中的 GridSearchCV 类提供了方便的网格搜索功能。

from sklearn.model_selection import GridSearchCV
from sklearn.svm import SVC
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

# 加载示例数据集
iris = load_iris()
X_train, X_test, y_train, y_test = train_test_split(iris.data, iris.target, test_size=0.2, random_state=42)

# 定义模型
model = SVC()

# 定义参数网格
param_grid = {'C': [0.1, 1, 10, 100], 'kernel': ['linear', 'rbf'], 'gamma': [0.001, 0.01, 0.1, 1, 'scale', 'auto']}

# 创建 GridSearchCV 对象
grid_search = GridSearchCV(model, param_grid, cv=5)

# 在训练集上执行网格搜索
grid_search.fit(X_train, y_train)

# 输出最佳参数组合和对应的性能指标
print("最佳参数组合:", grid_search.best_params_)
print("最佳性能指标:", grid_search.best_score_)

2. 交叉验证

交叉验证是一种评估模型性能的方法，它将数据集划分为多个子集，每次使用其中一个子集作为测试集，其余子集作为训练集。Scikit-Learn 中的 cross_val_score 函数可以方便地进行交叉验证。

from sklearn.model_selection import cross_val_score

# 使用交叉验证评估模型性能
cv_scores = cross_val_score(model, X_train, y_train, cv=5)

# 输出交叉验证得分
print("交叉验证得分:", cv_scores)
print("平均交叉验证得分:", np.mean(cv_scores))

3. 结合网格搜索和交叉验证

将网格搜索和交叉验证结合起来，可以更全面地评估模型性能，并找到最佳超参数。

from sklearn.model_selection import GridSearchCV

# 定义参数网格
param_grid = {'C': [0.1, 1, 10, 100], 'kernel': ['linear', 'rbf'], 'gamma': [0.001, 0.01, 0.1, 1, 'scale', 'auto']}

# 创建 GridSearchCV 对象，设置交叉验证次数为5
grid_search_cv = GridSearchCV(model, param_grid, cv=5)

# 在训练集上执行网格搜索和交叉验证
grid_search_cv.fit(X_train, y_train)

# 输出最佳参数组合和对应的性能指标
print("最佳参数组合:", grid_search_cv.best_params_)
print("最佳性能指标:", grid_search_cv.best_score_)

4. 总结

网格搜索和交叉验证是优化机器学习模型的强大工具。通过使用 Scikit-Learn 提供的 GridSearchCV 和 cross_val_score，我们能够方便地找到最佳超参数组合，并更全面地评估模型性能。在实际应用中，建议使用这两个工具来提高模型的准确性和泛化能力。希望本篇博客对你理解和使用网格搜索和交叉验证有所帮助！