【本科生机器学习】【Python】【北京航空航天大学】课题报告：支持向量机（Support Vector Machine, SVM）初步研究【下、实验部分（二）】）

说明：

（1）、仅供个人学习使用；
（2）、本科生学术水平有限，故不能保证全无科学性错误，本文仅作为该领域的学习参考。

实验原理部分见【上、原理部分】
实验一~实验三见【中、实验部分（一）】

实验内容（及结论）

四、实验四

1、实验描述： 非线性 SVM分类。

2、实验主要步骤：

（1）、 数据预处理流程：

加载卫星数据集：

from sklearn.datasets import make_moons

X, y = make_moons(n_samples=100, noise=0.15)  # 训练集

缩放特征：

polynomial_svm_clf = Pipeline([  # 使用多项式特征的SVM分类器
    ("poly_features", PolynomialFeatures(degree=3)),
    ("scaler", StandardScaler()),  # 特征缩放
    ("svm_clf", LinearSVC(C=10, loss="hinge", max_iter=5000))
    ])

（2）、 算法思想及步骤：

有很多数据集远不是线性可分离的。处理非线性数据集的方法之一是添加更多特征，比如多项式特征。某些情况下，这可能导致数据集变得线性可分离。
实验中，使用 Scikit-Learn 库来实现这个想法，创建一个包含 PolynomialFeatures 转换器的 Pipeline，然后是 StandardScaler 和 LinearSVC，并在训练集上训练该模型：

polynomial_svm_clf = Pipeline([  # 使用多项式特征的SVM分类器
    ("poly_features", PolynomialFeatures(degree=3)),
    ("scaler", StandardScaler()),
    ("svm_clf", LinearSVC(C=10, loss="hinge", max_iter=5000))
    ])

polynomial_svm_clf.fit(X, y)

接下来，使用该模型对选定的5个样本点进行分类测试：

# 在测试集上测试模型：
print(polynomial_svm_clf.predict([[0.0, 0.0]]))    # 1
print(polynomial_svm_clf.predict([[0.5, 1.0]]))    # 2
print(polynomial_svm_clf.predict([[1.1, 0.6]]))    # 3
print(polynomial_svm_clf.predict([[2.4, -0.3]]))   # 4
print(polynomial_svm_clf.predict([[-0.7, -0.9]]))  # 5

3、实验全部代码（使用Python）：

# 实验四
# 非线性SVM分类器，在卫星数据集上进行测试

from sklearn.datasets import make_moons
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import PolynomialFeatures, StandardScaler
from sklearn.svm import LinearSVC

X, y = make_moons(n_samples=100, noise=0.15)  # 训练集

polynomial_svm_clf = Pipeline([  # 使用多项式特征的SVM分类器
    ("poly_features", PolynomialFeatures(degree=3)),
    ("scaler", StandardScaler()),
    ("svm_clf", LinearSVC(C=10, loss="hinge", max_iter=5000))
    ])

polynomial_svm_clf.fit(X, y)

# 在测试集上测试模型：
print(polynomial_svm_clf.predict([[0.0, 0.0]]))    # 1
print(polynomial_svm_clf.predict([[0.5, 1.0]]))    # 2
print(polynomial_svm_clf.predict([[1.1, 0.6]]))    # 3
print(polynomial_svm_clf.predict([[2.4, -0.3]]))   # 4
print(polynomial_svm_clf.predict([[-0.7, -0.9]]))  # 5

4、实验结论

（1）、 生成的模型：

图9.使用多项式特征的SVM分类器

（2）、 在卫星数据集上进行测试：

模型对测试数据点的分类结果为：

[1], [0], [0], [1], [0]

对结果的解释：线性SVM分类器将样本特征 (x1,x2)=(0.5,1.0) 的样本点划为正方形类（即图9中深色区域），将样本特征 (x1,x2)=(0.0,0.0) 的样本点划为三角形类（即图9中浅色区域），其余样本点类似。

五、实验五

1、实验描述： 探究多项式内核。

2、实验主要步骤：

（1）、 数据预处理流程：同实验四。

（2）、 算法思想及步骤：

添加多项式特征实现起来非常简单，并且对所有的机器学习算法都非常有效。但问题是，如果多项式的阶数太低，则处理不了非常复杂的数据集。而高阶多项式则会创造出大量的特征，导致模型训练速度变得太慢。
使用SVM时，有一个数学技巧可以应用，这就是核技巧。它产生的结果就和添加了许多多项式特征一样，但实际上并不需要真的添加。这个技巧由SVC类来实现。
实验中，使用一个3阶多项式内核训练SVM分类器。

polynomial_svm_clf = Pipeline([
    ("scaler", StandardScaler()),
    ("svm_clf", SVC(kernel="poly", degree=3, coef0=1, C=5))
    ])
polynomial_svm_clf.fit(X, y)

为了研究多项式内核阶数对模型分类效果的影响，创建一个10阶分类器：

polynomial_svm_clf2 = Pipeline([
    ("scaler", StandardScaler()),
    ("svm_clf", SVC(kernel="poly", degree=10, coef0=100, C=5))
    ])
polynomial_svm_clf2.fit(X, y)

用上述2个分类器对随机样本点进行分类测试：

# 用随机样本点测试模型，并将两个模型进行对比
# 期望输出：0, 1, 1, 0, 1
print(polynomial_svm_clf.predict([[0.5, 1.0]]))   # 1
print(polynomial_svm_clf.predict([[0.0, 0.0]]))   # 2
print(polynomial_svm_clf.predict([[1.9, 1.0]]))   # 3
print(polynomial_svm_clf.predict([[0.5, 0.5]]))   # 4
print(polynomial_svm_clf.predict([[0.69, 0.0]]))  # 5

print()

# 期望输出：0, 1, 0, 1, 0
print(polynomial_svm_clf2.predict([[0.5, 1.0]]))   # 1
print(polynomial_svm_clf2.predict([[0.0, 0.0]]))   # 2
print(polynomial_svm_clf2.predict([[1.9, 1.0]]))   # 3
print(polynomial_svm_clf2.predict([[0.5, 0.5]]))   # 4
print(polynomial_svm_clf.predict([[0.69, 0.0]]))   # 5

3、实验全部代码（使用Python）：

# 实验五
# 非线性SVM分类器，在卫星数据集上进行测试

from sklearn.datasets import make_moons
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.svm import SVC

X, y = make_moons(n_samples=100, noise=0.15)  # 训练集

polynomial_svm_clf = Pipeline([
    ("scaler", StandardScaler()),
    ("svm_clf", SVC(kernel="poly", degree=3, coef0=1, C=5))
    ])
polynomial_svm_clf.fit(X, y)

polynomial_svm_clf2 = Pipeline([
    ("scaler", StandardScaler()),
    ("svm_clf", SVC(kernel="poly", degree=10, coef0=100, C=5))
    ])
polynomial_svm_clf2.fit(X, y)

# 用随机样本点测试模型，并将两个模型进行对比
# 期望输出：0, 1, 1, 0, 1
print(polynomial_svm_clf.predict([[0.5, 1.0]]))   # 1
print(polynomial_svm_clf.predict([[0.0, 0.0]]))   # 2
print(polynomial_svm_clf.predict([[1.9, 1.0]]))   # 3
print(polynomial_svm_clf.predict([[0.5, 0.5]]))   # 4
print(polynomial_svm_clf.predict([[0.69, 0.0]]))  # 5

print()

# 期望输出：0, 1, 0, 1, 0
print(polynomial_svm_clf2.predict([[0.5, 1.0]]))   # 1
print(polynomial_svm_clf2.predict([[0.0, 0.0]]))   # 2
print(polynomial_svm_clf2.predict([[1.9, 1.0]]))   # 3
print(polynomial_svm_clf2.predict([[0.5, 0.5]]))   # 4
print(polynomial_svm_clf.predict([[0.69, 0.0]]))   # 5

4、实验结论

（1）、 生成的模型：

图10.多项式内核的SVM分类器

解释：左图为3阶多项式内核的SVM分类器，而右图为10阶多项式内核的SVM分类器。可以看出，与左图相比，右图明显存在过拟合的现象。得出初步结论：如果模型过拟合，应该降低多项式阶数；如果模型欠拟合，则应该适当提升多项式阶数。

（2）、 对随机样本点进行分类测试：

第1个模型的分类结果：

[0], [1], [1], [0]

第2个模型的分类结果：

[0], [1], [0], [1]

对结果的解释：
对于距离决策边界较远的样本点，即 (x1,x2)=(0.5,1.0) 以及 (x1,x2)=(0.0,0.0) ，两个多项式核的SVM分类器输出类别相同，分别为正方形类和三角形类；然而，对于决策边界附近的样本点，例如 (x1,x2)=(1.99,1.0) ，3阶多项式内核的SVM分类器将其归入三角形类，但10阶多项式内核的SVM分类器将其归入正方形类；对于 (x1,x2)=(0.5,0.5) ，3阶多项式内核的SVM分类器将其归入正方形类，但10阶多项式内核的SVM分类器将其归入三角形类。

六、实验六

1、实验描述： 线性SVM回归。

2、实验主要步骤：

（1）、 数据预处理流程：

线性SVM回归使用随机生成的 线性数据集(X, y) 作为训练集:

# 随机生成线性数据集作为训练集
X = 2 * np.random.rand(100, 1)
y = (4 + 3 * X + np.random.randn(100, 1)).reshape(100, )

（2）、 算法思想及步骤：

SVM算法不仅支持（线性和非线性）分类，而且还支持（线性和非线性）回归。线性SVM回归要做的是让尽可能多的实例位于街道上，同时限制间隔违例（也就是不在街道上的实例）。街道的宽度由超参数ε控制。当ε较大时，线性SVM回归模型的间隔较大；当ε较小时，线性SVM回归模型的间隔较小。
在间隔内添加更多的实例不会影响模型的预测，所以这个模型被称为 “ε-不敏感” 。
本实验中，使用 Scikit-Learn 库中的 LinearSVR 类来执行线性SVM回归，将ε的值分别设定为 1.5 和 0.5 ，观察生成的回归模型的区别：

# SVM回归
svm_reg1 = LinearSVR(epsilon=1.5, max_iter=5000)
svm_reg2 = LinearSVR(epsilon=0.5, max_iter=5000)
svm_reg1.fit(X, y)
svm_reg2.fit(X, y)

在测试集上测试模型，对给定的x, 观察模型对Y的预测值：

# 测试集
X_test = np.array([[0], [0.5], [1], [1.5], [2], [2.5], [3], [3.5], [4], [4.5], [5]])

# 在测试集上测试模型效果
print(svm_reg1.predict(X_test))
print(svm_reg2.predict(X_test))

4、实验结论

（1）、 生成的模型：

图11.SVM回归模型图示

解释：超参数ε代表拟合宽度在垂直方向上投影的长度。可以看到，左图（ε=1.5）的模型间隔更大，泛化效果更好；右图（ε=0.5）的模型间隔更小，间隔违例更少。

（2）、 模型的测试结果：

2个模型分别在测试集上的输出：

（3）、 评估模型：

在数据集

# 评估数据集
X_eval = np.array([[0], [0.2], [0.4], [0.6], [0.8], [1], [1.2], [1.4], [1.6], [1.8], [2]])

上对模型进行评估。为了与之前拟合的直线x坐标范围匹配，故选择 [0,2] 内均匀分布的11个数据点。

拟合结果：

图12. SVM回归模型评估结果

由上图可以看出，2个模型的误差均在允许范围内。

实验部分到此结束。