快速了解—机器学习、K-近邻算法及其API

一、ML机器学习（Machine Learning）

1、应用领域：数据挖掘、自然语言处理 NLP、计算机视觉 CV等。

2、发展的三要素：数据、算法、算力

3、相关术语

机器学习模型 = 数据 + 算法

数据：用于训练模型

????????样本（sample）：一行数据

????????特征（feature）：一列数据（必须和目标相关）

????????标签（label）/目标（target）：要预测的值，即答案列

数据集：训练集、测试集

????????x_train：训练集的特征值

????????y_train：训练集的目标值

????????x_test：测试集的特征值

????????y_test：测试集的目标值

二、算法分类（根据数据是否有标签）

1、有监督：监督学习的算法，要求数据一定要有目标值

????????????????回归问题：目标值是连续取值（房价、薪水）

????????????????分类问题：目标值是类别型（二分类、三分类、多分类）

2、无监督：没有目标值，无反馈

????????????????典型场景聚类，获得标签的成本太高，可以采用无监督的方式（反欺诈）

3、半监督：一部分数据有标签、一部分数据没有标签

三、建模流程

1、获取数据

2、数据基本处理：空值、异常、重复

3、特征工程

????特征提取：原始数据中提取与任务相关的特征，构成特征向量

????预处理、降维、选择、组合

4、模型训练（调参）：线性回归、逻辑回归、决策树、GBDT

5、模型评估：回归评测指标、分类评测指标、聚类评测指标

四、模型拟合

1、分类

????????欠拟合：模型在 训练集和测试集 表现都很差

????????????????产生原因：模型过于简单，特征过少

????????????????解决办法：添加其他特征；添加多项式特征项

????????过拟合：训练集表现很好，测试集表现很差

????????????????产生原因：模型过于复杂、数据不纯、训练数据太少

????????????????解决方法：重新清洗数据，增大训练数据的样本量，正则化，减少特征维度

Early stopping：当模型训练到某个固定的验证错误率阈值时，及时停止模型训练

2、正则化

????????异常点数据造成权重系数过大、过小，尽量减少这个特征的影响（甚至删除某个特征的影响），这就是正则化。

????????为了减少 过拟合的影响，控制模型的参数。尤其是高次项的权重参数

L1正则化：使得权重趋向于 0，甚至等于 0，使得某些特征失效，达到特征筛选的目的

导包：from sklearn.linear_model import Lasso

正则化：estimator = Lasso ( alpha = 0.005，normalize = True )

????????a：惩罚系数，该值越大则权重调整的幅度就越大

L2正则化：使得权重趋向于 0，一般不等于 0，对高次方项系数影响较大

tips：工程开发常用，产生一些平滑的权重系数

岭回归导包：from sklearn.linear_model import Ridge

正则化：estimator = Ridge( alpha = 0.005，normalize = True )

五、KNN（K-近邻算法）

1、概述

????????通过计算距离来判断样本之间的相似程度，距离越近两个样本就越相似, 就可以划归到一个类别中

2、算法思想

????????如果一个样本在特征空间中的 k 个最相似的样本中的大多数属于某一个类别，则该样本也属于这个类别

3、样本相似性

????????样本都属于一个任务数据集，样本距离越近越相似

4、基本流程

? ? ? ? 1. 使用KNN算法对一个样本进行分类

? ? ? ? 2. 计算当前样本和其它样本, 特征取值之间的距离，按距离 从小到大 进行排序

? ? ? ? 3. 确定K值 : ?离该样本最近的K个样本

? ? ? ? 4. 通过这K个样本的类别 确定当前样本的类别

5、K（超参数）可调

????????K越小 模型越复杂 ?容易受到 异常点 的影响，过拟合

????????K越大 模型越简单 ?受到数据分布的影响，欠拟合

????????当K = 样本数量的时候, 模型结果是确定的结果

6、API

? ? ? ? 1. K-近邻导包

from sklearn.neighbors import KNeighborsClassifier,KNeighborsRegressor

????????KNeighborsClassifier k-近邻（分类）

????????KNeighborsRegressor k-近邻（回归）

????????2. 创建 K近邻的分类器 / 回归器

????????knn = KNeighborsClassifier(n_neighbors = 1)

????????n_neighbors：即K值，样本个数

????????3.?调用fit 模型训练

????????knn.fit(x, y)????????????????x?训练集特征值

??????????????????????????????????????????y 训练集目标值

????????4.?使用训练好的模型进行预测

????????knn.predict ( [[4,4,5]] )

????????tips：训练时的维度 与 预测时传入的维度 要相同

7、距离 的度量方式

欧氏距离：两点之间的直线距离

曼哈顿距离：

切比雪夫距离：

闵可夫斯基距离：多种距离的总的表示公式

p = 1 曼哈顿，p = 2 欧氏距离，p = ∞ 切比雪夫距离

六、特征工程

1、归一化 / 标准化：可以把量纲不统一的特征，缩放到同一取值范围内

2、归一化（受异常值影响）

1. 归一化导包：from sklearn.preprocessing import MinMaxScaler

2. 创建一个 Scaler 对象：scaler = MinMaxScaler ( )

3. 调用fit 模型训练：scaler.fit(x)

????????fit 就是在计算每一列 特征 的最大值和最小值, 并保存到 scaler 对象中

4. Transform 得到缩放之后的结果：scaler.transform(x)

????????Transform 变化，利用上一步计算出来的 最大最小值, 作用到原始数据上，得到缩放之后的结果

3、标准化

1. 标准化导包：from sklearn.preprocessing import StandardScaler

2. 创建一个 Scaler 对象：scaler = StandardScaler ( )

3. 调用fit 模型训练：scaler.fit(x)

????????fit 就是在计算每一列 特征 的均值和方差, 并保存到 scaler 对象中

4. Transform 得到缩放之后的结果：scaler.transform(x)

????????Transform 变化，利用上一步计算出来的 均值和方差, 作用到原始数据上，得到缩放之后的结果