这里做的是 查看飞机发动机 异常检测:
这里只拿出来两个特征值(X1 , X2)来举例,为了可视化让我们了解的更加方便,实际应用中 特征的数量可能达到上百 / 上千
最外层蓝色圈内的:说明的大概率的,是正常的
最外层蓝色圈外的:是小概率发生的事件,要进行进一步的检查
**P(X):**这里通过训练集建立完成 模型 P(X)后,用训练集数据 X-test 来判断结果 P(X-test):是否是状态异常的发动机
**ε的值:**即最外圈蓝色框的概率的值
Step1:
**特征的提取,**找出能够判断是否异常状态的特征——这里用的特征是:飞机发动机的热度X1,发动机震动频率X2
Step2:
? 通过训练集的数据拟合出一个 模型——P(X)。
Step3:
? 通过输入的数据 X (X可能是一组向量),得出概率值 y = P (X)。
? 如果:P(X) < ε (设定好的门槛值,这个值通常很小),就说明发生异常
※※ 【核心】:高斯正态分布——很好的解释了:
3个蓝圈: 在 异常举例中,我们给出了3个蓝圈,其实每一个圈分别代表下面的三个分布的范围**(u± δ、u± 2δ、u± 3δ)**
**P(x):**也就是对应的高斯正态分布函数
**ε的值的也由来:**为什么在 P(X)超过了 u - 3δ < P(X) < u + 3δ 的范围就认为他是异常值,因为在 u - 3δ < P(X) < u + 3δ 的范围(达到了99.7%)之外 的概率确实太小了。 ε =u± 3δ
? u - δ < P(X) < u + δ
? u - 2δ < P(X) < u + 2δ
? u - 3δ < P(X) < u + 3δ
均值u 的算法:
方差δ的算法:
这个 “钟形”的概率分布的面积是 1。也就是说:
?
※P(X)是连乘得出的结果,是不同特征的特征值X 对应的P(X-i) 连乘 的结果,是每个特征对结果——异常检测的共同的影响
※P(X-i)中一旦有一个结果是不正常的——导致P(X-i)是特别小的数值——导致最终结果P(X)是特别小的数值——导致P(X)< u± 3δ ——得出结果是 异常点
ra%5Ctypora-user-images%5Cimage-20231101205906650.png&pos_id=img-QDV3Mm35-1704850973901)
【补充】:
【本节核心句子】: it’s turns out to be **very userful for turning(调整) the algorithm if you have a small number of anomalous examples so that you can create a cross validation set and a test set **,which i’m going to denote (x-cv(1),y-cv(1)) 、(x-cv(2),y-cv(2)),and have a test set of some number example where both the cross validation and test sets hopefully includes a few anomalous examples
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传
给出了 10000个正常的数据 和 20个异常 / 瑕疵数据
给出两种方法去进行模型的训练
方法一:
方法二(当数据及其不平衡的时候使用最好)(这时是有10000个好的,2个坏的):
缺点:不能测试模型的泛化能力,无法评估
【注释】:
? 这不是监督学习,因为没有进行数据的标记,这里的 好数据6000 和瑕疵数据 20 都是我们假设(原文是 Assume labeled)的
—— 引出了下文,那你都是认为是假设标记了,那为什么直接标记,所以为什么不使用监督学习呢????
异常值检测:
监督学习:
异常值检测的例子:
? 比如说电信诈骗:诈骗手法层出不穷,我们模型学习完以前的诈骗方法,但是他三天 / 几个月之后 又出现了新的咋骗手法,总是和出新的,和以前不同——这个时候就要使用**“异常值检测”**
监督学习的例子:
? 比如说 垃圾邮件检测,经历了30多年,垃圾邮件无非是那几类:钓鱼网站,推销产品,诱导消费…
我们可以学习以前的一些例子,然后通过检测测试集的例子,总会发现有一些相似之处——这是就要使用**“监督学习”**法
【※※※核心】:
选择的特征 或多或少 符合 高斯分布/正态分布
如果要不符合高斯分布,就把他改成高斯分布
一些异常的数据可能也会有较高的𝑝(𝑥)值,因而被算法认为是正常的——需要进一步分析并找出特征
以特征X举例,在画布上画出X特征的分布,这里的X特征就 比较符合 “高斯分布”——这就是一个很好的候选特征
不符合高斯分布的特征的情况——变成符合:
首先是判断,我们是否真的需要这个特征变量
如果真的需要,那我们进行进一步的转变,变成符合高斯分布的特征
通过 log(x)函数 ,变成了符合正态分布的情况。
其实还有许多变化的方法:
? 常用的将数据转换成符合高斯分布的方法包括对数变换(log transformation)、平方根变换(square root transformation)、Box-Cox变换等。这些变换可以使数据更加接近正态分布的形态。
? 如果数据中存在明显的异常值,那么将其转换成符合高斯分布的形式可能会使得异常值更加明显,从而更容易被检测到。
[^]: (注:在python 中,通常用np.log1p()函数,𝑙𝑜𝑔1𝑝就是 𝑙𝑜𝑔(𝑥 + 1),可以避免 出现负数结果,反向函数就是np.expm1())
实例实施过程:
【核心】:
一个常见的问题是一些异常的数据可能也会有较高的𝑝(𝑥)值,因而被算法认为是正常的。这种情况下误差分析能够帮助我们 ——我们可以分析那些被算法错误预测为正常的数据,观察能否找出一些问题。
? 这也是交叉验集微调的过程