论文解读:Informer-AAAI2021年最佳论文

发布时间:2023年12月22日

论文背景

应用背景

训练的是历史数据,但预测的是未来的数据,但是历史数据和未来数据的分布不一定是一样的,所以时间序列应用于股票预测往往不太稳定

动作预测:

基于之前的视频中每一帧动作,预测下一帧这个人要做什么动作;

流量预测:

网上购物:基于之前的流量预测出之后购买的流量应该有多少,好进行适当的补货

论文背景研究问题

拿过去20天的数据训练

1.短序列预测,则为预测未来2-3天的天气,这个比较好做;

3.精准长序列预测,则为预测10多天的天气,这个比较难做;甚至有可能拿过去半年的数据来预测未来半年的数据

解释为什么长序列预测难

传统时间序列经典算法

Prophet:非常实用的工具包,适合预测趋势,但不算精准

Arima:老牌算法了,短序列预测还算精准,但是趋势预测不准

但是一旦涉及到长序列,他俩可能就都不行了

Informer中将主要致力于长序列问题的解决,而且还可以多标签输出(即天气预测,不仅预测天气,还可以预测湿度,降雨量等)

传统办法LSTM的问题

预测是串行的,必须x_{1}预测完才到x_{2}

而且反向传播也得逐个逐个传,对模型训练更难了

在长序列预测中,如果序列越长,那速度肯定越慢,效果也越差(现存问题,即要解决的问题)

informer算法的核心思想

Transformer架构的优势与问题

1.万能模型,直接套用,代码实现简单,现成例子一大片

2.并行的,比LSTM快,全局信息丰富,注意力机制效果好

3.长序列中attention需要每一个点跟其他点计算(如果序列太长,效率很低),计算效率跟序列长度呈n^{2}的关系

4.Decoder输出挺墨迹的,要基于上一个预测结果来推断当前的预测结果;所以informer对encoder也进行了一些调整,对48天的数据同时输出(而不是预测了第一天之后,再根据预测第一天的结果推测第二天)。

要解决的三大问题,即论文的三大核心模块

Attention计算

左下角的图的值是Q与K内积的值,越往0代表关系越不大(Q与K接近垂直),越往1代表关系越大(Q与K将近同一条线上)

在长序列中,每一个位置的attention都很重要吗

对于每一个Q来说,只有一小部分的K是其它有较强关系

长序列中要不要进行采样呢?

群众里有坏人(有偷懒不干活的Q)

出于计算效率的考虑,那我们只需要关心有得分值大的那一小部分那些。

如何定义每一个Q是不是偷懒的

偷懒的Q感觉就像是均匀分布,没啥特点,你有我有全都有

Active的Q明显在某些位置比较活跃,权重差异较大

对于每一个Q,计算其与均匀分布的差异,差异越大则表示其越活越

论文给出的公式,没看懂┭┮﹏┭┮:

ProbAttention计算方法

挑出重要的Q

输入序列长度为96,现在要选出来的是一些重要的Q,正常情况需每一个Q跟全部(96)个K计算

这里为了节省计算量,重要的Q不用非得计算那么多,跟部分K计算的结果也可以当作其分布;即重要的Q跟一部分K做计算后应该也要能看出来它是重要的,而不需要跟全部的K去做计算

所以在K中进行采样,随机选25个K,于是让Q跟25个K作计算。

例如源码输出结果:32, 8, 96, 25表示:32个batch,8头,96个Q分别跟25个K计算的内积。

现在每一个Q有25个得分(分别跟25个K计算后得到的),该例中L_{k}=25

论文中做法比较绝,为了进一步加速,直接选最大值与均匀分布算差异

之后按差异进行排序,在96个Q中,选出来差异前(即差异最大)的25个Q(根据序列长度来定的一个参数值)

如何更新不重要的Q

在算内积时,Q*K内积为:32, 8, 25, 96,就是只选了25个Q,但K还是96个(并不是只用随机选择的25个)

那么其它位置的Q该咋办呢?它没有参与计算其attention目前

出于节省计算量,直接用V(96个,表示每一个位置的特征)的均值来替代

也就是选出来的25个Q会更新,其他剩余的都是均值向量

Self-attention Distilling计算方法

传统transformer就是多次重复的self-attention堆叠。

这里与传统transformer不同,做完一次attention之后还要继续堆叠,只不过会96的输入序列(指96个Q、K、V)先通过1D的maxpool操作来进行下采样,下次attention的输入序列就为48了。此时Q和K的采样由于序列长度变小,也会随之变小,例如由25->20,为了去掉比较"懒"的Q。

重复堆叠多次就是Informer的Encoder架构了。

做完maxpool操作又会把比较懒、不去起作用的Q过滤掉。

Encoder改进后的效果

一方面就是速度快效率高了,论文中计算复杂度由L^{2}->L*log_{2}^{L}

下采样之后,特征更明显,且跟之前的特征的分布基本一致

关于Decoder的设计

传统Decoder输出

先输出第一个,在基于第一个输出第二个,以此类推

Start标志位

要让Decoder输出预测结果,你得先告诉它从哪开始输出。

先给一个引导,比如要输出20-30号的预测结果,Decoder中需先给出前面一个已知的序列结果,例如10-20号的标签值(下图X_{0}是待预测结果,X_{token}是已知结果)。

从源码角度来看

源码中decoder输入长度为72,其中前48是真实值,后24是预测值

第一步还是做自身的ProbAttention

注意这回需要加上mask,mask的意思就是前面的不能看到后面的(不能透题)

自身计算完self-attention,再算与encoder的cross-attention即可

mask值举例

这里mask=1是我要的,mask=0是我要剔除的。

预测天气5应该只能用到1-4天的信息,而不能利用后面6-7天的信息

预测天气6应该只能用到1-5天的信息,而不能利用后面7-8天的信息

预测天气7应该可以用到前面1-6天的信息

位置编码信息

位置信息变得更加丰富了

不仅有绝对位置编码Local Time Stamp

还包括了跟时间相关的各种编码Global Time Stamp

Encoder与Decoder都加入了这些位置编码

节假日有可能对一些时间序列预测有关,比如说车流量,某旅游地的流量,明显会在节假日有所提高,当然,节假日对天气的预测似乎没什么关系,这里的位置编码更多的知识一种思路,希望我们读者在自己的任务中引入一些跟时间密切相关的编码。

整体网络架构

主要改进就是编码和解码器的优化,速度更快,解决长序列问题

需要注意的是:最终通过Outputs来同时预测几天的结果,而不是像传统算法那样预测一天后再预测下一天。

参考资料

论文下载

https://arxiv.org/abs/2012.07436

📎Informer Beyond Efficient Transformer for Long Sequence.pdf

代码地址

GitHub - zhouhaoyi/Informer2020: The GitHub repository for the paper "Informer" accepted by AAAI 2021.

文章来源:https://blog.csdn.net/weixin_50917576/article/details/135161369
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。