读论文《基于强化学习和组合式深度学习模型的超短期光伏功率预测》

基于强化学习和组合式深度学习模型的超短期光伏功率预测

摘要
实验都表明了组合预测模型的有效性，但是只是通过数值方法对模型进行简单组合，并没有采用优化算法对组合模型的组合权重进行寻优进而找到组合模型的最优预测性能。

针对以上存在的问题，本文利用了可以实现自我学习并找到回报最大化策略的强化学习，提出了一种基于强化学习(reinforcement learning，RL)的Q学习算法(Q_Learning，Q_L)、小波包分解、长短时记忆神经网络、门控循环单元和循环神经网络的组合式超短期光伏功率预测模型(Q_L-WPD-L-G-R)。为了消除光伏功率的波动性，首先使用了WPD分解算法将原始光伏功率进行粗分解变为子序列，然后分别使用LSTM、GRU与RNN对子序列进行预测后叠加得到3个模型各自的光伏功率预测结果。为了最大程度地发挥3个模型的预测性能，最后采用Q_L算法对3个预测结果进行最优权重组合，得到最终的光伏功率预测结果。实验结果表明，本文提出的强化学习和组合式深度学习模型的预测精度高于其他预测模型。
本文所提出的基于Q_L算法优化WPD-LSTM、WPD-GRU和WPD-RNN的组合式超短期光伏功率预测模型(Q_L-WPD-L-G-R)基本框架如图 1所示。

强化学习是一种在线学习技术，不同于监督学习和无监督学习，其强调在与环境相互作用的过程中通过不断试验犯错纠正来得到最优决策，进而得到最优结果。Q学习算法是强化学习中较为经典的算法，其已经在许多领域得到了应用。该算法通过建立目标状态与动作状态关系的Q表，采用奖惩机制在智能体与环境之间进行交互时更新Q表，直至满足条件找到最优马尔科夫链。