【博士每天一篇论文-综述】Echo State Network Optimization： A Systematic Literature Review

阅读时间：2023-11-19

1 介绍

年份：2023
作者：Soltani, Rebh, Emna Benmohamed, and Hela Ltifi. 智能机器研究小组，国家工程学院 (ENIS)，斯法克斯大学
期刊： Neural Processing Letters
引用量：0

本文收集了74篇研究文章，总结了近年来关于优化Echo State Network（ESN）的相关工作，结果表明生物启发方法是最常用的参数优化技术，并指出了粒子群优化（PSO）的潜在应用。此外，研究也发现了ESN在不同参数、拓扑结构和训练技术下的行为特性，并对ESN的超参数优化、评估指标、数据集等方面存在的研究空白进行了探讨。

2 创新点

1. 对Echo State Network（ESN）参数优化技术的研究进行了综述。
2. 引入了生物启发式方法来调整ESN参数，如尺寸、连接率和谱半径等。
3. 提出了应该如何选择ESN的尺寸和连接率以实现更好的性能，并说明了弱连接的优势。
4. 谱半径作为决定ESN性能的重要参数，对其进行了优化研究，并指出了计算成本较高的问题。
5. 粒子群优化（PSO）是一种常用的ESN优化技术，具有参数少、实现简单等优点。
6. 文献综述发现，大多数研究都使用了四个基准问题（NARMA、Mackey Glass、Lorenz时间序列预测和短期风速）来测试ESN的学习能力。
7. 提出了ESN优化算法的一些不足之处，包括参数过多或只针对少数有效特征进行优化的问题。
8. 提到了内在可塑性对于改善ESN性能的潜在作用，并介绍了几种可塑性类型。
9. 讨论了通过剪枝操作和正则化方法来优化ESN结构的策略，并指出了相关挑战。
10. 研究指出进化计算算法在优化ESN结构方面的应用，并提出了如何进一步提高其效率的问题。
11. 提出未来可以探索更适用于优化ESN输出权重的智能算法，以解决传统线性回归方法可能导致过拟合的问题。

3 相关研究

3.1 ESN介绍

ESN是一种强大的RNN变体，其结构包括输入层、隐藏层和输出层。ESN的学习速度快，只需训练隐藏层和输出层之间的连接权重、ESN的结构简单且具有高预测精度。ESN的隐藏层是一个大型储备层，它使用非线性函数对输入信号进行处理。通过更新储备状态和应用线性函数，ESN可以进行预测。但是由于随机生成的池依赖于定义的全局参数，ESN进行训练需要经验，这些参数必须正确定义以获得高效的结果。
ESN有三个重要参数：储层大小(reservoir size)、谱半径(spectrum Radius ,SR)、输入比例因子(Input Scaling ,IS)和稀疏度(Sparsity Degree ,SD)。储层尺寸、谱半径、输入尺度和稀疏矩阵都会显著影响回声状态网络的性能。

• 谱半径决定了ESN的短期记忆性能，为了保持回声状态属性，谱半径应在0<SR<1的范围内。谱半径大意味着脉冲响应下降慢，相互作用扩展。
• 输入比例因子IS决定了ESN的非线性程度。
• 稀疏度表示存储层中神经元之间连接的比例。更高的稀疏度降低了更新库神经元状态的成本，通常的值在2%到10%之间。

3.2 ESN的研究进展

ESN的研究论文大部分研究是发表在期刊上的。其中Scicence direct的期刊检索最多，其次是IEEE的会议。

在2011年后，ESN优化算法的研究逐渐兴起，从2017年开始有了突增。

优化算法在ESN网络的应多非常多。其中的粒子群优化（PSO）方法的研究论文最多。是因为PSO计算时间短且易于编程，在ESN参数优化中表现出良好的效果。此外，还有遗传算法和进化策略等，也可以用于优化ESN参数。未来，贝叶斯优化（BO）和梯度下降算法可以作为非生物启发式技术的潜在应用。

3.3 优化ESN的方法

（1）第一种研究方向
优化了储备池大小、光谱半径、输入/输出缩放、输入/输出偏移、读出函数类型、岭回归的正则化参数、储备池激活函数、渗露率和噪声缩放。在这种情况下，参数表示可以是一个足够长的一维向量，以适应需要优化的超参数。例如[P1，P2，…，Pn]，其中P为要优化的参数，n表示要优化的参数数量。

（2）第二种研究方向
集中于改进网络的拓扑结构，例如权重连接和储备池连接。在这种情况下，权重可以是一个二维二进制矩阵，其中矩阵的行和列表示神经元。例如，对于一个矩阵C，Cij表示神经元i和神经元j之间的连接。如果Cij的值为1，则表示神经元i和神经元j之间存在连接；如果Cij的值为0，则表示两者之间不存在连接。

（3）评价指标
ESN相较于其他形式的循环神经网络在单步学习方面具有显著优势。训练时仅使用Wout权重，因此ESN的训练速度通常较快。常用的目标函数包括表示ESN预测准确度：

• Mean Absolute Error (MAE)
• Mean Absolute Percentage Error (MAPE)
• Mean Squared Error (MSE)
• Root Mean Squared Error (RMSE)
• Normalized RMSE (NRMSE)

3.3 ESN的常用数据集

(1) NARMA
是一个非线性自回归滑动平均（nonlinear autoregressive moving average）数据集，它有非常复杂的序列特性和高度的非相关性。特点是序列的复杂性不可预测，输入的误解和非相关性较高。
(2) Mackey Glass
是实际数据基准序列，它也具有非线性自回归滑动平均特性，但相比NARMA数据集更为复杂。
(3) Lorenz时间序列预测
这是一种用于ESN的基准数据集，Lorenz系统是一个非线性的方程系统，由于xy和xz项，无法通过一般的数值方法进行精确求解，只能使用近似方法进行确定。

4 思考

这篇论文对于ESN的热度、热点研究内容、常用的数据集都做了全面的调研，非常有启发性，说明ESN的研究目前还处于研究热门中。有可能是没有分析完，通过我使用VOSviewer的数据分析，目前的研究主要分为四个热门方向。可以参考我的文章http://t.csdnimg.cn/nwt8f。其中一个ESN的研究方向是研究大脑功能连接和网络，涉及脑皮层、认知、注意力、决策制定等方面，并在神经影像学、精神疾病如精神分裂症以及工作记忆等领域有所深入探讨。