ESN数值预测 esnns

admin2024-06-07  13


文章目录

  • 参考文献地址
  • ESN原理(略)
  • 超参数
  • ==储备池内部连接权谱半径ρ==
  • ==储备池规模N==
  • ==输入单元尺度因子IS。==
  • ==储备池稀疏程度SD。==
  • ==输出正则化因子==
  • 泄露积分型回声状态网络(Leaky ESN)
  • ==泄漏率α==


参考文献地址

ESN原理(略)

论坛里有不少文章,我就不搬了,看一下可以大致搞懂原理。
知网搜回声状态网络也有很多中文文献,不一定要去啃英文论文。
它是一种递归神经网络
输入u(n)
储备池内神经元x(n)
输出神经元y(n)
大概来说:
Win:由输入U(n)接入储备池的连接权值矩阵
W:储备池内部神经元连接权值矩阵
Wback:储备池与输出单元的连接权值矩阵
以上三个矩阵预先生产,并且在训练过程中保持不变。
Wout:是唯一需要训练的权值矩阵

超参数

储备池内部连接权谱半径ρ

其为连接权矩阵W的绝对值最大的特征值,记为λmax,λmax<1是保证网络稳定的必要条件

储备池规模N

其为储备池中神经元的个数,储备池的规模选择与样本个数有关。
储备池规模越大,ESN对给定动态系统的描述越准确,但是会带来过拟合问题。

输入单元尺度因子IS。

其为储备池的输入信号连接到储备池内部神经元之前需要相乘的一个尺度因子,即对输入信号进行一定的缩放。一般需要处理的对象非线性越强,IS越大。

储备池稀疏程度SD。

储备池中相互连接的神经元总数占总的神经元N的百分比,其值越大,非线性逼近能力越强。
W一般保持1-5%的稀疏连接。

输出正则化因子

泄露积分型回声状态网络(Leaky ESN)

是一种常用优化方法
《回声状态网络研究》一文里有解释。

泄漏率α

控制前一时刻内部神经元的保持程度,α越小,则上一时刻内部神经元状态变化越慢,从而网络短期记忆较强。当α=1时,就是ESN。


本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明原文出处。如若内容造成侵权/违法违规/事实不符,请联系SD编程学习网:675289112@qq.com进行投诉反馈,一经查实,立即删除!