频域储层计算

arXiv cs.LG 论文
reservoir-computing echo-state-networks frequency-domain recurrent-models efficient-training o-n-complexity

摘要

本文介绍FRESCO，一种完全在频域运行的回声状态网络架构，将密集递归更新的复杂度降至O(N)，在基准测试上达到最先进性能的同时降低了计算成本。

arXiv:2606.24969v1 公告类型：新 摘要：虽然Transformer的二次序列长度瓶颈促使了循环模型的复兴，但有效捕捉复杂动态需要同时兼顾高效训练和高表达潜状态的架构。回声状态网络（ESN）通过使用固定循环权重来避免随时间反向传播，从而提供了一种引人注目的方法，能够实现闭式训练解。然而，为复杂任务所需的表达力需要大型储层，这暴露了一个$\mathcal{O}(N^2)$的状态更新瓶颈，阻碍了ESN达到当代循环模型的规模。为了解决这一局限，我们引入了频域储层计算（FRESCO），这是一种完全在频域中运行的ESN架构，同时避免了域偏移开销，实现了$\mathcal{O}(N)$复杂度的密集非线性循环更新。通过采用一种新颖的维度零填充输入嵌入、紧凑的\FDh读出以及原生应用的频域非线性，FRESCO大幅降低了训练和推理的计算成本和能耗。此外，FRESCO在记忆基准、序列分类和多变量长时预测上达到了最先进的预测性能，为密集循环架构提供了一条可扩展的前进道路。
查看原文
查看缓存全文

缓存时间: 2026/06/25 05:08 

# 频域储层计算

来源：https://arxiv.org/abs/2606.24969  
查看 PDF (https://arxiv.org/pdf/2606.24969)

> **摘要**: 尽管变换器模型在序列长度上的二次方瓶颈推动了循环模型的复兴，但要有效捕捉复杂动态，仍需在高效训练与高表达力隐状态之间取得平衡的架构。回声状态网络（ESNs）通过利用固定循环权重来规避时间反向传播，从而实现封闭形式的训练方案，是一种引人注目的方法。然而，要为复杂任务获得所需的表达力，需要大规模储层，这暴露了 $\mathcal{O}(N^2)$ 状态更新瓶颈，使 ESNs 难以达到当代循环模型的规模。为了解决这一局限，我们提出频域储层计算（FRESCO），这是一种完全在频域中运行的回声状态网络架构，同时避免了域迁移开销，从而实现 $\mathcal{O}(N)$ 复杂度的密集非线性循环更新。通过采用新颖的维度零填充输入嵌入、紧凑的频域读出层以及原生应用的频域非线性，FRESCO 大幅降低了训练和推理的计算成本与能耗。此外，FRESCO 在记忆基准测试、序列分类和多变量长时预测上达到了最先进的预测性能，为密集循环架构提供了一条可扩展的前进道路。

## 提交历史

来自：Xiomara Runge [查看邮件 (https://arxiv.org/show-email/8300c135/2606.24969)]  
**[v1]** 2026年6月23日 星期二 10:14:46 UTC（615 KB）

相似文章

储层学习与产出的进化算法

arXiv cs.AI

介绍了EARLY，一个用于进化多储层回声状态网络的进化框架，它在时序学习任务上优于随机搜索，并展现出任务依赖的结构差异。