标签
DSTFView是一种用于云边工作负载预测的双输入时空频多视角框架,联合建模邻近性和周期依赖关系,并采用自适应融合机制捕获突变。
本文介绍FourierQK,一种对Transformer注意力中的学习查询和键投影应用基于FFT的频域预处理的方法,在字符级语言建模上实现了显著的验证损失降低。该方法保留了完整的注意力分数结构,并展示了相对于标准点积注意力的可复现收益。
本文介绍FRESCO,一种完全在频域运行的回声状态网络架构,将密集递归更新的复杂度降至O(N),在基准测试上达到最先进性能的同时降低了计算成本。