标签
本文展示了在宽度远大于深度的极限情况下,预测编码网络计算出与反向传播相同的梯度,从而在生物学习与标准神经网络训练之间架起桥梁。
本文研究了最小预测性神经系统(一个192维GRU)能够区分自我引起的变化与世界引起的变化的发展条件,识别了能动性的四个必要条件,并引入了一个称为能动性增益的度量。
本文追踪了不同学习规则(反向传播、反馈对齐、预测编码、STDP)在训练过程中如何影响CNN表征与人类fMRI的对齐。研究发现反向传播在一个epoch内摧毁V1对齐,而局部规则则保持该对齐,这表明构建高级表征与保留早期视觉特征之间存在权衡。
本文追踪了使用不同学习规则(反向传播、反馈对齐、预测编码、STDP)的监督训练如何降低神经网络表征与早期视觉皮层fMRI数据之间的对齐度,发现未训练的网络在V1对齐度上通常达到或超过训练后的网络。
AdaCodec 通过仅在场景预测失败时传输完整视觉标记,否则使用紧凑的帧间变化描述,从而减少多模态大模型中的视频编码冗余。在匹配的标记预算下,它优于逐帧 RGB 基线,并且在使用显著更少标记的情况下取得更好或相当的结果,将首令牌延迟从 9.26 秒降至 1.62 秒。
本文介绍了通过分层高斯滤波器实现的闭式预测编码,该编码恢复了精度加权的预测误差,从而在没有全局误差信号的情况下实现更快、更高效的训练,并在某些任务上优于反向传播。
Swift Sampling 是一种无需训练的视频帧选择算法,利用泰勒展开检测长视频中的高信息量时刻。通过识别实际视觉特征与预测特征轨迹的偏差,该算法在视频问答任务中能以极低计算开销提升准确率。
探索一个生物合理的赫布智能体在Pong游戏中能多接近PPO,发现仅有2%的差距,但指出自对弈下的灾难性遗忘是关键瓶颈。
RoboMemArena 推出了一项大规模基准测试,旨在通过现实世界验证评估涵盖 26 个复杂任务的机器人记忆能力,并提出了 PrediMem,这是一种利用预测编码优化记忆管理的双系统视觉 - 语言 - 动作模型。