标签
本文介绍了 Coupled Scaling,一个任务条件框架,用于解释神经缩放定律如何根据任务结构与架构优化系统可访问的几何表示之间的关系而变化。
MemPrism proposes a task-conditioned relational memory framework that separates persistent experience storage from decision-time working memory, enabling long-horizon agents to dynamically construct relational views for improved performance and reduced token usage.
本文研究了长上下文检索中FFN残差写入的符号性质,发现FFN写入根据层和任务的不同起到抑制或放大作用,并提出了一种基于梯度的诊断方法来区分这两种角色。