标签
本文探讨了RAT+中的指数衰减记忆模块如何提升长上下文语言模型的查询感知稀疏推理方法，在针尖干草垛任务中，跨多种稀疏预算展示了一致的准确率提升。
本文介绍了一种名为Exact Linear Attention (ELA) 的机制，该机制通过利用核函数分解，在不引入近似误差的情况下实现了Transformer注意力的线性计算复杂度，并通过约束核函数解决了梯度爆炸和词元稀释问题。文中还提出了包括超链接（Hyper Link）、记忆叶（Memory Lobe）以及面向混合专家模型的路由偏置在内的工程创新。
本文提出NGM，一种即插即用、无需训练的大语言模型记忆模块，采用因果N元编码器和余弦门控记忆注入器，无需额外训练即可提升代码生成和知识密集型任务的性能。
NGM是一种无需训练、即插即用的大型语言模型记忆模块，通过利用预训练的词元嵌入进行N-gram知识检索，无需额外训练或检索管道即可提升性能，在代码生成和知识任务上最高可获得3个百分点的提升。
NanoResearch 是一个多智能体框架，旨在通过协同进化技能、记忆和策略，适应个人用户的偏好和研究风格，从而实现个性化研究自动化。