标签
介绍了Latent-IM，一个从冻结的语音LLM中恢复交互管理的框架，利用基于激活的选择和引导来进行会话动作。相比未引导的主干模型，它将端到端动作准确率提升了12.5个百分点。
本文探讨了基于文本的优化（TextGrad）为何在语言智能体上失败，表明虽然冻结的智能体能够遵循良好的策略，但它们无法可靠地从自身的轨迹中学习和选择策略。
HALO 提出了一种针对冻结语言模型的混合自适应潜在精炼方法，该方法选择性地对一部分 token 应用第二阶段精炼，在计算量更少的情况下实现了比固定精炼步骤更好的性能。
本研究介绍了一种技术，通过使用阻尼Runge-Kutta子步骤，在推理时循环冻结的、现成的Transformer检查点，将Transformer层视为残差ODE中的欧拉步骤。这无需微调、架构更改或新权重即可增加额外的潜在计算，在MMLU-Pro、GPQA和ARC等知识任务上显示出收益。
提出了Life-Harness，一种通过适配运行时接口而非模型权重来改进冻结的LLM智能体的方法，在126个设置和18个backbones中实现了平均88.5%的相对改进。
残差耦合（RC）使用轻量级学习线性桥接器并行连接冻结的语言模型，实现无需权重修改的水平扩展。与MoE相比，它最多可将困惑度降低80.7%，并在TruthfulQA上提升9.1个百分点的准确率。