标签
GrowPage 是一个按需KV预算框架，它动态管理缓存容量以提高LLM推理服务的效率，相比现有方法实现了更优的性能-吞吐量权衡。
ParaTempo 是一个无需训练的异步并行推理框架，它使用时间置信度来动态管理推理分支，在数学和科学推理基准测试中降低延迟和token使用量，同时保持准确性。
介绍了Thoughts-as-Planning框架，该框架使用潜在世界模型和强化学习将思维链优化建模为序列决策过程，在效率和泛化方面优于现有方法。