标签
AbridgeKV 训练模型，将已生成完毕的思维链文本块压缩到少量学习得到的暂停 token 的 KV 条目中，在仅使用完整 KV 预算四分之一的情况下，实现缓存缩小至原来的 1/3.5，并在满负载 H100 上将解码速度提升至 3.2 倍，且准确率无损。
Eric Schmidt 认为，长推理——能够在单个问题上持续数小时或数天的 AI 模型——是他唯一愿意投资的 AI 主题，而且市场尚未充分反映这与只会简单作答后即止的模型之间有多大的差异。