标签
FLEET 在大型语言模型的文本生成中引入了一种记忆机制，使用逻辑值熵来增强轨迹，从而提高准确性并实现3倍加速，特别是在编程任务上。
此拉取请求通过避免在多令牌预测的提示解码过程中不必要地复制 logits，优化了 llama.cpp，从而提升推理性能。