logits

标签

Cards List
#logits

llama: 在 MTP 中避免在提示解码期间复制 logits · 由 am17an 提交 · PR #23198 · ggml-org/llama.cpp

Reddit r/LocalLLaMA · 2026-05-17 缓存

此拉取请求通过避免在多令牌预测的提示解码过程中不必要地复制 logits,优化了 llama.cpp,从而提升推理性能。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈