mentored-decoding

标签

#mentored-decoding

Mentored Decoding：更快推理遇上Boosting

arXiv cs.LG ↗ · 昨天缓存

本文介绍了mentored decoding，这是一种有损推测解码的正式方法，通过允许与目标模型的受控偏差来提高语言模型的推理速度，将其与提升理论联系起来，并证明了优化的关键性质。

0 人收藏 0 人点赞