标签
本文介绍了ConceptGuard，这是一个基准测试，用于评估大型语言模型中使用双重用途概念的上下文敏感遗忘能力，揭示了当前遗忘技术在此实际评估框架下表现不佳。
MicroSpec 是一种无需训练的技术，它能即时构建紧凑的上下文感知词汇表，以加速大型语言模型中的推测解码，将平均词汇表大小减少40倍以上，并相比EAGLE-2实现了高达1.32倍的端到端加速。