constrained-decoding

本文介绍了EPIC，一个用于扩散语言模型中上下文无关文法约束解码的高效框架，在保持语法正确性的同时，将推理时间最多减少67.5%。

提出了一种名为 In-Writing 的新型混合解码框架，该框架在触发词之后才施加约束，将自由形式推理与结构化生成相结合，从而在分类和推理任务中提升准确性。