decoding

CoRD是一个协作多教师解码框架，通过预测困惑度评分和束搜索合成推理轨迹，实现了大型推理模型的高效蒸馏，具有高质量输出和泛化性能。

本文提出了一种名为 NWCAD（No-Worse Context-Aware Decoding）的解码阶段适配器。该方法旨在防止“中性退化”问题，即大语言模型（LLM）在处理无信息量上下文时，错误覆盖原有正确答案。NWCAD 采用双流架构设计，并通过门控机制实现对无上下文解码的安全回退。