decoding

本文介绍了ADAS，一种无需训练的重排序规则，用于并行掩码扩散解码。它利用注意力对强烈关注不确定位置的token进行折扣，从而在低NFE设置下提升推理和代码任务的性能，且运行时开销极小。

Ahmad Osman预告了X上即将发布的一篇文章，该文章简化了LLM解码。

本文提出了 AXON，一种无需训练的模块，通过智能选择"锚点"（anchor）token 优先揭示，并利用注意力、不确定性和置信度信号来辅助后续去噪步骤，从而改善离散扩散语言模型解码的质量-延迟权衡。在推理和代码生成基准测试上的实验表明，AXON 在保持或提升准确率的同时减少了函数评估次数。

COFT是一种无需训练的解码方法，通过应用令牌级公平控制和共形校准来减少大型语言模型思维链推理中的偏见，以最小的计算开销实现30-55%的偏见降低。

本文系统性地探究了在LLM解码过程中，何时以及提示KV缓存的哪些部分变得可舍弃，表明冗余主要涉及聊天模板脚手架而非任务内容，并且用中性填充内容进行替换可保持准确性。

本文基于SGLang Omni团队的内部决策文章，从自回归解码、KV缓存、连续批处理等基础概念出发，深入浅出地介绍了LLM推理系统的运作原理。

提出了一种名为 In-Writing 的新型混合解码框架，该框架在触发词之后才施加约束，将自由形式推理与结构化生成相结合，从而在分类和推理任务中提升准确性。

研究人员提出一种名为“后缀锚定置信度调制”的无训练方法，通过解决EOT标记和过早解码的问题，改进扩散语言模型中基于置信度的解码。

NVIDIA 推出了 PiD，一种 Pixel Diffusion Decoder，用其替换潜在扩散模型中的传统 VAE/RAE 解码器，实现快速高分辨率解码，速度提升高达 6 倍，并改进了视觉保真度。

一条推文推荐Nvidia RTX 4090使用--ddtree-budget 36，声称在Qwen3.6_27B解码时实现2.5倍加速。

CoRD是一个协作多教师解码框架，通过预测困惑度评分和束搜索合成推理轨迹，实现了大型推理模型的高效蒸馏，具有高质量输出和泛化性能。

本文提出了一种名为 NWCAD（No-Worse Context-Aware Decoding）的解码阶段适配器。该方法旨在防止“中性退化”问题，即大语言模型（LLM）在处理无信息量上下文时，错误覆盖原有正确答案。NWCAD 采用双流架构设计，并通过门控机制实现对无上下文解码的安全回退。