标签
本文提出FADE，一种无需训练的方法，通过削弱关键层的FFN输出来减少语言先验主导性，从而缓解大型视觉语言模型中的幻觉，并在多个基准测试中证明了有效性。
本文重新将掩码扩散语言模型解码解释为连续干净状态预测，引入了一个基于流的框架，其中令牌根据置信度连续异步更新，在仅使用25%的解码预算下，达到了LLaDA性能的97%。
本文提出多块扩散语言模型（MBD-LMs），将单块扩散扩展为并发多块解码，并采用优化训练策略如多块教师强制（Multi-block Teacher Forcing）和优化的块缓冲区解码算法。实验表明，每次前向传递的令牌数增加，基准测试准确率提升。
一条推文列出了16种推理优化技术，用于实现低于一秒的LLM响应，包括KV缓存、推测解码、FlashAttention和各种并行化方法。
介绍了 Speculative Refinement (SpecRef)，一种无需训练的混合解码策略，它通过熵引导的选择性掩码，从自回归草稿中热启动掩码扩散语言模型。在六个基准测试上的评估表明，代码基准测试混淆了结构发现与逻辑正确性，识别出了一种精炼张力现象，并显示评估协议可能产生不同的模型排名。
huff12是一个针对Apple Silicon处理器优化的12流Huffman解码器，旨在通过并行流处理来提高解码性能。
本文提出 TIE，一种面向 Masked Diffusion Language Models 的知识融合框架，通过追踪置信度动态来识别可靠解码轨迹，并在模型间迭代传输部分去噪序列，从而提升推理任务的生成质量。
宣布发布 Luce KVFlash，这是一个在 Lucebox 中以 256k 上下文运行模型的工具，无需担心 KVCache 和 OOM，通过推测预填充和动态卸载，在长上下文场景下解码速度提升高达 2.9 倍。
LatticeBridge 提出了一种扭曲序贯蒙特卡洛解码器用于结构化序列生成，通过将问题视为稀有事件推断来提升约束满足，在CommonGen、E2E NLG和WikiBio上优于贪心搜索和束搜索基线。
本文介绍了ADAS，一种无需训练的重排序规则，用于并行掩码扩散解码。它利用注意力对强烈关注不确定位置的token进行折扣，从而在低NFE设置下提升推理和代码任务的性能，且运行时开销极小。
本文提出了 AXON，一种无需训练的模块，通过智能选择"锚点"（anchor）token 优先揭示，并利用注意力、不确定性和置信度信号来辅助后续去噪步骤，从而改善离散扩散语言模型解码的质量-延迟权衡。在推理和代码生成基准测试上的实验表明，AXON 在保持或提升准确率的同时减少了函数评估次数。
COFT是一种无需训练的解码方法，通过应用令牌级公平控制和共形校准来减少大型语言模型思维链推理中的偏见，以最小的计算开销实现30-55%的偏见降低。
本文系统性地探究了在LLM解码过程中，何时以及提示KV缓存的哪些部分变得可舍弃，表明冗余主要涉及聊天模板脚手架而非任务内容，并且用中性填充内容进行替换可保持准确性。
本文基于SGLang Omni团队的内部决策文章，从自回归解码、KV缓存、连续批处理等基础概念出发，深入浅出地介绍了LLM推理系统的运作原理。
提出了一种名为 In-Writing 的新型混合解码框架，该框架在触发词之后才施加约束，将自由形式推理与结构化生成相结合，从而在分类和推理任务中提升准确性。
研究人员提出一种名为“后缀锚定置信度调制”的无训练方法，通过解决EOT标记和过早解码的问题，改进扩散语言模型中基于置信度的解码。
NVIDIA 推出了 PiD，一种 Pixel Diffusion Decoder，用其替换潜在扩散模型中的传统 VAE/RAE 解码器，实现快速高分辨率解码，速度提升高达 6 倍，并改进了视觉保真度。
一条推文推荐Nvidia RTX 4090使用--ddtree-budget 36，声称在Qwen3.6_27B解码时实现2.5倍加速。