标签
LOWN 为扩散视觉语言模型引入了证书引导的视觉路由机制:当仅基于文本的预测与基于图像条件的预测一致时,跳过图像处理,在十个基准上以 35.3% 的解码 FLOPs 保留了 LLaDA-V 99.6% 的性能分数。
提出 CADENCE(Context-Adaptive Decoding,上下文自适应解码)方法,通过高斯预测头与学习式路由自适应选择每次解码的跨度长度,在 Llama-3.1-8B-Instruct 上实现最高 1.3× 的生成吞吐提升。
提出无需训练的解码算法“领先一块”(One Block Ahead,OBA),在块扩散语言模型中并发对当前块与下一块去噪,并传递采样器状态,在 DiffusionGemma 上将每次前向传递处理的词元数提升 42.3%、单请求吞吐量提升 16.3%。
该论文提出了预测状态流(Predictive-State Flows,PSF),这是一种连续扩散语言模型设计,其中整流流先验生成块级预测状态,块因果解码器并行生成词元,从而显著减少扩散状态和串行深度,同时相较于 ELF-B 等模型提升了效率和生成质量。
本文介绍了hLLM,一种用于生成式重排序的解码策略,它使用匈牙利算法实现单次解码,在保持排序质量的同时实现了64倍的速度提升。
EEG-VID引入了任务引导的潜在预测预训练,以改善在会话和受试者偏移下的EEG解码,在辅助机器人场景中实现了超过随机水平的目标选择。
介绍了 Faster Flash Decoding (FFD),这是一个无需训练的硬件-算法协同设计框架,通过利用注意力稀疏性加速 LLMs 中的长上下文解码,实现了高达 11.6 倍的加速,并可扩展至 256K 上下文长度。
Firefox 157 计划在所有平台上默认启用 JPEG XL 解码,使用 jxl-rs Rust 库以提升性能并实现与其他图像格式的功能对等。
该论文《语言模型的熵校准》将熵的上升解释为自回归生成中可达路径的扩散增加,提出由于重尾数据,扩展的效益有限,并建议一种路径感知的解码替代方案。
本文解释了为什么与其他浏览器相比,Chrome 中的微型 JPEG 看起来会不同,原因在于一种 JPEG 解码优化,它会在重度缩小尺寸时跳过高频 DCT 系数。
本文研究了在掩码扩散语言模型中,无分类器引导(CFG)在何种情况下真正必要。研究表明,对引导的依赖因提示而异,且通常可以在不损失约束满足能力的前提下移除引导,并由此定义了“承诺视界”(commitment horizon)。
本文批判了现有的基准污染缓解指标,并提出了SA-PPG(逐题概率差距的分层聚合)以实现更可靠的评估,同时提出了RailCap,一种解码时缓解方法,通过限制贪婪回退令牌来抑制记忆。
This paper introduces LATCH, a training-free candidate-aware early-exit framework for diffusion language models that separates when to stop from where to accelerate, achieving 9.3-17.8x speedups on short-answer tasks and 2-3.3x on long-reasoning tasks with minimal accuracy loss on LLaDA and Dream.
DeepLook是一个无需训练的框架,通过在不确定性瓶颈处分配计算来提升LLM的推理能力,平均减少87.3%的token生成,同时提高竞赛数学基准的准确性。
DecodeShare提出了一种方法,用于识别LLM在解码时隐藏状态中跨任务一致共享的低维子空间,并表明干扰该子空间对决策性能的损害程度超过同等待遇下干扰随机或预填充派生的子空间,这对激活引导具有启示意义。
介绍了Deco-G,一种解码框架,将LLM中的格式遵循与问题求解相分离,通过格式估计模块在不削弱推理能力的前提下确保合规。在数学推理、事件抽取和LLM作为评判者的任务中取得了更高的准确性。
一篇博文详细介绍了在优衣库T恤上发现并解码一个经过混淆的bash脚本的过程,该T恤是Akamai“Peace for All”活动的一部分,执行脚本后会显示一条隐藏的彩蛋信息。
TACG 是一种无需训练的扩散语言模型解码器,通过轨迹感知信号决定何时提交 token,在代码和数学基准测试中提高了准确性和效率。
一项分析对比了大语言模型推理中的预填充与解码阶段,探讨在本地大语言模型部署中,预填充在投资回报率方面是否未被充分重视。