decoding

标签

Cards List
#decoding

hLLM:用于生成式重排序的单次解码方法

arXiv cs.LG · 6天前 缓存

本文介绍了hLLM,一种用于生成式重排序的解码策略,它使用匈牙利算法实现单次解码,在保持排序质量的同时实现了64倍的速度提升。

0 人收藏 0 人点赞
#decoding

EEG-VID:面向EEG解码和辅助目标选择的任务引导潜在预测预训练

arXiv cs.LG · 2026-09-02 缓存

EEG-VID引入了任务引导的潜在预测预训练,以改善在会话和受试者偏移下的EEG解码,在辅助机器人场景中实现了超过随机水平的目标选择。

0 人收藏 0 人点赞
#decoding

超越 Flash:利用注意力稀疏性实现高效长上下文解码

arXiv cs.LG · 2026-09-02 缓存

介绍了 Faster Flash Decoding (FFD),这是一个无需训练的硬件-算法协同设计框架,通过利用注意力稀疏性加速 LLMs 中的长上下文解码,实现了高达 11.6 倍的加速,并可扩展至 256K 上下文长度。

0 人收藏 0 人点赞
#decoding

Firefox 157 将默认在所有平台上支持 JPEG XL

Hacker News Top · 2026-08-25 缓存

Firefox 157 计划在所有平台上默认启用 JPEG XL 解码,使用 jxl-rs Rust 库以提升性能并实现与其他图像格式的功能对等。

0 人收藏 0 人点赞
#decoding

@BetaTomorrow: #DeepManifoldInterpretation 论文:《语言模型的熵校准》 作者:Steven Cao, Gregory Valiant, 等人…

X AI KOLs Following · 2026-08-15 缓存

该论文《语言模型的熵校准》将熵的上升解释为自回归生成中可达路径的扩散增加,提出由于重尾数据,扩展的效益有限,并建议一种路径感知的解码替代方案。

0 人收藏 0 人点赞
#decoding

为什么 Chrome 中的微型 JPEG 看起来不同

Hacker News Top · 2026-08-12 缓存

本文解释了为什么与其他浏览器相比,Chrome 中的微型 JPEG 看起来会不同,原因在于一种 JPEG 解码优化,它会在重度缩小尺寸时跳过高频 DCT 系数。

0 人收藏 0 人点赞
#decoding

承诺先于实现:掩码扩散语言模型中无分类器引导何时不再必要

arXiv cs.CL · 2026-08-11 缓存

本文研究了在掩码扩散语言模型中,无分类器引导(CFG)在何种情况下真正必要。研究表明,对引导的依赖因提示而异,且通常可以在不损失约束满足能力的前提下移除引导,并由此定义了“承诺视界”(commitment horizon)。

0 人收藏 0 人点赞
#decoding

零差距并非恢复:分层逐题概率评估与基准污染的逐步缓解

arXiv cs.CL · 2026-08-10 缓存

本文批判了现有的基准污染缓解指标,并提出了SA-PPG(逐题概率差距的分层聚合)以实现更可靠的评估,同时提出了RailCap,一种解码时缓解方法,通过限制贪婪回退令牌来抑制记忆。

0 人收藏 0 人点赞
#decoding

Where and When to Commit: Candidate-Aware Decoding for Diffusion Language Models

arXiv cs.CL · 2026-07-31 缓存

This paper introduces LATCH, a training-free candidate-aware early-exit framework for diffusion language models that separates when to stop from where to accelerate, achieving 9.3-17.8x speedups on short-answer tasks and 2-3.3x on long-reasoning tasks with minimal accuracy loss on LLaDA and Dream.

0 人收藏 0 人点赞
#decoding

DeepLook: 前瞻引导的深层推理

arXiv cs.AI · 2026-07-28 缓存

DeepLook是一个无需训练的框架,通过在不确定性瓶颈处分配计算来提升LLM的推理能力,平均减少87.3%的token生成,同时提高竞赛数学基准的准确性。

0 人收藏 0 人点赞
#decoding

DecodeShare:追踪LLM解码时决策的共享子空间

arXiv cs.AI · 2026-07-24 缓存

DecodeShare提出了一种方法,用于识别LLM在解码时隐藏状态中跨任务一致共享的低维子空间,并表明干扰该子空间对决策性能的损害程度超过同等待遇下干扰随机或预填充派生的子空间,这对激活引导具有启示意义。

0 人收藏 0 人点赞
#decoding

解耦LLM生成中的任务求解与输出格式化

arXiv cs.CL · 2026-07-13 缓存

介绍了Deco-G,一种解码框架,将LLM中的格式遵循与问题求解相分离,通过格式估计模块在不削弱推理能力的前提下确保合规。在数学推理、事件抽取和LLM作为评判者的任务中取得了更高的准确性。

0 人收藏 0 人点赞
#decoding

使用约束采样从LLMs生成结构化输出

Reddit r/LocalLLaMA · 2026-07-10

讨论了使用约束采样技术从大型语言模型生成结构化输出的方法。

0 人收藏 0 人点赞
#decoding

解码优衣库T恤上的混淆bash脚本

Hacker News Top · 2026-07-08 缓存

一篇博文详细介绍了在优衣库T恤上发现并解码一个经过混淆的bash脚本的过程,该T恤是Akamai“Peace for All”活动的一部分,执行脚本后会显示一条隐藏的彩蛋信息。

0 人收藏 0 人点赞
#decoding

TACG:面向扩散语言模型解码的轨迹感知提交门控

arXiv cs.CL · 2026-07-07 缓存

TACG 是一种无需训练的扩散语言模型解码器,通过轨迹感知信号决定何时提交 token,在代码和数学基准测试中提高了准确性和效率。

0 人收藏 0 人点赞
#decoding

预填充 vs. 解码与本地大语言模型的投资回报率:预填充被低估了吗?

Reddit r/LocalLLaMA · 2026-07-06

一项分析对比了大语言模型推理中的预填充与解码阶段,探讨在本地大语言模型部署中,预填充在投资回报率方面是否未被充分重视。

0 人收藏 0 人点赞
#decoding

@josh_bickett: Fable 5 显示模型在解码简写方面极其出色。我:"ittiaa real product here for m rn. lsaeawl" Fable 5:…

X AI KOLs Following · 2026-07-06 缓存

Fable 5 展示了令人印象深刻的能力,能够解码用户输入每个单词首字母的简写,准确重建原始信息。

0 人收藏 0 人点赞
#decoding

Set Diffusion:在自回归与扩散之间插值令牌顺序以实现快速灵活的解码

arXiv cs.LG · 2026-07-03 缓存

Set Diffusion 引入了一类新的语言模型,通过在灵活位置、灵活长度的令牌集合上分解令牌生成,在自回归模型和扩散模型之间进行插值。这使得解码速度更快,令牌排序更灵活,在推理、摘要和无条件生成任务上实现了更好的速度-质量权衡。

0 人收藏 0 人点赞
#decoding

用于检索增强生成的双置信对比解码

arXiv cs.CL · 2026-07-02 缓存

提出双置信对比解码(DCCD),一种无需训练的检索增强生成方法,通过结合文档级和词元级置信信号处理多文档场景中的上下文内部冲突,并引入事实冲突问答基准DRQA。

0 人收藏 0 人点赞
#decoding

打破鸟类障碍:科学家破译斑胸草雀语言

Hacker News Top · 2026-06-30 缓存

加州大学伯克利分校的朱莉·埃利博士因破译斑胸草雀的核心词汇而获得2026年科勒-多利特尔奖。她通过结合观察、机器学习和行为实验,识别出11种不同的叫声。她的工作标志着跨物种交流的重要一步。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈