parallel-decoding

标签

Cards List
#parallel-decoding

展开与回滚:扩散大语言模型是自身的效率教师

arXiv cs.CL ↗ · 2026-05-19 缓存

本文介绍了 WINO 和 WINO+,这两种方法能够在扩散大语言模型中实现可撤销的并行解码,并提炼高效的降噪轨迹,显著改善质量-速度权衡。

0 人收藏 0 人点赞
#parallel-decoding

PSD: 通过并行推测解码推动扩散大语言模型的帕累托前沿

arXiv cs.CL ↗ · 2026-05-18 缓存

本文介绍了一种无需训练的框架——并行推测解码(PSD),它通过同时提升空间和时间效率来加速扩散大语言模型的推理,每次前向传递最多可处理5.5×的token数,且质量与贪婪解码相当。

0 人收藏 0 人点赞
#parallel-decoding

@DivyanshT91162: 自回归大语言模型可能正在被取代 有人构建了dLLM——一个开源库,可以将任何自…

X AI KOLs Timeline ↗ · 2026-05-16 缓存

dLLM是一个开源库,可将任何自回归大语言模型转换为扩散大语言模型,实现并行解码和更快的文本生成。

0 人收藏 0 人点赞
#parallel-decoding

Orthrus-Qwen3-8B:在Qwen3-8B上实现高达7.8倍每前向传播token数,冻结主干网络,可证明输出分布一致

Reddit r/LocalLLaMA ↗ · 2026-05-15

介绍Orthrus,一种在冻结的自回归Transformer中注入可训练的扩散注意力模块的方法,在MATH-500上实现高达7.8倍每前向传播token数和约6倍实际时间加速,且输出分布与基础Qwen3-8B模型可证明一致。该方法仅需极少的额外参数和训练,并避免了外部草稿模型带来的TTFT惩罚。

0 人收藏 0 人点赞
#parallel-decoding

LEAP:通过前瞻早期收敛令牌检测释放 dLLM 并行潜力

arXiv cs.LG ↗ · 2026-05-13 缓存

本文介绍了 LEAP,这是一种无需训练的方法,旨在通过检测早期收敛令牌来加速扩散语言模型(dLLMs)的推理过程。该方法能在不损失准确性的前提下,将去噪步骤减少 30%。

0 人收藏 0 人点赞
#parallel-decoding

@JulieKallini: Fast Byte Latent Transformer 被 ICML 2026 接收!字节级语言模型有望摆脱子词分词器,但解码……

X AI KOLs Following ↗ · 2026-05-11 缓存

快速字节潜在变换器(BLT-D)已被 ICML 2026 接收,它引入了一种文本扩散方法,用于并行字节级解码,以克服传统字节级语言模型的速度限制。

0 人收藏 0 人点赞
#parallel-decoding

LACE: 用于跨线程探索的格子注意力机制

arXiv cs.AI ↗ · 2026-04-20 缓存

LACE 引入了一种格子注意力机制,使LLM中的并发推理路径能够在推理过程中共享中间结果并相互纠正错误,相比标准的独立并行采样,推理准确度提高了7个多百分点。

0 人收藏 0 人点赞
#parallel-decoding

及时止损!学习早期剪枝路径以实现高效并行推理

Hugging Face Daily Papers ↗ · 2026-04-17 缓存

本文介绍了STOP(用于剪枝的超令牌),一种轻量级方法,通过在并行解码中附加可学习令牌并读取KV缓存状态,学会早期剪枝不优的推理路径,在AIME和GPQA基准测试中实现70%的令牌减少,同时提高性能。

0 人收藏 0 人点赞
#parallel-decoding

Youtu-Parsing:通过高并行度解码实现感知、结构化与识别

Papers with Code Trending ↗ · 2026-01-28 缓存

Youtu-Parsing 是一种文档解析模型,将动态分辨率 ViT 与提示引导的 Youtu-LLM-2B 相结合,利用词元并行和查询并行将解码速度提升至 5–11 倍,同时在 OmniDocBench 和 olmOCR-bench 上达到最先进水平。

0 人收藏 0 人点赞
← Previous
← 返回首页

提交意见反馈