parallel-decoding

标签

Cards List
#parallel-decoding

异步流映射语言模型

arXiv cs.CL ↗ · 2026-11-02 缓存

提出了异步流映射语言模型(aFMLM),通过token级时间调度将预测顺序编码进单步生成的隐藏计算中,在Sudoku和GSM8K代码生成任务上刷新了一步生成的最先进性能。

0 人收藏 0 人点赞
#parallel-decoding

OBB-PBD:将并行框解码扩展至有向边界框,用于航拍图像中的指代表达定位

Hugging Face Daily Papers ↗ · 2026-10-26 缓存

OBB-PBD 通过双角参数化,将并行框解码(Parallel Box Decoding)从水平边界框扩展到旋转边界框,并通过打乱对照实验和泄漏探针验证该设计,将航拍车辆视觉定位基准上的旋转 IoU 从 0.1253 提升至 0.303。

0 人收藏 0 人点赞
#parallel-decoding

大规模流语言模型

Hugging Face Daily Papers ↗ · 2026-10-20 缓存

论文提出了 Lafa,一个 8B 参数的分块连续流语言模型,仅使用不到 30B tokens 训练,其质量即可匹配甚至超越自回归模型,并通过自推测解码(self-speculative decoding)与分块并行解码实现了 2.54 倍的推理吞吐量。

0 人收藏 0 人点赞
#parallel-decoding

扩散语言模型的同策略残差学习

arXiv cs.LG ↗ · 2026-10-16 缓存

该论文提出ORL(On-policy Residual Learning)框架,通过熵收缩目标与异步残差捕获等系统级协同设计,使扩散语言模型(DLM)在相近质量下将吞吐量提升至约6.9×,在单请求解码速度上超越自回归模型的推测解码方案。

0 人收藏 0 人点赞
#parallel-decoding

@yoheinakajima:看看这东西是怎么生成的

X AI KOLs Following ↗ · 2026-10-14 缓存

Yohei Nakajima 转发介绍下一概念建模(NCM):一种快速、并行、由粗到细的文本生成新范式,在摘要等下游任务上,相比同规模的扩散语言模型,最快可实现 31 倍加速。

0 人收藏 0 人点赞
#parallel-decoding

Diff Diffusion:利用扩散模型预测编辑路径,实现高效代码编辑

Hugging Face Daily Papers ↗ · 2026-10-13 缓存

DiffDiffusion提出一种受扩散模型启发的LLM框架,通过预测编辑路径而非重新生成整个代码段来实现高效代码编辑,在公共基准上比自回归基线快2.78倍,并在生产环境中将P50模型延迟降低39.0%。

0 人收藏 0 人点赞
#parallel-decoding

@djjruhe: 介绍 Gumbel Straight Flow:将自回归模型蒸馏为一步流映射。自回归(语言)模型能否……

X AI KOLs Timeline ↗ · 2026-10-02 缓存

介绍 Gumbel Straight Flow,一种将自回归语言模型蒸馏为一步流映射的方法,从而实现并行采样。

0 人收藏 0 人点赞
#parallel-decoding

FastGuide:加速扩散大语言模型的奖励引导

arXiv cs.CL ↗ · 2026-09-30 缓存

FastGuide 是一种自适应的并行与自回归混合解码方法,通过复用奖励模型反向传播计算、利用 KV 缓存和稀疏注意力重计算来加速扩散大语言模型的梯度奖励引导,在三个奖励基准上实现最高 4.4× 加速同时保持相近生成质量。

0 人收藏 0 人点赞
#parallel-decoding

非均匀离散扩散:更强、更可扩展

arXiv cs.CL ↗ · 2026-09-30 缓存

本文提出 LUDI,一种非均匀扩散语言建模框架,解决了均匀扩散语言模型中训练目标过度均匀以及条件与目标混淆的问题,实现了 7B 规模的均匀离散扩散语言模型(UDLM),在逐步处理速度上比自回归解码快 3 倍,同时在复杂推理任务上具备有竞争力的性能。

0 人收藏 0 人点赞
#parallel-decoding

GroundAnything:以闪电般的速度兼顾并行解码与精准视觉定位

Hugging Face Daily Papers ↗ · 2026-09-30 缓存

GroundAnything 提出一个拥有 40 亿参数的视觉定位基础模型,通过块状去噪协调并行解码与精确定位,在 30 个视觉定位基准上取得同类模型的最新最佳性能(72.42%),并借助自投机解码实现 4.51 倍加速。

0 人收藏 0 人点赞
#parallel-decoding

WaveFront Decoding:针对循环语言模型的并行化自推测解码

Hugging Face Daily Papers ↗ · 2026-09-26 缓存

WaveFront Decoding 引入了一个无需训练的自推测解码框架,针对循环语言模型,通过并发批量处理草拟和验证来减少延迟,在 Huginn-3.5B 上实现了高达 4.81 倍的加速。

0 人收藏 0 人点赞
#parallel-decoding

Flash-dLLM:IO感知的KV缓存和并行解码,用于快速、内存高效的扩散LLMs

Hugging Face Daily Papers ↗ · 2026-09-22 缓存

Flash-dLLM是一个用于扩散LLMs的免训练推理加速框架,它通过IO感知的KV缓存和并行解码来实现显著的加速和内存效率提升。

0 人收藏 0 人点赞
#parallel-decoding

利用并行解码技术扩展电子商务属性提取

arXiv cs.CL ↗ · 2026-09-10 缓存

论文介绍了一个两阶段的大语言模型管道,使用经过微调的Qwen3-4B和超并行解码来提取电子商务中具有购买区分度的属性,实现了85%的准确率,成本降低了92%。

0 人收藏 0 人点赞
#parallel-decoding

Alibaba PAI/MiniMax-H3 加速 LoRAs

Hugging Face Models Trending ↗ · 2026-08-26 缓存

Alibaba PAI 发布了 LoRA 检查点,用于通过并行解码蒸馏加速 MiniMax-H3 视频生成,从而在 8 步内实现高效推理。

0 人收藏 0 人点赞
#parallel-decoding

CForce:通过一致性强制提升dLLMs的并行解码

arXiv cs.CL ↗ · 2026-08-17 缓存

本文介绍了Consistency Forcing(CForce),一种针对扩散大语言模型的蒸馏技术,通过将早期阶段的预测与后期阶段对齐来提升并行解码,从而改善速度-质量权衡。

0 人收藏 0 人点赞
#parallel-decoding

Ripple-Pivot Search:扩散大语言模型的主动并行解码

arXiv cs.CL ↗ · 2026-08-13 缓存

提出了Ripple-Pivot Search,一种无需训练的扩散大语言模型解码方法,主动确定中熵枢轴位置以减少不确定性并加速并行解码,实现4-10倍加速。

0 人收藏 0 人点赞
#parallel-decoding

PaDoc: 基于布局的并行解码用于文档解析

Hugging Face Daily Papers ↗ · 2026-08-06 缓存

PaDoc 提出了一种面向端到端文档解析器的基于布局的并行解码方法,将布局解码与内容解码解耦,以减少解码深度并提高吞吐量。它在 OmniDocBenchFull 上取得了最先进的结果,并且相比顺序基线显著加速了推理。

0 人收藏 0 人点赞
#parallel-decoding

视频生成的并行解码(10分钟阅读)

TLDR AI ↗ · 2026-07-30 缓存

NVIDIA推出并行解码蒸馏(PDD)技术,用于加速图像和视频生成,能够以更少的神经函数评估在LTX-2.3和Wan2.1-14B等模型上实现高质量输出。

0 人收藏 0 人点赞
#parallel-decoding

并行解码蒸馏加速图像与视频生成

Hugging Face Daily Papers ↗ · 2026-07-28 缓存

并行解码蒸馏(PDD)是一种基于轨迹的蒸馏方法,通过每次网络评估预测多个去噪步骤来加速图像与视频生成,在 LTX-2.3、Wan14B 和 Qwen-Image 等模型上仅需 4-8 次函数评估即可达到最优性能。

0 人收藏 0 人点赞
#parallel-decoding

DC-Leap: 通过草稿引导的连续跳跃解码实现dLLMs的无训练加速

arXiv cs.AI ↗ · 2026-07-24 缓存

提出DC-Leap,一种无训练框架,通过引入动态连续验证和草稿引导解码来加速扩散大语言模型,在保持生成质量的同时实现高达105倍的加速。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈