标签
本文基准测试了MiniMax-H3视频生成在8×H200 GPU上使用SGLang Diffusion的加速效果,通过SSIM衡量质量,最高实现6.24倍速度提升。
Alibaba PAI 发布了 LoRA 检查点,用于通过并行解码蒸馏加速 MiniMax-H3 视频生成,从而在 8 步内实现高效推理。
TileMix引入了一种以分块为中心的混合精度注意力机制,以加速大型语言模型中的长上下文预填充,通过将分数分块组路由到FP16或INT8路径来平衡准确性和效率。
本文介绍了Consistency Forcing(CForce),一种针对扩散大语言模型的蒸馏技术,通过将早期阶段的预测与后期阶段对齐来提升并行解码,从而改善速度-质量权衡。
这是 MiniMax-H3 的早期预览版 LoRA,支持在 4 步采样(而非约 20 步)内联合生成视频和同步音频,采样速度约提升 5 倍,并附带 ComfyUI 自定义节点和三个 bf16 检查点。
并行解码蒸馏(PDD)是一种基于轨迹的蒸馏方法,通过每次网络评估预测多个去噪步骤来加速图像与视频生成,在 LTX-2.3、Wan14B 和 Qwen-Image 等模型上仅需 4-8 次函数评估即可达到最优性能。
这条推文观察到,在更多玩家和算力的推动下,AI 模型发布的速度正在加快,迭代改进的累积效应将塑造未来几年。
提出DC-Leap,一种无训练框架,通过引入动态连续验证和草稿引导解码来加速扩散大语言模型,在保持生成质量的同时实现高达105倍的加速。
空间推测解码(SSD)通过使用小型辅助网络并行预测整行像素,加速了自回归图像模型,实现了高达13.28倍的加速,同时保持了基准性能。
DominoTree引入了一种无训练的最佳优先草稿树用于投机解码,利用Domino的条件(非分解)修正,在Qwen3模型上实现了高达6.6倍的自回归解码加速,并且在所有评估方法中取得了最高的平均接受长度。
本文提出了一种针对视频扩散模型的后训练加速框架,将动态结构稀疏化与少步蒸馏相结合,在保持生成质量的同时实现了显著加速。
DeLS-Spec通过在DFlash上添加轻量级局部头,将推测性解码中的长上下文和短上下文建模解耦,无需完全重新训练即可实现一致的加速。它仅需要对局部头进行标准的下一个词元预测训练,并在Qwen3基准测试中提高了接受长度。
本文介绍了截断跳跃采样(Truncated Jump Sampling, TJS),这是一种无需训练的方法,通过利用端点可解码性加速扩散模型和流匹配模型的生成,将神经函数评估次数减少20-70%,同时在多个模型上保持接近匹配的质量。
OTCache是一个无需训练的框架,利用最优传输预测扩散模型的缓存调度,在FLUX.1、Qwen-Image和HunyuanVideo上实现了高达4.7倍的加速,同时提高了生成保真度。
BlockPilot 提出了一种实例自适应策略,用于预测基于扩散的投机解码的最优块大小,从而以最小的开销实现显著的加速。
一条推文,重点介绍了四个开源库(Unsloth、LLaMA Factory、DeepSpeed、Axolotl),这些库通过内存和速度优化加速大型语言模型的微调。
ResilPhase是一个免训练的扩散模型加速框架,将加速推理重述为ODE空间中的稳定宏轨迹外推,通过无导数重心拉格朗日外推和有界相位映射,在高加速比下实现最先进的保真度。
Enze Xie 宣布推出 Sol Video Inference Engine,这是一个基于智能体的原生、无需训练的全栈加速器,用于视频扩散,能够自动调整缓存、稀疏注意力、令牌剪枝、量化和内核融合,在像 64B Cosmos3-Super 和 22B LTX-2.3 这样的大模型上实现了 >2 倍的端到端加速。