标签
RISA提出了一种面向块级扩散语言模型的可恢复稀疏注意力方法,通过共享读取计划与优先/恢复分层,在不改变骨干网络的情况下,在32K与128K上下文中分别实现最高2.67×和5.53×的注意力加速,同时保持可比的任务性能。
普林斯顿大学与 Polymathic AI 推出 FlashMap,这是一种用于推测解码的连续流草稿模型,能够在一次前向传播中生成整个词元块,同时捕捉词元间的依赖关系,在 Qwen3-8B 上实现最高 6.1 倍的无损加速,并在所有基准测试中均优于 DFlash 基线。
DStill 是一个两阶段轨迹一致性蒸馏框架,将块扩散投机解码中多步精修的 drafter 蒸馏为单步 drafting,在三个模型族上相较单步 DFlash 最高提升 28% 接受长度和 25% 加速,较自回归解码最高达 6.45 倍加速。
Charlie Marsh 分享了使用 Astra 自动发现所谓的 "Minato-Morreale ISOP recurrence" 并一次性应用,使代码速度提升约 12,000 倍的惊人案例,感叹当下 AI 时代的不可思议。
论文提出 Rank-Aware Speculative Sampling(RASS),一种基于 rank-aware list coupling 的扩散草稿树验证规则,通过对候选按 proposal-target 均值位移排序并优化秩权重以最小化总变差,在保持精确采样的同时加速扩散生成,在 CIFAR-10 上相比 D-GRS 节省约 20% 目标模型评估。
一个观察:历史在不断加速——从地质时间到生物演化再到人类科技发展——而历史时间中有意义的单位在不断缩小。
DEdit 提出了一种基于扩散的草稿生成器,用于投机解码,通过 token 到 token 的预测迭代式地编辑草稿,并采用 ProposalMix 训练方案在修复错误的同时保留正确的 token。在七个基准测试上,该方法在 Qwen3-4B 和 Qwen3-8B 上分别实现了 5.72× 和 5.97× 的宏平均加速。
SoL-Refiner 是一个一步视频精炼器,通过单个去噪步骤将低分辨率视频输出转换为4K分辨率,实现了显著的速度提升并在质量指标上超越了现有的精炼器。
埃隆·马斯克预测,月球和火星上的生产将以指数级加速,每年增长超过一倍,直到遇到自然限制,并参考了Kardashev scale的时间线。
Pruna-Qwen-Image-2.1 是一组 LoRA 适配器,可显著加快 Qwen-Image-2.1 中的图像生成和编辑,将步数从 40 步减少到 5 或 8 步,性能提升高达 6.3 倍。
一条推文讨论了当前的AI话语,暗示加速与incel文化相关联,安全与 slut 文化相关联,未提供进一步解释。
本文提出'Early-Bird Decoding',这是一个通过可学习块大小和并行采样来加速扩散大语言模型的框架,在不修改预训练权重的情况下实现了显著的吞吐量提升。
Osprey引入了一种针对推测解码中草稿模型的目标无关预训练方法,通过从现成模型中引导并适应最少的特定目标工作来提高效率,在多个大语言模型上实现了显著的接受率提升。
AI 研究人员 François Fleuret 用一个比喻评论了当前人工智能领域的现状:发展步伐不断加速,而不确定性与炒作也愈演愈烈。
验证感知训练(VAT)通过在训练中模拟顺序验证并自适应损失权重以匹配接受模式,改进投机解码的草稿模型,从而提升接受长度和推理加速。
一条推文讨论了数据中心项目如何因政治担忧而遭到地方市议会的反对,将其与中国能源进展形成对比,并强调加速人工智能发展以争夺主导地位的紧迫性。