标签
本文介绍了 Iris，这是一种多模态 System One 架构，通过对每个候选项进行独立编码，将针对文本候选项的类型化决策扩展到图像候选项，在保持顺序不变性和精确缓存复用的同时，在基于 Multimodal-Mind2Web 构建的视觉候选项基准上取得了较高的准确率。此外，候选项复用将延迟降低了 37–191 倍，并修复了 Qwen3.5 视觉塔在 bf16 cuDNN 下的 Conv3d 性能瓶颈。
SpecAgent 提出一种协作协议，让弱模型起草并执行只读工具调用，强模型通过单次预填充并行验证并修复，在 τ²-Bench 上几乎保持强模型成功率的同时将延迟与内存流量减半。
推文讨论 SubQ Snap 的延迟数据：100K tokens 约 660ms、384K tokens 约 2.5 秒，接近线性扩展而非二次注意力的 15 倍增长，使决策模型能一次处理超长多模态上下文。
LRCC提出了一种与token相关的计算分配方案：在冻结的预训练LLM中，通过训练轻量级路由器，在嵌套的低秩路径上进行动态选择。在相同的活跃参数预算和解码延迟下，与静态低秩压缩相比，LRCC在Llama和Qwen模型上取得了更好的困惑度和下游任务准确率。
这篇文章讨论了推理延迟如何成为生产环境 AI 代理的关键瓶颈，并探讨了 NVIDIA 的 Groq 3 LPX 作为针对智能体工作负载低延迟推理的新发展。
本文介绍了推测性宏提交（SMC），这是一个两层智能体系统，通过推测性地执行未来动作链并在匹配时提交它们来减少工具使用LLM智能体的延迟，从而实现比顺序执行更快的速度。
LAWA是一个世界动作模型，使用潜在动作来实现机器人控制的高效未来想象，在降低推理延迟的同时达到最先进的性能。它无需生成未来观测即可在泛化能力和效率上优于基线。
Modal 推出 Modal Servers，承诺比经典 Web Functions 快 6 倍的响应速度，并分享了其新 Auto Endpoints 功能背后的架构技术细节。
本文介绍了学习的中继表示（Relay），一种使掩码扩散模型能够在去噪步骤之间传播潜在信息的方法，克服了硬重置问题并改善了性能-延迟权衡。该方法在编码任务上优于标准的监督微调，同时将推理延迟降低高达32%。