inference-latency

LAWA是一个世界动作模型，使用潜在动作来实现机器人控制的高效未来想象，在降低推理延迟的同时达到最先进的性能。它无需生成未来观测即可在泛化能力和效率上优于基线。

Modal 推出 Modal Servers，承诺比经典 Web Functions 快 6 倍的响应速度，并分享了其新 Auto Endpoints 功能背后的架构技术细节。

本文介绍了学习的中继表示（Relay），一种使掩码扩散模型能够在去噪步骤之间传播潜在信息的方法，克服了硬重置问题并改善了性能-延迟权衡。该方法在编码任务上优于标准的监督微调，同时将推理延迟降低高达32%。