标签
TomasuLLM 是一个将乱序推测执行思想引入 LLM Agent 的运行时，让工具调用在隔离的写时复制沙箱中乱序执行并按序提交验证，从而在 SWE-bench Verified、Terminal-Bench 2.0 和 SWE-Marathon 上分别提升 1.31x、1.35x 和 1.27x 的性能，且在 4,010 条提交验证记录中零误报。
VUSec 提出分支目标复用（Branch Target Reuse，BTR）——一种新型 Spectre-v2 攻击，利用 JIT 引擎（cBPF、GraalVM、SpiderMonkey）中陈旧的分支预测器条目，在 Intel、AMD 和 ARM CPU 上均有效，并附带一个端到端的 Linux 内核利用，可绕过现有缓解措施以泄露内核内存。
本文介绍了推测性宏提交（SMC），这是一个两层智能体系统，通过推测性地执行未来动作链并在匹配时提交它们来减少工具使用LLM智能体的延迟，从而实现比顺序执行更快的速度。
本文提出推测性编程工具调用（sPTC），一种优化AI框架中工具调用的技术。它受CPU和大语言模型中推测执行的启发，通过重叠执行与令牌生成来降低延迟。
介绍 Speculative Programmatic Tool Calling (sPTC)，一种在代码生成期间推测工具调用的技术，以与令牌生成和执行时间重叠，提高 AI 框架中的效率。
Uber 开源了 SubmitQueue，这是一个高性能推测性合并队列，可针对预测的 HEAD 未来状态并行验证多个更改，从而在大规模环境下保持主干（trunk）绿色。
本文介绍了一种用于处理突发性LLM推理工作负载的预测性投机KV复制方法，代码可在GitHub上获取。
本文介绍了面向LLM代理的记忆增强型推测执行技术，利用三种在线记忆系统在行动预测上提升19-39%的准确率，在观察预测上提升最高2.5倍，同时保持无损且零额外挂钟时间成本。
GPUHedge是一个开源工具，它使用投机执行在无服务器GPU提供商之间进行对冲，将冷启动p95延迟从117秒降低到30秒。
SpecHop 是一个连续推测框架，通过维护多个推测线程并异步验证预测，加速多跳检索代理，在保持最终模型输出不变的情况下，延迟降低高达40%。
Accio 是一种推测执行框架，通过利用离线站点结构分析和在线快速路径选择，降低网络代理的成本和延迟，实现每任务成本降低1.9倍，延迟降低33.4%，同时保持准确性。