标签
作者将多个 System 1 决策端点（tev1、TypeSafe Jev、pplx-decider-v1.2、liquid/d1.1）与本地 9B 大语言模型进行基准对比，用于多智能体路由和工具调用门控。结果显示，包含 40 个问题的并行“盲语义推断”（Blind Semantic Surmise）将延迟降至 159–319 毫秒，准确率达到 100%，且完全无需回退到大语言模型。
SPECMEM提出了一种在部署期间持续维护的工具调用记忆系统，通过在线写回已验证的调用记录并配合LRU淘汰和副作用门控机制，在多会话多用户场景下实现最高1.74倍的墙钟加速，同时避免了不可逆操作的错误。
DiffResearch 将自回归骨干替换为扩散语言模型（dLLM）用于多智能体深度研究，在 Deep Research Bench 上实现约 6 倍端到端加速并提升报告质量，还提出 dFast 提前从去噪状态提取子查询，以 Apache-2.0 开源。
提出推测采样策略，通过追加噪声潜变量扩展双向窗口并缓存预测结果，在不牺牲质量的前提下实现低延迟的交互式视频生成，使窗口大小成为质量与速度联合优化的决策变量。
TomasuLLM 是一个将乱序推测执行思想引入 LLM Agent 的运行时，让工具调用在隔离的写时复制沙箱中乱序执行并按序提交验证，从而在 SWE-bench Verified、Terminal-Bench 2.0 和 SWE-Marathon 上分别提升 1.31x、1.35x 和 1.27x 的性能，且在 4,010 条提交验证记录中零误报。
Augment Code将其编码代理后端切换到Stefano Ermon的Mercury 2.5扩散模型，在生产环境中实现了82%的延迟降低和90%的成本削减。文章强调了扩散模型的性能优势以及独立AI基准测试工具的必要性。
介绍了状态基于调节（SGC），这是一种为面向用户的LLM代理设计的原则，基于实时状态进行调节，以减少方向漂移，并在游戏指导场景中提升延迟和准确性。
本文批评了将AI智能体过度用于确定性任务的现象，分享了一个案例研究，其中使用更简单的代码重构了一个多智能体客户支持系统，从而降低了延迟和成本。
Agensh 是一个可扩展的自组织多代理系统，无需中央协调器，通过扩展代理数量来提高复杂任务的性能，在ProgramBench和pandoc等基准测试中显示出显著的测试通过率提升。
BrowserClaw是一个轻量级的Chrome自动化平台，使用双脑架构来优化AI代理的浏览器交互，显著降低延迟和令牌使用量。
这篇文章讨论了语音代理中内存检索的关键挑战，强调了测量每轮 P99 延迟、使用预取以及预算内存令牌以减少延迟并改善用户体验的必要性。
本文介绍了用于人工智能系统的内核管理共享内存，通过集中化内存管理来提高多智能体环境中的个性化与效率，评估显示其相比其他方法有显著提升。
Arize Phoenix 推出了M3，它增加了稀疏注意力和1M令牌上下文窗口，通过将长工具历史保留在上下文中来减少AI智能体的延迟和成本。
KeenableAI 被宣布为一款专门为AI代理设计的AI原生搜索引擎，拥有自己的爬虫、网页索引和基础设施，以改善延迟、质量和成本效率。
Pipecat团队发布了PhoneLLM Alpha 1，这是一个为低延迟语音代理应用优化的开源AI模型，其性能与更大模型相当，成本却只有一小部分。他们还推出了PhoneBench v1，一个用于评估电话代理场景中大语言模型的基准测试。
语音代理常面临延迟问题，主要并非源于模型，而是端点检测等组件；优化VAD和采用合适的基准测试可有效降低轮次延迟。
Agnost AI推出其首款模型agnost-*******-0.1，基于客户生产痕迹训练，以超越前沿模型，在任务成功率、延迟和成本方面带来重大改进，提供定制微调服务。
SAGE是一种面向生产级RAG系统的基于学习的SLO感知自适应检索策略，能够根据每个查询动态选择检索段落数量，在几乎不损失质量的前提下提升SLO合规性并降低延迟与成本。
加州大学圣巴巴拉分校和 LinkedIn 的新研究提出了一种自推测代理，将代理和推测者角色统一到一个模型中，通过联合代理-推测者强化学习提高了下一个工具调用预测准确率（Hit@1），同时保持了任务成功率。
UltraViT 是一个面向大型视觉语言模型的延迟优化视觉编码器，专为端侧部署设计，采用金字塔架构和两阶段生成式预训练策略，以1.7倍速度实现最先进的性能。