latency

Anthropic 发布了 Claude Platform 的 Message Threads（消息线程）公测功能，通过仅发送增量消息而非重新发送完整对话历史，将长会话的首个词元生成时间（TTFT）中位数缩短了约 35%。

Anthropic 为 Claude Messages API 公测“消息线程”（message threads）功能，服务器端暂存对话历史，开发者每轮只需发送新消息与上一条回复 ID，可显著降低长对话延迟（50万-100万 token 请求的中位 TTFT 缩短约 35%），价格与速率限制不变。

这篇帖子认为，原始推理速度正变得与模型智能同样重要，因为 AI 智能体在执行每项任务时都要进行数十次链式调用——文中比较了 N0.5 Flash（约 2,000 token/秒）、DeepSeek V4.1 Flash、GLM-5.3-Flash 和 MiMo-V2.5-Pro UltraSpeed 等顶级高吞吐量方案。

文章清晰解释了前缀感知的 LLM 路由机制：通过按块哈希提示词并维护块到 worker 的索引，让请求路由到持有共享前缀 KV 缓存的 GPU，实测在 8 个 vLLM Pod（16 张 H100）上将 p90 首 token 延迟从 92.5 秒降至 0.54 秒。

本文提出了一种小型候选形式化模型，使用教师模型离线生成的列表进行训练，以弥合开放式大语言模型工作负载与快速决策模型之间的接口鸿沟。据报告，该方法在 CALVIN-D 上的任务成功率最高达 52.6%，端到端延迟为 2.09 秒；相比之下，不使用该形式化模型时的成功率为 11.8%，而 Qwen3.5-27B 等基线模型的速度则更慢。

Garry Tan 提到正在努力精简 GStack 以减少 token 消耗和任务延迟，有回复指出 CI 流水线耗时从 7 分钟降到 3 分钟，同时询问了 20 个并发 subagent 造成的延迟波动问题。

Nace 发布 Drex Max 2.0，这是一款面向计算机使用智能体（computer-use agents）的 27B 多模态决策模型，能够在单次前向传播中对各选项进行评分，延迟低至毫秒级；通过 Nace API 调用的定价为每百万输入 token 0.06 美元。

Mouse-1 是一个面向 agent harness 的轻量决策模型，能处理 agent 执行过程中的大量小决策，宣称比 GPT-6 Sol 便宜 163 倍、快 65 倍，可与现有技术栈并行接入。

Qwen 千万级文档 RAG 流水线通过混合检索、引用约束生成、声明级验证与校准弃权四层防线，将不可回答问题的幻觉率压至 2%，p95 延迟保持 18ms，是一套值得借鉴的生产级防幻觉架构。

一位开发者分享了在 ElevenLabs 上构建语音预订 Agent、结合 AWS Lambda 工具的经验：定价与可用性查询准确，但工具调用回合的 P95 延迟高达 5 秒，且难以保证预订步骤的顺序。文章向社区请教如何降低工具回合延迟、强制执行步骤顺序，以及让通话后的 LLM 评审变得可靠。

## 以语音 AI 编排平台产品负责人的视角，看分类模型在电话语音机器人中的真实价值 作为语音 AI 编排平台的产品负责人，本文作者分析了 Jev 及同类分类模型在电话语音机器人场景中的实际用途，并梳理了 Laya、Clef、CMF、Nimble、Kev 等竞品构成的生态格局。 ### 核心观点 - **单一 LLM 无法独立支撑生产级对话**。在真实通话场景中，仅靠一个大语言模型难以稳定完成端到端的对话流程。 - **分类模型仍然不可或缺**。它们在**延迟**、**成本**和**结构化输出**三个维度上，依然具备 LLM 难以替代的优势： - **延迟更低**：分类任务的响应速度远快于生成式调用，对实时通话体验至关重要； - **成本更低**：轻量级模型的推理开销远小于大参数量 LLM； - **结构化输出更稳定**：分类结果天然就是离散标签，便于下游系统直接消费，减少解析失败与幻觉风险。 ### 结论 在生产环境中，**编排层 + 分类模型 + LLM** 的组合仍然是更务实的架构选择：把意图识别、路由分流、情绪判断等高频、低延迟、强结构化的任务交给分类模型，而将开放对话、复杂推理与内容生成交给 LLM。两者各司其职，才能同时兼顾体验、稳定性与成本。

Coinbase 宣布为 Coinbase Advanced 推出全新撮合引擎，订单响应中位数提速 60 倍，尾部延迟提速 480 倍，支持加密货币、股票、大宗商品及外汇交易。

阿里开源的 OpenSandbox 新增了快速沙箱功能，通过绕过 Kubernetes 调度和运行时，将沙箱创建延迟降至最低。作者认为这种架构过于 hacky，更倾向于 E2B 等替代方案。

实践者分享构建电话语音AI代理的核心瓶颈并非模型能力，而是轮次切换时机：单靠VAD静音检测会导致打断或迟钝，改用STT置信度与部分转录文本的语义线索来判断发言是否结束效果更好。

该论文研究长上下文 LLM 服务中远程 KV 缓存层级的性能瓶颈，提出按并行 rank 分片 MLA KV 存储、异步加载等优化，将 p99 延迟从 83.32 秒降至 0.67 秒，并显著提升预填充吞吐。

一篇技术博客文章比较了 strands-decider-2B 的因果解码器（v19）架构与基于编码器的架构，发现 e1b 等编码器能在准确率相近的情况下实现更低的延迟，而编码器-解码器模型随着提示词长度增加，扩展表现更差。

Sazabi 发布 1.0 版本，开放其自研日志摄取、存储与查询层，支持从终端、Web 应用或 AI 代理直接用自然语言查询日志，并宣称拥有全球最快的日志搜索速度。

一篇从业者经验汇总，介绍各团队在实时语音代理中使用哪些 LLM，涵盖专用部署与无服务器部署之间的权衡（Gemma 4 31B、Qwen3 235B、GLM 5.2、Nemotron 3 Ultra、GPT-4.1/5.6、Gemini Flash），以及在延迟测量、缓存、工具测试和闲置 GPU 成本方面的部署经验。

TacitVLA 提出一种无需在行动前生成推理文本的视觉-语言-动作模型，动作专家不关注其生成的推理内容，仅依靠推理监督改进骨干表示，在四个基准上以最高 3.4 倍更低延迟匹配显式推理模型的性能，并在 RoboMME 和 RMBench 上超越此前最佳结果。

将步骤完成检查和限定范围内的决策交给 Jev，使 Qwen 智能体调用次数减少了 29.6%，估算的 API 成本降低了 26.6%，延迟缩短了 19.7%。