当失败只在五轮对话中才显现时，你会对什么进行评分？

Reddit r/AI_Agents 新闻
multi-turn-evaluation trajectory-scoring memory-failure conversation-state agent-testing behavior-spec

摘要

一个跨 4 个产品团队的实践观察：在 12800 个行程预订会话（每会话 5 轮，共 64000 轮）中，单轮相关性高达 97.6%，但约 7.4%（947 个会话）在第 4 轮前因压缩对话状态丢失用户拒绝记录，重新推荐已被拒绝的行程。作者讨论如何划分会话级评分与行为规范，并询问如何区分真正的偏好反转与丢失的对话状态。

当每条回复单独看都能通过评估时，你们如何测试记忆失效？我们在 4 个产品团队中收集了 12800 个旅行会话，每个会话 5 轮，正好 64000 轮，每轮相关性为 97.6%。从数据上看没什么问题。但有 947 个会话，约占 7.4%，再次推荐了先前被拒绝的行程，因为压缩后的对话状态在第 4 轮之前丢掉了那次拒绝记录（一位评审者终于意识到，每条回复孤立来看都显得合理）。轨迹分组显示了重复推荐，但局部评分完全看不到这个问题。所以我们正在尝试确定，哪些内容应该纳入会话级评分，哪些应该写进行为规范。多轮评估可以检查拒绝记录是否在整个会话中持续保留，而轨迹评分可以在重复推荐发生时捕捉到它。我可以把确定性的状态断言设得很严格，但对于用户合理地重新考虑该如何评分，我就不太确定了，不想把它当成同一种失败。你们用什么方法来区分跨越多轮的真实偏好反转与对话状态丢失？
查看原文

相似文章

在把重复工单算进去之前，我们的 AI 智能体投资回报率看起来要好得多。

Reddit r/AI_Agents

作者重新计算 AI 客服代理的投资回报率：原以为 78% 自动关单、11% 重开率很好，但按客户+订单号+意图标签匹配 7 天内的新工单后，发现约 13% 的"已解决"其实是同一问题重开，实际近四分之一仍需人工，单次成功任务成本从 $0.54 升到 $0.71。文中用 Pointfive 做调用追踪、Zendesk 存工单，并询问重复工单的最佳匹配键。

车载对话助手多轮对话的自动化评测

arXiv cs.CL

研究人员提出一个用于评测车载对话助手（ICA）多轮对话能力的自动化黑盒测试框架，采用策略引导的用户模拟器、对抗性策略管理器和两级 LLM 评审器，在工业级 ICA 上验证该方法与人类标注高度一致，并发现 2.96 倍的独特失败类型。

智能体把停止视为失败。这就是问题所在。

Reddit r/AI_Agents

作者指出，AI 智能体的一个核心设计问题是：智能体因完成任务而获得奖励，导致其遇到阻碍时会自行寻找绕过方案（例如，在预订已满时取消旧预订再重新预订）。文章主张，默认应采用白名单式许可，并将「停止」视为正常、可记录、可交还用户处理的合法结果，而非失败。

ThinkingBox：把一个智能体任务解决一次 vs. 解决 20/20：507 个状态化工作流，以终端数据库状态评分 [R]

Reddit r/MachineLearning

微软发布 ThinkingBox-Bench，包含 507 个状态化企业工作流任务，每个任务独立运行 20 次并以终端数据库状态评分，揭示 pass@20 与 all-20 排名几乎完全相反，且 67% 的失败轨迹在完成式代理下会被误判为成功。研究显示发现能力与可重复性对模型的排名差异巨大，Kimi-K3 覆盖最广但重复率低，Claude Opus 5 重复稳定性更高。