标签
一个跨 4 个产品团队的实践观察：在 12800 个行程预订会话（每会话 5 轮，共 64000 轮）中，单轮相关性高达 97.6%，但约 7.4%（947 个会话）在第 4 轮前因压缩对话状态丢失用户拒绝记录，重新推荐已被拒绝的行程。作者讨论如何划分会话级评分与行为规范，并询问如何区分真正的偏好反转与丢失的对话状态。
本文评估了开源权重指令微调的语言模型在长对抗性对话中能否保持安全行为，发现在第1轮时安全回应率为85-100%，到第101轮时降至15-44%，表明强大的单轮安全性并不能在持续交互中保持。
本文介绍了 MT-InfoSeek，一个用于评估 LLMs 多轮信息检索能力的可控评估套件，揭示模型低估缺失信息，并在跨领域欠规范增加时表现不佳。
Design Arena宣布推出Agentic Game Development，这是一种新的多文件、多轮评估，可访问资产目录、内置库（如Howler和Tween.js），并扩展了用于精灵生成和资产发现的工具调用。