标签
一位从业者探讨了在姓名冲突情况下如何正确测试编辑记录的 AI Agent，提出应基于最终状态而非工具调用成功与否进行检查，并讨论了是在工具选择层面、数据库层面还是两个层面同时进行评估，以及如何在不鼓励不必要的提问的前提下，对正确的澄清请求进行评分。
分析显示，GPT 5.5 在 SWEBench Pro 上的失败中有 28.9% 是由于损坏或错误的测试用例所致，类似问题也影响了其他主要 AI 基准测试，引发了对当前评估方法准确性的担忧。