reliability-shift

本文介绍了一个基准测试，用于评估当可靠工具在会话中悄然发生变化时，LLM智能体如何调整其工具选择，借鉴了认知心理学中的集合切换概念。该测试对开放权重LLM进行了评估，并根据工具集合的框架识别出不同的失败模式。