原来你的工具调用在某些模型上随机失败的原因并不随机

Reddit r/AI_Agents 工具

摘要

在16个模型上测试了30种Schema约束后发现,每个提供商都以不同方式处理约束,导致随机的工具调用失败。简单的修复方法:将约束文本移到属性描述中,而不是依赖提示词。

我们团队里的人一直在说类似'在Claude上能用,在Kimi K3上就崩了'这样的话,我们一时半会儿也搞不清原因。于是我们测试了16个模型上的大约30种不同的Schema约束,结果每个提供商都以自己愚蠢的方式出问题。OpenAI的推理模型如果遇到不喜欢的Schema属性,就会直接报错。Gemini更糟,说实话,它连错误都不报,只是默默忽略约束,然后像什么都没发生一样继续运行。你直到后来才会发现这个问题,而且调试起来很烦人。DeepSeek和Llama有时候即使你用大写字母求它,它都直接不调用工具。不过最终修复起来却出奇简单。我们只是把约束文本移到了属性描述里,而不是和提示词较劲。说实话现在觉得有点虎头蛇尾。
查看原文

相似文章

你最强的模型可能不是最佳的工具调用者

Reddit r/AI_Agents

本文认为,工具调用的可靠性往往不与模型能力成正比;较小的模型在遵循模式和格式规范方面可能超越较大的模型,这表明原始能力并非选择工具调用模型的唯一因素。

更好的模型:更差的工具

Hacker News Top

较新的Claude模型(Opus 4.8和Sonnet 5)在工具调用行为上表现更差,它们会在工具调用参数中发明额外的字段,导致验证失败,与旧模型相比是一种倒退。

每一轮都输出所有 MCP 工具的模式定义,是运行框架的一个 bug

Reddit r/AI_Agents

文章讨论了在每个回合中把所有 MCP 工具 schema 塞进上下文是一种 harness 缺陷,会导致选错工具和 token 浪费;业界正在收敛到渐进式发现(progressive discovery)方案,如 Claude Code 的 MCP Tool Search 和 OpenAI 的延迟加载工具搜索,可减少 85% 以上的工具定义开销。