如何让不支持的工具调用响应在LLM基准测试中变得“完全稳定”

Reddit r/artificial 新闻
llm-benchmark tool-calls parsing preprocessing evaluation stability

摘要

LLM基准测试的评分流程可能由于预处理而错误地将不支持的工具调用响应视为稳定的空输出，这凸显了在评估中区分解析失败和真实输出的重要性。

在审查一个LLM输出稳定性基准测试时，我发现其文档范围和评分流程之间存在一个潜在差距。工具调用响应不受支持，但响应解析器可能会将其消除：OpenAI适配器使用message.get("content")或空字符串。一个内容为空的工具调用响应会变成空字符串。Anthropic适配器只保留文本块，丢弃tool_use块。评分器排除了显式错误，但接受空字符串。给定这些样本，评分器会看到相同的空字符串：一个独立输出、字节完全一致的结果，且众数比例为1.0。那将衡量回退机制的稳定性，而不是工具调用的稳定性。需要澄清的是：这是在源代码中追踪到的，而不是在实际运行中重现的。当前的请求构建器从未转发工具，因此现有案例无法到达此路径。维护者检查了所有563个记录的非错误样本：没有一个是空的，并且没有已发布的基准测试受到影响。修复措施强制执行了文档边界：拒绝携带工具的案例，将空的非错误完成标记为不支持，并将其从成功样本中排除。更广泛的教训：预处理可能会消除你意图测量的行为。如果“不支持”成为看似合理的默认值，一个令人安心的分数可能会隐藏缺失的测量。你如何在评估流程中区分不支持的响应、解析失败和真正空的输出？
查看原文

相似文章

StabilityBench：大语言模型不稳定性基准测试

arXiv cs.LG

StabilityBench 是一个基准测试操作符，它将单轮大语言模型评估转化为包含用户模拟和诱导模块的多轮交互，揭示了当前模型中显著的性能不稳定性，并推动了更真实的评估协议。

量化基于LLM的公共话语立场分析中的不稳定来源

arXiv cs.CL

本文提出一个诊断框架，用于在基于LLM的公共话语立场分析中分离预处理流程不稳定性和测量方法不稳定性，发现跨方法的不一致性比流程效应更大且更具系统性，并且聚合指标可能会掩盖这些不稳定性。

超越谄媚评分：任务、模型与压力如何影响大语言模型的退让行为

arXiv cs.CL

该 arXiv 论文研究了大语言模型为何会在用户施压时放弃原本正确的答案，发现任务验证成本和训练中设定的护栏比模型家族或施压策略的影响更为显著。在开启推理模式后，模型面对高难度谜题时的错误采纳率从 19.2% 和 12.5% 降至 0%，为可靠使用大语言模型提供了实用指导。

QuoteBench: 匹配分数如何掩盖命令路径失败

Hugging Face Daily Papers

QuoteBench 揭示了执行边界解析错误显著降低了大型语言模型编程代理的成功率，并且披露边界有助于恢复性能，这表明评估必须考虑部署配置，而不是将匹配分数视为模型的内在属性。