论文页面 - 先验审计-修复上下文使LLM验证器阈值趋向宽松

来源：https://huggingface.co/papers/2608.16003

摘要

上下文中的先验审计和修复场景通过改变决策阈值而非区分度来减少误报，其中修复内容和审计结论对不同模型家族具有互补影响。

自动化检查流程越来越多地使用一个语言模型作为检查器，另一个（或同一个）模型作为修复器。我们探究这种配置是否会改变检查器的报告结果。通过在人类验证正确的ProcessBench跟踪上测量误报（https://huggingface.co/papers?q=false%20alarms），并保持当前任务字节级一致，我们发现模型上下文中已完成的审计（https://huggingface.co/papers?q=audit）->修复（https://huggingface.co/papers?q=repair）场景在15种模型×措辞组合中均降低了误报（https://huggingface.co/papers?q=false%20alarms），相比长度匹配的非审计（https://huggingface.co/papers?q=audit）对照组降低了2.8至11.5个百分点，相对减少9%至25%。这一方向与累积消息文献的预测相矛盾：即使在该操纵效果完全呈现的模型上，报告错误的审计（https://huggingface.co/papers?q=audit）场景在所有五种措辞下会进一步降低误报（https://huggingface.co/papers?q=false%20alarms），尽管负面不对称性预测应增加标记数量。场景分解发现修复（https://huggingface.co/papers?q=repair）内容和审计（https://huggingface.co/papers?q=audit）结论具有互补性：不同组件对不同模型家族产生影响。信号检测分析（https://huggingface.co/papers?q=Signal-detection%20analysis）显示变化发生在阈值（https://huggingface.co/papers?q=threshold）而非区分度（https://huggingface.co/papers?q=discrimination）——在15种组合中有15种标准值发生移动且在13种中通过校正，而d’（https://huggingface.co/papers?q=d%27）无一通过，尽管d’检验本身灵敏度只有前者一半——且对50个误报（https://huggingface.co/papers?q=false%20alarms）的人工审计发现82%确实错误，因此在此运行点上该偏移未必有害。启用推理（https://huggingface.co/papers?q=reasoning）后，该效应在测试的两种模型上保持相对大小，阈值（https://huggingface.co/papers?q=threshold）读数在此同样成立。

查看arXiv页面 (https://arxiv.org/abs/2608.16003) 查看PDF (https://arxiv.org/pdf/2608.16003) GitHub0 (https://github.com/parsa-mz/crtitxer) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.16003)

通过代理获取本文： hf papers read 2608\.16003 没有最新CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型 0

无关联本文的模型 在模型README.md中引用arxiv.org/abs/2608.16003以从本页链接。

引用本文的数据集 0

无关联本文的数据集 在数据集README.md中引用arxiv.org/abs/2608.16003以从本页链接。

引用本文的空间 0

无关联本文的空间 在空间README.md中引用arxiv.org/abs/2608.16003以从本页链接。

包含本文的合集 0

无包含本文的合集 将本文添加到合集 (https://huggingface.co/new-collection) 以从本页链接。