论文页面 - 分数本身并不能证明发现：用于审计AI研究代理的发现认证协议

来源：https://huggingface.co/papers/2609.09219

摘要

发现认证协议通过可执行的恢复测试、受控审计和带有有限样本恢复界的确定性验证，来验证AI研究代理的结果。

AI研究代理结合先验知识、公开资源和实验反馈以产生有用的结果。发现认证协议 (https://huggingface.co/papers?q=Discovery%20Certification%20Protocol) (DCP) 将关于这些结果的主张转化为可执行的恢复与反馈测试 (https://huggingface.co/papers?q=recovery%20and%20feedback%20tests)。第一道关卡在密封评估 (https://huggingface.co/papers?q=sealed%20evaluation) 上验证了有效的改进。第二道关卡向匹配的代理提供注册的初始信息和观察到的网络内容，同时隐藏目标研究历史。每个达到数值目标的有效方法都会提供一个恢复见证并触发核心否决 (https://huggingface.co/papers?q=Core%20veto)。DCP核心要求充分的对照组、零观察恢复，以及一个关于单个新注册片段中恢复的有限样本界 (https://huggingface.co/papers?q=finite-sample%20bound)。可选的第三道关卡测量从共享检查点开始，真实反馈相对于特定中立策略的平均效应。DCP证据在独立的零点校准 (https://huggingface.co/papers?q=null%20calibration) 和注册的效应边际之后添加了该效应。两次受控审计在不同的模型下，分别针对SQLite优化 (https://huggingface.co/papers?q=SQLite%20optimization) 和虚拟催化剂控制 (https://huggingface.co/papers?q=virtual%20catalyst%20control) 演练了完整协议。每次都在96个片段中产生了零恢复，其上界为0.0468。每项配对研究都产生了30个真实恢复和零个中性恢复，并通过了60对零点研究。其他案例则演练了核心、恢复和审计不完整的决策。一个确定性的、不依赖LLM的验证器 (https://huggingface.co/papers?q=LLM-free%20verifier) 从冻结的证据 (https://huggingface.co/papers?q=frozen%20evidence) 重现了决策。DCP为AI研究中有用的结果、替代路径和反馈效应提供了一种通用的证据语言。

查看arXiv页面 (https://arxiv.org/abs/2609.09219)查看PDF (https://arxiv.org/pdf/2609.09219)项目页面 (https://cxcscmu.github.io/Discovery-Certification-Protocol/)GitHub0 (https://github.com/cxcscmu/Discovery-Certification-Protocol)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.09219)

获取代理中的此论文：

hf papers read 2609\.09219

没有最新的CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型链接此论文

在模型README.md中引用arxiv.org/abs/2609.09219以从此页面链接。

引用此论文的数据集0

没有数据集链接此论文

在数据集README.md中引用arxiv.org/abs/2609.09219以从此页面链接。

引用此论文的Spaces0

没有Space链接此论文

在Space README.md中引用arxiv.org/abs/2609.09219以从此页面链接。

包含此论文的收藏集0

没有收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection)以从此页面链接。