论文页面 - 预测信用：衡量科学解释对实验预测的贡献

来源：https://huggingface.co/papers/2610.00314

摘要

研究智能体（research agents）会对其计划中的实验给出解释。我们通过配对预测来测量“预测信用“（predictive credit）：这些预测共享同一干预、预测者和结果变量，而在描述、匹配解释（matched explanation）以及供体上下文（donor context）这三方面有所不同。我们设置五项检查来追踪承诺履行（commitment）、交付情况（delivery）、预测增益（predictive gain）、对齐程度（alignment）以及已知信号的利用情况（known-signal uptake）。在受控学习中的 336 个前瞻状态、12 个 Tox21 端点以及 24 个 OpenML 任务上，v5 的冻结信用判定（frozen credit decision）为不确定。Tox21 中预先注册的 ROC AUC 区间评分伤害检验未达成（D−M=−.0026，95% 区间 [−.0174, .0104]）；OpenML 的联合形成（joint formation）、点等价性（point-equivalence）与可重复性（repeatability）规则同样未达成。匹配方案相对于描述方案的点准确率增益仍未获确认，且 Tox21/OpenML 的种子-供体区间均跨越零。在请求使用 DeepSeek V4 Pro 的条件下，匹配卡片与供体卡片使 Tox21 的次级漂移（secondary drift）分别降低 64.5% 和 59.1%。使用 DeepSeek V4 Flash 重放时，匹配方案的点 MAE 从 .01823 升至 .02020，且未能达到匹配与供体之间的区间评分等价性。OpenML 的全卡片赋值使名义 80% 区间加宽了 21%，其中覆盖率分别为 49.3%（全卡片赋值）与 51.4%（描述与内容），且内容仅出现在 66/144 张卡片中。直接使用 Flash 文本交付了全部 144 条笔记，但未带来可检测的匹配点准确率增益。由研究人员撰写的机制正对照（mechanism positive control）使点 MAE 相比描述方案降低了 2.60 个百分点。该协议可用于测量研究智能体基准和科学预测中的预测信用；在所测试的供体分辨率下，自然解释的信用仍未获确认。

查看 arXiv 页面 (https://arxiv.org/abs/2610.00314) 查看 PDF (https://arxiv.org/pdf/2610.00314) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.00314)

引用本文的模型 0

没有模型链接到此论文

在模型 README.md 中引用 arxiv.org/abs/2610.00314，即可从此页面链接过去。

引用本文的数据集 0

没有数据集链接到此论文

在数据集 README.md 中引用 arxiv.org/abs/2610.00314，即可从此页面链接过去。

引用本文的 Spaces 0

没有 Space 链接到此论文

在 Space README.md 中引用 arxiv.org/abs/2610.00314，即可从此页面链接过去。

包含本文的合集 0

没有合集包含此论文

将本文添加到一个合集 (https://huggingface.co/new-collection)，即可从此页面链接过去。