论文页面 - 无知还是无能？为LLM智能体构建知识门控的可验证任务

来源：https://huggingface.co/papers/2608.30322

摘要

一种协议将任务指令与私有约定构件分离，以显式测试智能体对隐藏知识的依赖性，并通过校准任务验证了在无权限访问时性能接近于零。

专业智能体任务通常依赖于公共语料库中缺失的约定，然而基准测试很少控制智能体是否能够访问这些约定。我们引入了知识门控任务构建 (https://huggingface.co/papers?q=knowledge-gated%20task-construction) 协议，该协议将任务指令与一个包含私有约定、参考表和实用操作符的紧凑构件分离。构建时溯源 (https://huggingface.co/papers?q=provenance)、在提供与扣留构件条件下字节完全一致的任务指令、泄露审计 (https://huggingface.co/papers?q=leak%20audits) 和可执行见证 (https://huggingface.co/papers?q=executable%20witnesses) 使得对构件的依赖性变得明确且可测试。在十五个校准任务 (https://huggingface.co/papers?q=calibration%20tasks) 中，一个前沿智能体 (https://huggingface.co/papers?q=frontier%20agent) 配置在有构件时通过率为68.0%，无构件时为0%；在一个任务上，一个看似合理但错误的构件在五次试验中也产生0%的结果。确定性求解器 (https://huggingface.co/papers?q=Deterministic%20solvers) 和规则语料库 (https://huggingface.co/papers?q=rule%20corpora) 为结构化任务提供了精确的 ground truth，而命名标准级评分标准 (https://huggingface.co/papers?q=criterion-level%20rubrics) 支持无法由单一可执行预言机检查的输出。一个相对配置的校准筛选保留了七个满足我们五次实证知识门控筛选的任务。这些实验验证了构建协议的行为；它们并未证明保留的任务能改进训练后性能。我们在 https://github.com/DatagridsAI/Knowledge-Gated-Task-Construction 公开了部分任务套件和支持工具。

查看arXiv页面 (https://arxiv.org/abs/2608.30322)查看PDF (https://arxiv.org/pdf/2608.30322)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.30322)

在你的智能体中获取这篇论文：

hf papers read 2608\.30322

没有最新的CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型0

没有模型链接到本文

在模型README.md中引用 arxiv.org/abs/2608.30322 以从本页面链接它。

引用本文的数据集0

没有数据集链接到本文

在数据集README.md中引用 arxiv.org/abs/2608.30322 以从本页面链接它。

引用本文的Space0

没有Space链接到本文

在Space README.md中引用 arxiv.org/abs/2608.30322 以从本页面链接它。

包含本文的合集0

没有合集包含本文

将本文添加到合集 (https://huggingface.co/new-collection) 以从本页面链接它。