论文页面 - RuleTrek：复杂场景下的智能体规则推理基准

来源：https://huggingface.co/papers/2610.19698

作者：

,

,

,

,

,

,

,

,

,

,

,

摘要

RuleTrek 是一个多领域基准，用于评估大语言模型智能体在复杂多文件场景中识别、推导和应用领域特定规则的能力，揭示了显著的性能差距。

大语言模型（LLMs）日益被用于处理专业领域的复杂现实任务。然而，当场景信息分布在多个文件中时，识别并正确应用领域特定规则仍然极具挑战。现有的规则推理基准通常仅用少量事实性陈述来表示场景，从而简化了规则识别与应用的难度。为弥补这一不足，本文提出了 RuleTrek（https://huggingface.co/papers?q=RuleTrek），一个面向复杂场景中智能体规则推理的多领域基准。其基于规则的构建（https://huggingface.co/papers?q=rule-grounded%20construction）流程会提取结构化规则图（https://huggingface.co/papers?q=structured%20rule%20graphs），生成并增量式地组合规则特定子场景（https://huggingface.co/papers?q=rule-specific%20sub-scenarios），同时确保一致性和可解性。为了系统地评估复杂场景下的智能体规则推理能力，RuleTrek（https://huggingface.co/papers?q=RuleTrek）在交互式工作空间中评估三项能力：规则识别（https://huggingface.co/papers?q=Rule%20Identification）（RI）、规则推导（https://huggingface.co/papers?q=Rule%20Deduction）（RD）以及端到端规则推理（https://huggingface.co/papers?q=End-to-End%20Rule%20Reasoning）（E2E）。在 11 个前沿 LLM 上的实验表明，最高的 RI 和 RD 分数仅为 62.47% 和 60.43%，而 E2E 分数介于 26.97% 到 55.29% 之间。这些结果表明，当前的 LLM 智能体（https://huggingface.co/papers?q=LLM%20agents）在复杂场景的规则推理方面面临巨大挑战。我们将代码和数据集公开发布在 https://github.com/yuan247/RuleTrek（https://huggingface.co/papers?q=RuleTrek）。

查看 arXiv 页面（https://arxiv.org/abs/2610.19698）查看 PDF（https://arxiv.org/pdf/2610.19698）GitHub0（https://github.com/yuan247/RuleTrek）添加到收藏集（https://huggingface.co/login?next=%2Fpapers%2F2610.19698）

在您的智能体中获取此论文：

hf papers read 2610.19698

没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

暂无模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2610.19698 以从此页面链接。

引用此论文的数据集 0

暂无数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2610.19698 以从此页面链接。

引用此论文的 Spaces 0

暂无 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2610.19698 以从此页面链接。

包含此论文的收藏集 0

暂无收藏集包含此论文

将此论文添加到收藏集（https://huggingface.co/new-collection）以从此页面链接。