UniClawBench：面向现实世界任务的主动智能体通用基准

Hugging Face Daily Papers 论文
benchmark proactive-agents large-language-models multimodal real-world-evaluation docker agent-frameworks

摘要

UniClawBench 提出了一个以能力为导向的基准，用于评估在动态现实世界环境中运行的主动智能体，采用实时 Docker 容器和包含多个智能体角色的闭环评估策略。

大型语言模型和多模态大型语言模型的快速发展加速了能够操作日常工具并在现实世界中协助用户的主动智能体的出现。然而，现有基准难以有效评估此类智能体，因为它们通常依赖沙盒环境和单轮评估范式。此外，其基于场景的任务分类将多种模型能力混合在同一任务类别中，导致难以识别智能体失败的根本原因。为解决这些局限性，我们提出了 UniClawBench，这是首个旨在动态现实世界环境中评估主动智能体的能力驱动的基准。UniClawBench 围绕五种基础模型能力构建：技能使用、探索、长上下文推理、多模态理解和跨平台协调。基于这些能力，我们设计了 400 个双语现实世界任务。与依赖静态预录答案的以往基准不同，我们的基准使用细粒度的逐步完成检查点，在实时 Docker 容器中评估智能体。此外，我们设计了一种闭环评估策略，包括执行智能体、隐藏监督智能体和用户智能体，以模拟真实的多轮人类反馈，同时不泄露评分标准。为了将基础模型能力与框架级设计选择分离开来，我们在多个智能体框架下评估了最先进的模型。通过对模型和框架的全面比较，我们展示了基础模型能力和智能体框架设计如何在现实世界环境中共同塑造性能。为促进未来研究，我们在 https://github.com/HKU-MMLab/UniClawBench 公开了我们的基准和代码。
查看原文
查看缓存全文

缓存时间: 2026/07/10 06:15

论文页面 - UniClawBench: 面向真实世界任务的主动型智能体通用基准测试

来源：https://huggingface.co/papers/2607.08768

摘要

UniClawBench 提出了一种能力驱动的基准测试方法，通过基于实时 Docker 容器的评测与闭环评估机制（包含多种智能体角色），对在真实世界环境中运行的主动型智能体进行评价。

大语言模型 (https://huggingface.co/papers?q=large%20language%20models) 与多模态大语言模型 (https://huggingface.co/papers?q=multimodal%20large%20language%20models) 的快速发展，加速了能够操作日常工具并协助用户的主动型智能体 (https://huggingface.co/papers?q=proactive%20agents) 在真实世界环境 (https://huggingface.co/papers?q=real-world%20environments) 中的涌现。然而，现有的基准测试难以有效评估这类智能体，因为它们往往依赖沙盒环境和单轮交互评估范式。此外，这些基准基于场景的任务分类将多种模型能力混合在同一个任务类别中，导致难以定位智能体的失败根源。为解决这些局限，我们提出 UniClawBench——首个面向动态真实世界环境的能力驱动型基准测试 (https://huggingface.co/papers?q=capability-driven%20benchmark)，专门用于评估主动型智能体 (https://huggingface.co/papers?q=proactive%20agents)。UniClawBench 围绕五项基础模型能力构建：技能调用 (https://huggingface.co/papers?q=Skill%20Usage)、探索 (https://huggingface.co/papers?q=Exploration)、长上下文推理 (https://huggingface.co/papers?q=Long-Context%20Reasoning)、多模态理解 (https://huggingface.co/papers?q=Multimodal%20Understanding) 以及跨平台协调 (https://huggingface.co/papers?q=Cross-Platform%20Coordination)。基于这些能力，我们设计了 400 项双语真实世界任务。与以往依赖静态预录答案的基准不同，我们的方法在实时 Docker 容器 (https://huggingface.co/papers?q=Docker%20containers) 中评估智能体，并使用细粒度的逐步完成检查点。此外，我们设计了一种闭环评估 (https://huggingface.co/papers?q=closed-loop%20evaluation) 策略，包含执行智能体 (https://huggingface.co/papers?q=executor%20agent)、隐藏监督智能体 (https://huggingface.co/papers?q=supervisor%20agent) 和用户智能体 (https://huggingface.co/papers?q=user%20agent)，以模拟真实的多轮人机反馈，同时不泄露评分标准。为了区分基础模型能力与框架层面的设计选择，我们在多种智能体框架下评估了当前最先进的模型。通过对模型和框架的全面比较，我们展示了基础模型能力和智能体框架设计如何共同影响在真实世界环境 (https://huggingface.co/papers?q=real-world%20environments) 中的性能。为促进未来研究，我们将基准测试和代码公开发布于 https://github.com/HKU-MMLab/UniClawBench。

查看 arXiv 页面 (https://arxiv.org/abs/2607.08768) | 查看 PDF (https://arxiv.org/pdf/2607.08768) | 项目页面 (https://uniclawbench.github.io/) | GitHub0 (https://github.com/HKU-MMLab/UniClawBench) | 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.08768)

在您的智能体中获取本论文：

hf papers read 2607\.08768

没有最新 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本论文的模型0

没有模型链接此论文

请在模型 README.md 中引用 arxiv.org/abs/2607.08768 以在此页面链接。

引用本论文的数据集0

没有数据集链接此论文

请在数据集 README.md 中引用 arxiv.org/abs/2607.08768 以在此页面链接。

引用本论文的 Space0

没有 Space 链接此论文

请在 Space README.md 中引用 arxiv.org/abs/2607.08768 以在此页面链接。

包含本论文的收藏0

没有收藏包含此论文

请将本论文添加到收藏 (https://huggingface.co/new-collection) 中以在此页面链接。

相似文章

WildClawBench：真实世界长周期智能体评估基准

Hugging Face Daily Papers

WildClawBench 使用真实的命令行界面环境和实际工具，评估语言和视觉-语言模型在现实长周期任务上的表现。该基准测试显示，即使最佳模型也仅达到62.2%的准确率，表明长周期智能体评估仍具有挑战性。