论文页面 - RealCLI：迈向面向 CLI 智能体的人机协作统一评估

来源：https://huggingface.co/papers/2610.22507 作者：

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

摘要

REALCLI 是一个联合评估 CLI 智能体任务执行能力和人机协作质量的基准，揭示了可引导性、信任校准和安全管理方面的重大差距\。

命令行界面 (CLI) 智能体执行的任务跨度日益增长，但现有基准要么假设用户指令在整个执行过程中保持不变，要么只评估任务结果，而未能捕捉运行时的协作质量\。本文提出 REALCLI (https://huggingface.co/papers?q=REALCLI)，这是一个配对基准，将真实 CLI 任务中的任务执行评估与人机协作质量评估统一起来\。为全面衡量协作，REALCLI (https://huggingface.co/papers?q=REALCLI) 构建了一个五维框架，并将其具体化为 22 个子维度和 51 个交互场景模板\。REALCLI (https://huggingface.co/papers?q=REALCLI) 提供两种模式以进行配对比较：REALCLI (https://huggingface.co/papers?q=REALCLI)-EXEC 预先提供完整的任务说明，而 REALCLI (https://huggingface.co/papers?q=REALCLI)-COLLAB 则引入按脚本行动的模拟用户，提供渐进式信息 (https://huggingface.co/papers?q=progressive%20information)、纠正、约束修订和授权决策\。评估揭示了前沿智能体在能力上的显著差距：最佳配置的平均得分仅为 49.2%，而使用联合协作得分 (https://huggingface.co/papers?q=joint%20collaboration%20score) (J_{collab}) 评估时，最高表现仅达到 37.6%\。这些结果表明，任务成效与协作质量之间存在显著偏离，模型在可引导性 (https://huggingface.co/papers?q=steerability)、信任校准 (https://huggingface.co/papers?q=trust%20calibration) 和安全边界管理 (https://huggingface.co/papers?q=safety%20boundary%20management) 方面普遍面临困难\。REALCLI (https://huggingface.co/papers?q=REALCLI) 为衡量和推动协作式 CLI 智能体 (https://huggingface.co/papers?q=CLI%20agents) 的发展提供了严谨、可复现的基础\。

查看 arXiv 页面 (https://arxiv.org/abs/2610.22507)查看 PDF (https://arxiv.org/pdf/2610.22507)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.22507)

在你的智能体中获取这篇论文：

hf papers read 2610\.22507

还没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用这篇论文的模型0

暂无模型链接到这篇论文

在模型的 README.md 中引用 arxiv.org/abs/2610.22507，即可从此页面链接到该模型\。

引用这篇论文的数据集0

暂无数据集链接到这篇论文

在数据集的 README.md 中引用 arxiv.org/abs/2610.22507，即可从此页面链接到该数据集\。

引用这篇论文的 Space0

暂无 Space 链接到这篇论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.22507，即可从此页面链接到该 Space\。

收录这篇论文的合集0

暂无合集收录这篇论文

将这篇论文添加到合集 (https://huggingface.co/new-collection)，即可从此页面链接到该合集\。