PolyWorkBench: 多语言长周期LLM智能体基准测试

arXiv cs.AI 论文
multilingual benchmark llm-agents long-horizon evaluation workflow

摘要

介绍PolyWorkBench，一个用于评估LLM智能体在多语言长周期职场工作流中的表现的基准测试，涵盖五个领域，并展示了与单语言设置相比显著的性能下降。

arXiv:2607.06008v1 公告类型: 新 摘要：大语言模型（LLM）智能体在需要规划、工具使用以及与外部环境交互的长周期任务中表现出色。然而，现有的大多数基准测试隐含地假设了单语言设置，即整个执行过程（包括推理、工具调用和输出生成）都在单一语言内进行。相比之下，现实应用通常涉及统一工作流中的多语言输入和输出，但多语言性与智能体执行之间的相互作用尚未得到充分探索。在这项工作中，我们提出了PolyWorkBench，一个用于评估LLM智能体在多语言长周期职场工作流中表现的基准测试。PolyWorkBench包含来自五个领域（包括商务、知识工作、法律分析、本地化和制造业）的67个任务，智能体必须处理异构的多语言输入、执行迭代推理、调用外部工具并生成结构化输出。为了实现全面评估，我们提出了一种混合框架，结合了结构化评分、可执行验证和基于LLM的语义评估。这种设计使我们能够捕捉复杂工作流中的功能正确性和语言一致性。实验结果表明，与单语言环境相比，最先进的LLM智能体在多语言工作流设置中性能显著下降。我们的分析表明，多语言性在推理和执行步骤中引入了复合效应，凸显了在智能体评估中联合建模语言变异和程序决策的重要性。
查看原文
查看缓存全文

缓存时间: 2026/07/08 04:39 

# PolyWorkBench: 多语言长周期LLM智能体基准评测
来源: https://arxiv.org/abs/2607.06008
查看PDF (https://arxiv.org/pdf/2607.06008)

> 摘要:大型语言模型(LLM)智能体在需要规划、工具使用以及与外部环境交互的长周期任务中展现了强劲性能。然而，现有基准评测大多隐式假设为单语言设定，即整个执行过程（包括推理、工具调用和输出生成）均在单一语言内完成。相比之下，实际应用场景往往需要在一个统一工作流中处理多语言输入与输出，但多语言性与智能体执行之间的交互关系仍未得到充分探索。为此，本文提出 PolyWorkBench——一个用于评估LLM智能体在多语言长周期工作场景中能力的基准评测。PolyWorkBench包含67个任务，覆盖商务、知识工作、法律分析、本地化和制造五个领域，要求智能体处理异构的多语言输入、进行迭代推理、调用外部工具并生成结构化输出。为支持全面评估，我们提出一个混合评估框架，结合结构化评分、可执行性验证和基于LLM的语义评估。该设计使我们能够同时捕获复杂工作流中的功能正确性与语言一致性。实验结果表明，与单语言场景相比，最先进的LLM智能体在多语言工作流设定下性能显著下降。我们的分析表明，多语言性在推理与执行步骤中产生复合效应，凸显了在智能体评估中联合建模语言变异与程序化决策的重要性。

## 提交历史

来自: Hongliang Li [查看邮件 (https://arxiv.org/show-email/19d056db/2607.06008)] **\[v1\]** 2026年7月7日星期二 08:50:09 UTC (2,256 KB)

相似文章