标签
介绍了XL-DocBench，这是一个经过人工验证的超长文档理解基准，涵盖六个专业领域的1,519个问题，要求多页证据和结构化推理，表明当前大语言模型在处理长上下文专业文档时仍存在困难。
SaaS-Bench是一个新的基准测试，基于23个可部署的SaaS系统，覆盖六个专业领域，包含106个长周期任务，用于评估计算机使用代理。实验表明，即使是最强的模型，端到端完成任务的比例也不足4%，凸显了当前代理能力的显著限制。