real-world-data

本文介绍了DataGovBench，这是一个源自政府开放数据的基准测试，旨在评估大语言模型在现实数据分析任务上的表现，包括表格问答和洞察发现。实验表明，当前的大语言模型在复杂数据分析场景中仍然表现不佳。

AI代理在生产环境中常常失败，因为它们无法访问真实的业务数据、内部文档和实时客户背景。要成功，它们需要真实的内容、实时数据集成、清晰的交接以及人工监督。

讨论了AI智能体工作流真实数据集的稀缺性，指出现有基准测试未能捕捉到混乱的生产场景，如工具故障、模糊请求和长时间对话漂移，并寻求更好的数据集推荐。