@rohanpaul_ai:企业智能体的测试通常基于 Mock、狭窄的合成数据集或生产环境,而每种方式都会掩盖不同的问题……
摘要
Eon 的 Era 会生成一整套完整的模拟企业,并拥有精确的基准答案,通过 MCP 和 REST 接口将数据写入 Salesforce、Zendesk、Jira、Slack 和 Gong,从而在无需人工或大模型裁判的情况下,对企业智能体进行确定性评估。
查看缓存全文
缓存时间: 2026/10/06 03:35
企业级智能体的测试通常只能基于 mock、狭窄的合成数据集或生产环境,而这三者各自掩盖了不同的问题。
Eon 推出的 Era 尝试了第四种方案:你描述一家公司,它就会生成这家公司,并把数据写入 Salesforce、Zendesk、Jira、Slack 和 Gong,同时提供与各家厂商兼容的 MCP 和 REST 接口。
由于 Era 写入了每一条记录,代码可以直接计算出每个问题的确切答案,无需使用语言模型,因此评分环节既不需要人工评审,也不需要模型评审。
开发者可以重置这家公司、替换模型或提示词,然后重跑完全相同的任务,以衡量在早期失败案例上做后训练是否带来了改善。
Ofir Ehrlich (@OfirEhrlich): 你不可能拿真实公司的数据去安全地测试一个企业级智能体。
所以我们为它造了一家公司,让它在其中工作。
Era 今天已经上线,而且完全免费。
它会生成一个完整的模拟企业,在 Salesforce、Slack、Jira、Zendesk、Gong、Deel 等平台上都表现得像一家真实公司一样运作。
相似文章
@omarsar0:如果你在构建 agent,要关注这个。模拟公司对于提升 agentic 产品…
Era by Eon 是一款免费工具,可在 Salesforce、Slack、Jira、Zendesk、Gong 和 Deel 等平台上生成完整的企业模拟环境,让你无需使用真实公司数据,就能安全、可重复地测试 AI agent。
Era by Eon 基准测试:用于评估LLM代理的生成型企业环境,具有精确的基准真相
Era by Eon 基准测试生成一个完整的虚构企业,包含模拟器和数据库,用于评估LLM代理在企业工具上的表现,提供精确的基准真相以实现准确评分。
@svpino:这是测试 AI 智能体的一种非常全面的方式:用一句话描述一个业务(任意业务),该应用就会生成……
Era 是 Ofir Ehrlich 刚刚推出的免费工具,它可以在 Salesforce、Slack、Jira、Zendesk、Gong 和 Deel 等多个系统中生成一家完整的合成公司,让开发者能够在真实感极强的企业数据上安全地测试 AI 智能体,并且可以随时重置数据。
EnterpriseClawBench:基于真实工作会话的智能体基准测试
EnterpriseClawBench 提出了一个基于真实工作场景的企业智能体基准,包含 852 个可复现任务以及超越单一性能分数的综合评估指标。
@levie:相当一部分智能体的采用与部署,受制于能否在“真实”工作环境中测试、调优和优化智能体
Aaron Levie 认为,智能体采用的主要瓶颈在于难以在真实工作环境中测试和调优智能体,并介绍了 Era 推出的一个覆盖 Salesforce、Slack、Jira、Zendesk、Gong 和 Deel 的免费模拟企业环境。