@rohanpaul_ai:企业智能体的测试通常基于 Mock、狭窄的合成数据集或生产环境,而每种方式都会掩盖不同的问题……

X AI KOLs Following 产品

摘要

Eon 的 Era 会生成一整套完整的模拟企业,并拥有精确的基准答案,通过 MCP 和 REST 接口将数据写入 Salesforce、Zendesk、Jira、Slack 和 Gong,从而在无需人工或大模型裁判的情况下,对企业智能体进行确定性评估。

企业智能体通常是在 Mock、狭窄的合成数据集或真实生产环境中进行测试的,而每一种方式都会掩盖不同的问题。 Eon 推出的 Era 尝试了第四种方案:你只需描述一家公司,它就会生成这样一个企业,并在厂商兼容的 MCP 和 REST 接口后端,将数据写入 Salesforce、Zendesk、Jira、Slack 和 Gong。 由于每条记录都是由 Era 写入的,代码可以直接计算出每个问题的精确答案,而无需借助大模型,因此评分过程不需要人工裁判或模型裁判。 开发者随后可以重置这家模拟公司、更换模型或提示词,并重新运行完全相同的任务,以衡量针对此前失败案例进行的后训练是否带来了提升。
查看原文
查看缓存全文

缓存时间: 2026/10/06 03:35

企业级智能体的测试通常只能基于 mock、狭窄的合成数据集或生产环境,而这三者各自掩盖了不同的问题。

Eon 推出的 Era 尝试了第四种方案:你描述一家公司,它就会生成这家公司,并把数据写入 Salesforce、Zendesk、Jira、Slack 和 Gong,同时提供与各家厂商兼容的 MCP 和 REST 接口。

由于 Era 写入了每一条记录,代码可以直接计算出每个问题的确切答案,无需使用语言模型,因此评分环节既不需要人工评审,也不需要模型评审。

开发者可以重置这家公司、替换模型或提示词,然后重跑完全相同的任务,以衡量在早期失败案例上做后训练是否带来了改善。

Ofir Ehrlich (@OfirEhrlich): 你不可能拿真实公司的数据去安全地测试一个企业级智能体。

所以我们为它造了一家公司,让它在其中工作。

Era 今天已经上线,而且完全免费。

它会生成一个完整的模拟企业,在 Salesforce、Slack、Jira、Zendesk、Gong、Deel 等平台上都表现得像一家真实公司一样运作。

相似文章