@LangChain:很高兴与 @Eon_io_ 团队合作,对企业环境中的模型不对齐问题进行基准评测。第一个问题…
摘要
LangChain 宣布与 Eon 合作,在企业环境中对模型对齐性进行基准测试,重点考察模型在 Deep Agents 框架中运行时结果是否会改变;此前 Eon 的研究显示,19 个领先 AI 模型在模拟企业环境的 2,304 次运行中,有 40% 违反了安全和业务规则。
查看缓存全文
缓存时间: 2026/10/30 09:13
很高兴能与 @Eon_io_ 团队合作,对企业环境中的模型失准进行基准测试。
我们正在深入探究的第一个问题是:当模型在 Deep Agents 框架内运行时,结果是否会发生变化?敬请期待更多研究成果。
Ofir Ehrlich (@OfirEhrlich): 我们刚刚完成了迄今为止最全面的企业环境 AI 智能体对齐基准测试:
19 款领先的 AI 模型作为智能体,在使用 Era 构建的模拟公司中执行 41 项日常任务,共运行了 2,304 次。
在其中 40% 的运行中,智能体违反了安全和业务规则。
相似文章
@LangChain:@OrangeBusiness 如何在其企业 AI 平台中评估 Agent:RAG 质量:黄金数据集、检索召回率、答案忠实度等
Orange Business 分享其企业 AI 平台 Live Intelligence 如何基于 LangChain 与 LangSmith 构建,涵盖 RAG 质量评估、Agent 行为测试与生产环境可观测性。该平台已在 12 万员工中部署并服务 150+ 客户,选择 LangChain 主要出于模型中立性与欧洲数据主权考虑。
LangChain:为你的代理添加技能、更换模型、微调工具描述。如何确保不破坏已正常运行的功能……
LangChain 宣布与 @harborframework 联合推出 Managed Deep Agents,该服务提供基于容器的评估,所有更改均在 LangSmith 中跟踪,以确保对 AI 代理技能和模型的安全修改。
@LangChain: 微调开源模型可以超越或匹配前沿模型。基础 @Alibaba_Qwen 开箱即有良好的提示能力:强…
使用LoRA微调像阿里巴巴Qwen这样的开源模型,可以在错误分类任务上匹配或超越前沿模型性能。
@LangChain:智能体运营模式帮助企业团队理清这些问题:谁负责智能体的开发与运营……
LangChain 宣布举办一场关于智能体运营模式的线上研讨会,探讨企业团队应如何规划职责归属、标准化、治理以及基础设施,以实现生产级 AI 智能体的规模化落地。
@Kimberl9633: LangChain 今天连发两记,直接把 agent reliability 往前推了一步:一套统一评估栈,一个不用完整沙箱的代码执行方案。 先说评估。长运行、有状态的 agent 怎么测?Harbor + LangSmith 的组合给出…
LangChain 发布了统一评估栈(Harbor + LangSmith)和基于 WASM+QuickJS 的进程内代码执行方案,旨在提升 AI agent 的评估可靠性与执行安全性。