尽可能使代理具有确定性的最佳尝试
摘要
本文讨论了使基于LLM的代理更具确定性的各种技术，例如黄金数据集、护栏、共识机制、回归测试、编码逻辑和超参数调优，并询问其他成功的方法。
我听说过黄金数据集、LLM护栏（不可靠）、n+共识、部署前的回归测试。利用使用逻辑而非LLM的编码工具。调整诸如seed、temp和top_p等参数。有没有其他人们发现非常成功的方法来尽可能实现确定性？
相似文章
我发布过的最可靠的数据代理，其 ~90% 是确定性代码。LLM 只负责解析意图和进行对话。不服来辩。
作者认为，AI 代理的可靠性来自于确定性代码，而非 LLM，并分享了在混乱的真实世界数据上构建可信代理的五项关键实践。
@jianxliao: 如何让代理具有确定性？
@jianxliao 的一条推文提出了如何让AI代理具有确定性的问题，引发了关于可靠性和安全性的讨论。
当智能体框架一半是非确定性的，你如何实际测试它？
关于测试包含非确定性组件的AI智能体框架所面临的挑战的讨论，探讨了黄金输出差异比较和使用LLM作为评判者等方法，同时质疑这些方法的有效性。
尝试让 agent loops 更少依赖提示，更具确定性
讨论使 AI agent loops 更少依赖提示、更具确定性的方法，旨在提高 agentic 系统的可靠性和可控性。
少推理，多验证：确定性门控机制修复工具使用型LLM智能体中的静默策略违规故障模式
本文识别了工具使用型LLM智能体中的一种静默故障模式，其中策略违规发生时既无工具错误，也无智能体自我报告。作者提出并评估了轻量级确定性预执行门控机制，该机制在τ²-bench航空领域显著减少了此类故障。