尽可能使代理具有确定性的最佳尝试
摘要
本文讨论了使基于LLM的代理更具确定性的各种技术，例如黄金数据集、护栏、共识机制、回归测试、编码逻辑和超参数调优，并询问其他成功的方法。
我听说过黄金数据集、LLM护栏（不可靠）、n+共识、部署前的回归测试。利用使用逻辑而非LLM的编码工具。调整诸如seed、temp和top_p等参数。有没有其他人们发现非常成功的方法来尽可能实现确定性？
相似文章
我发布过的最可靠的数据代理，其 ~90% 是确定性代码。LLM 只负责解析意图和进行对话。不服来辩。
作者认为，AI 代理的可靠性来自于确定性代码，而非 LLM，并分享了在混乱的真实世界数据上构建可信代理的五项关键实践。
@jianxliao: 如何让代理具有确定性？
@jianxliao 的一条推文提出了如何让AI代理具有确定性的问题，引发了关于可靠性和安全性的讨论。
当智能体框架一半是非确定性的，你如何实际测试它？
关于测试包含非确定性组件的AI智能体框架所面临的挑战的讨论，探讨了黄金输出差异比较和使用LLM作为评判者等方法，同时质疑这些方法的有效性。
当前大多数代理/多代理解决方案是否都是确定性的、可预测的？是否有人接受这种现状？或者你在这些代理（LLM）中发现了什么创造性？
讨论企业AI代理解决方案的当前趋势，该趋势倾向于确定性、可审计的行为，而非创造性、动态的LLM推理，并质疑是否存在任何创造性的代理解决方案。
尝试让 agent loops 更少依赖提示，更具确定性
讨论使 AI agent loops 更少依赖提示、更具确定性的方法，旨在提高 agentic 系统的可靠性和可控性。