相似的提示在每次运行时可能会生成不同的智能体计划，而我依然没有很好的测试方案

在Hospilot中，一个目标通过LLM被转化为一系列智能体的管道——不是从固定列表中选择，而是根据目标文本实际决定使用哪些智能体以及它们的顺序。说实话，这就是关键所在，这正是它对于未预先定义的任务有用的原因。烦人的是，运行两次相似的提示，你可能会得到不同的图。这不一定错误，通常各自都没问题，只是不同。当有人类监督并随意选择时还好，但当你试图编写一个测试说“给定这个目标，管道应该像X”时，情况就糟糕多了，而X在每次运行中并不稳定。像正常测试那样假设确定性——相同输入永远相同输出，直到你修改代码。这个假设在这里完全不成立。代码没变，提示几乎没变，输出仍然不保证匹配。我们所做的不是断言精确的图，而是断言它的属性——它是否包含了此类目标必须有的智能体，是否遵守了传入的任何约束，是否避免了超出范围的内容。这比精确匹配弱，但至少测试的是真实的东西，而不是“模型今天是否和上周二一样感觉”。有人找到了比基于属性的检查更好的方法吗？测试LLM决策中允许变化但不允许错误的部分，感觉像是一个独立的学科，而我读过的大多数测试建议完全不适用于此。