评估的好坏只取决于意图？

大多数人构建评估是为了让代理在自主运行时保持一定的可靠性。但即使是最好的评估，其好坏仍取决于表述的意图。我看到的主要问题是，大多数传统软件工程师一直在努力获取正确、明确的需求，并缩小'按设计工作'与'按意图工作'之间的差距。现在，经典测试用例是二元的：如果事情不完全符合规范，则失败，因此错误能够快速且容易地检测到。但即便如此，也并非总是可靠。现在我们有了AI代理，而正是那些几十年来未能提供良好需求的人——现在正在为高风险的自动化构建一些评估，还'lgtm？'你实际上如何为代理行为分配责任，当： - 设计它的人不知道如何测试它？ - 知道如何设计和测试它的人不知道发生了什么？ - 负责的人对设计内容毫无头绪？ - 当事情出错时不得不承受压力的人从未参与决策？ 这不是一个技术问题，我不认为'更好的自动化'是答案。