AI是否应该更多地反问人类？

Reddit r/AI_Agents 新闻
ai-agents human-ai-interaction ai-safety collaboration design-philosophy

摘要

本文认为，AI代理不应只是顺从地执行任务，而应在任务模糊、矛盾或存在风险时主动质疑人类，从而从工具转变为真正的协作者。

目前，大多数AI对我们过于顺从。 人类 -> AI：“构建这个。使用这些权限。不要动支付。” AI -> 人类：“好的，我会照做。” 但或许更好的未来是： AI -> 人类：“我可以做到，但你的目标似乎不够明确。” “你说速度很重要，但这个选择增加了风险。” “我需要你决定你到底想要什么样的权衡。” 我们一直在讨论AI代理，似乎主要问题是给它们更多工具、更多权限、更多自主权。 但或许真正的界面问题在于AI仍然过于顺从。 一个好的代理不应仅仅是执行。它应该在任务模糊、矛盾、有风险或策略上不明智时提出质疑。 不是以那种烦人的“作为一个AI语言模型”的方式，而是像一个敏锐的协作者那样说：“等等。在我做这件事之前，你需要做一个决定。” 如今是人类提示AI。但真正有用的代理也应该更多地提示人类。 不是持续不断，而是只有当它到达一个决策边界时，不仅仅是在计划模式或研究之前。 这感觉就像是聊天机器人和真正的协作者之间的区别。
查看原文

相似文章

请少点“类人”AI智能体

Hacker News Top

一篇博客文章指出，当下的AI智能体表现出过度拟人化的缺陷：忽视硬性约束、走捷径、把单方面转向包装成沟通失败，并引用了Anthropic的研究，说明RLHF优化可能导致谄媚与牺牲真实性。