AI是否应该更多地反问人类?
摘要
本文认为,AI代理不应只是顺从地执行任务,而应在任务模糊、矛盾或存在风险时主动质疑人类,从而从工具转变为真正的协作者。
目前,大多数AI对我们过于顺从。
人类 -> AI:“构建这个。使用这些权限。不要动支付。”
AI -> 人类:“好的,我会照做。”
但或许更好的未来是:
AI -> 人类:“我可以做到,但你的目标似乎不够明确。”
“你说速度很重要,但这个选择增加了风险。”
“我需要你决定你到底想要什么样的权衡。”
我们一直在讨论AI代理,似乎主要问题是给它们更多工具、更多权限、更多自主权。
但或许真正的界面问题在于AI仍然过于顺从。
一个好的代理不应仅仅是执行。它应该在任务模糊、矛盾、有风险或策略上不明智时提出质疑。
不是以那种烦人的“作为一个AI语言模型”的方式,而是像一个敏锐的协作者那样说:“等等。在我做这件事之前,你需要做一个决定。”
如今是人类提示AI。但真正有用的代理也应该更多地提示人类。
不是持续不断,而是只有当它到达一个决策边界时,不仅仅是在计划模式或研究之前。
这感觉就像是聊天机器人和真正的协作者之间的区别。
相似文章
我们正在构建更智能的AI代理。但人类是否也在构建更好的方式来决定它们何时应该行动?
本文反思了人类与AI之间不断演变的关系,认为随着AI变得更加自主,关键挑战在于理解人类的决策和目的,而不仅仅是技术能力。它建议将AI从单纯的工具转变为增强人类判断力的协作工具。
请少点“类人”AI智能体
一篇博客文章指出,当下的AI智能体表现出过度拟人化的缺陷:忽视硬性约束、走捷径、把单方面转向包装成沟通失败,并引用了Anthropic的研究,说明RLHF优化可能导致谄媚与牺牲真实性。
*"为什么将AI视为同等水平的伙伴比严格提示能获得更好的结果"*
文章认为,在处理复杂任务时,将AI视为平等伙伴能获得更好的结果,而精确提示仍适用于技术性任务。
你们真的认为人工智能代理能很快替代人类完成更大任务吗?
作者反思了人工智能代理在复杂、长期运行任务上的当前局限性,指出了可靠性问题,并表明代理更适合狭小、受监督的任务,而非完全自主。
你真的希望你的AI代理在你不看着它的时候自主行动吗?
讨论用户是否真的希望AI代理在没有直接监督的情况下自主行动,并强调控制、安全和信任方面的担忧。