我给我的智能体添加的最佳功能,就是教它说“我不确定
摘要
一位开发者分享说,他们为日程安排智能体添加了一项提示:当置信度较低时,说出“我不确定”,并请用户在不同的理解之间做出选择。这让智能体的速度变慢了,却大幅提升了它的可信度,也引发了一场讨论:降低自主性是否能让 AI 智能体表现得更好。
几个月来,我的日程安排智能体一直靠猜。遇到含糊不清的邮件,它就选一种理解,然后照着做。通常没什么问题,偶尔却会安排一场早上7点、与另一个时区的人开的会议。现在,只要它把握不大,就会给我发一句话:“不确定是X还是Y,选哪个?”我回一个字母就行。我每天大概会收到3条这样的消息。这让智能体变慢了,却也可靠多了。有没有其他人也发现,真正有用的升级是减少自主性,而不是增加自主性?
相似文章
我的AI智能体自信地给出了完全错误的信息。以下是我的收获。
一位开发者分享了其AI智能体产生幻觉数据的亲身经历,以及关于验证和提示具体性的教训。
AI代理应该被允许说“我不知道”吗?
本文探讨了AI代理是否应该在行动和治理中被允许表达不确定性,例如说'我不知道',强调诚实沟通而非强制分类的价值。
教人工智能模型说“我不确定”
MIT CSAIL 研究人员提出 RLCR 方法,在强化学习中引入布雷尔分数(Brier scores),训练 AI 模型输出经过校准的置信度估计,在显著降低过度自信的同时,不牺牲准确率。
我给一个智能体设定了一个目标,而它做出的最有用的决定是暂停该产品。
作者分享了一次实验:他们给 AI 智能体设定了一个开放式目标,而不是一项具体的开发任务,结果智能体最有价值的产出竟是建议暂停产品开发,直到关键的验证问题得到解答。这篇文章探讨了应该赋予智能体多大的自主权,以及哪些决策应该交回人类处理。
我最喜欢的最小语音助手测试:让它追问缺失的问题
语音助手的一个简单测试:给出一个不明确的指令(例如“使用存档地址”),看看助手在确认前是否会要求澄清。后续问题的质量揭示了助手的可靠性。