AI,掌控方向盘:人机协作问答中委托与信任的驱动因素
摘要
本文研究了人在协作问答中如何决定何时委托AI以及何时采纳AI建议,发现确认偏误驱动了次优的信任决策,例如对正确AI输出的信赖不足。
查看缓存全文
缓存时间: 2026/06/02 15:35
论文页面 - AI,把好方向盘:什么驱动人机协作问答中的委托与信任?
来源:https://huggingface.co/papers/2605.28255
摘要
人机协作问答任务中暴露出次优的依赖决策:人类对正确的AI建议依赖不足,而在AI误导他们时又过度依赖,其中确认偏差会加剧对冲突AI输出的信任降低。
AI系统并非完美无缺,人类在决定是否信任AI而非自身判断时也可能犯错。因此,改善人机协作需要理解人类何时、为何以及如何决定依赖AI。我们研究了两种截然不同的依赖决策:委托选择——决定何时让AI在不清楚其输出结果的情况下自主行动;以及采纳选择——评估AI建议并决定如何使用它们。这两种解耦的依赖模式共同塑造了协作,但以往的研究很少在现实场景中同时对同一批用户进行考察。我们通过研究协作人机团队在问答游戏中竞争来填补这一空白,人类可以在此过程中选择何时以及如何与AI智能体合作以获胜。我们的24场比赛中,有23位专家人类与16个AI智能体配对,捕获了387个委托决策和1440个采纳决策。虽然人机协作的表现优于单独使用AI或人类,但人类会做出次优的协作决策,既包括对正确AI建议的依赖不足(错失了3.9%的机会),也包括在AI误导他们时过度依赖(1.7%)。双方都会给出错误答案:当人类和AI意见不一致时,报告的模型置信度接近随机水平,而确认偏差则导致当AI建议与人类初始错误答案一致时,依赖不足的比例更高(64.5%)。为缩小这一差距,我们建议使用校准后的置信度、基于证据的解释以及帮助用户优化信任的机制。
查看arXiv页面 (https://arxiv.org/abs/2605.28255) 查看PDF (https://arxiv.org/pdf/2605.28255) 添加至收藏 (https://huggingface.co/login?next=%2Fpapers%2F2605.28255)
引用该论文的模型0
无模型链接该论文
请在模型README.md中引用 arxiv.org/abs/2605.28255 以从此页面建立链接。
引用该论文的数据集0
无数据集链接该论文
请在数据集README.md中引用 arxiv.org/abs/2605.28255 以从此页面建立链接。
引用该论文的Spaces0
无Space链接该论文
请在Space README.md中引用 arxiv.org/abs/2605.28255 以从此页面建立链接。
包含该论文的收藏0
无收藏包含该论文
请将此论文添加至一个收藏 (https://huggingface.co/new-collection) 以从此页面建立链接。
相似文章
真正让你信任AI的是什么?不是“听起来正确”,而是像信任一个人或一个机构那样信任它?
一场讨论,探讨哪些具体条件(透明度、可验证的记录、持久的身份、可问责性)能让人们像信任人类或机构一样信任AI系统,而不仅仅是将其视为工具。
(Human) Attention Is (Still) All You Need: 人类监督使AI辅助的社会科学研究可靠
本文提出,AI辅助社会科学研究的可靠性取决于决策架构——即认知劳动在人类与机器之间的分工方式。通过一个预先指定的析因实验,作者表明,一个无约束的多智能体基线在72%的运行中失败,而采用三个架构承诺(限制LLM仅进行推理、确定性数据/估计、以及三个人类决策门控)的组织运行失败率仅为16%。
信任-监督悖论:随着AI变得更好,人类可能不再真正监督它
一篇思想文章,指出随着AI变得更准确,人类监督可能会退化为例行批准,从而产生'信任-监督悖论',即高性能AI仍可能因不完整的表征、过时数据或自动化偏见而失败,建议从人工审查转向治理边界。
在什么情况下你会更信任AI代理而不是新员工?
关于信任AI代理与新员工之间界限的讨论,权衡诸如线索资格认定和日程安排等任务,与仅限人类处理的客户升级和合同谈判等角色。
AI与人类,2026年你更信任谁?
探讨人们在与AI或人类讨论个人话题时是否更轻松,指出AI提供无评判、随时可用的倾听者,但缺乏真实的人类体验。