人类在环（Human-in-the-loop，HITL）被广泛推荐用于监督与安全，然而当前的AI智能体设计却要求人类跟上不合理的任务量与复杂度，助长了疲劳与脱节，并且在不断侵蚀它所依赖的人类技能本身。 1/ https://t.co/lvRAErbp9P

AI智能体正在将人类挤出回路

来源：https://arxiv.org/html/2608.23642 Avijit Ghosh 附属机构：Hugging Face Samir Passi 附属机构：Data & Society

摘要

随着AI智能体被赋予越来越多的自主权，它们带来了重大风险。一个常被提出的解决方案是人类监督，即让人类“在环“（保持参与），但这并非一个简单的方案：当前的AI智能体设计方法不仅阻碍了有效的人类监督，而且长期使用AI系统本身也在不断削弱执行监督所需的认知能力。本文作为一篇立场论文，认为当前AI智能体系统的开发与部署方式并不支持有效的人类监督——反而在加剧其退化。为此，在推进AI智能体发展的过程中，首要任务应是支持有效人类监督所对应的情境化目标与认知需求，将监督者的人类需求与AI智能体的能力置于同等重要的地位。为将这一理念付诸实践，我们将自动化与人机交互领域的研究成果与AI智能体流程相连接，从设计层面和组织制度层面提出了具体的能力与协议，以（1）支持监督者进行批判性判断，（2）抵消长期使用自动化所带来的技能退化。我们敦促开发者和部署者采纳这些或类似的方法。如果没有对有效人机交互所涉及的认知需求给予明确支持，AI智能体系统将继续被动地促使那些它们所依赖的人类技能走向退化。

1 引言

从医疗健康到企业运营，自动化辅助领域的一个常见建议是在系统流程中设置一位“在环“（human in the loop）的监督者。这一建议体现了一种直觉：自动化系统引入的风险可以通过有意义的监督来加以管理。治理框架已经将这一观点形式化，规定使用高风险AI系统的人类必须保持有意义的控制权并做出最终决策。随着近期AI自动化工作流和智能体AI的兴起，政策制定者、开发者和部署者已就人类监督作为优先事项达成共识，以服务于多重目标：防止有害操作、落实伦理优先事项，以及确保法律合规。

然而，监督者的存在并不等同于可靠的监督。如何确保这种监督既有效又可靠，在当前AI智能体系统的设计中尚未得到充分探讨，而某一特定系统中是否能够实现适当的人类监督，也很少被质疑。¹ 值得注意的反例包括……。虽然人类监督应当是AI开发者、部署者和用户的共同努力，但目前监督的重担几乎完全落在用户身上。行业指南、政策建议以及AI应用中的界面提示，都在鼓励用户“审计“输出、“审查“声称、“预防“伤害以及“双重检查“错误。然而，用户有效执行这些操作所需的机制却几乎不存在。

解决这一“智力盲区“已迫在眉睫。就在AI智能体系统日益大规模部署的同时，自我报告揭示了作为监督者保持主动参与的困难，而跨多个领域的研究也发现，长期使用自动化系统对批判性思维技能造成了严重的负面影响。因此，我们呼吁学界优先关注这一问题，并主张当前AI智能体开发与部署方式有碍于实现有效的人类监督。

为此，我们倡导一种由开发者和部署者提供的双管齐下的“认知支架“方案。开发者必须为AI智能体的运行时创建并实施支持有效监督认知需求的流程，包括设置战略性摩擦点以及在智能体运行期间和之后维护和/或帮助用户恢复情境感知的界面。部署者必须建立激发批判性参与的组织制度，包括识别疲劳迹象的培训、保护监督注意力的轮换制度，以及保持领域技能的流程。

论文结构。 本文其余部分组织如下。第2节界定了与我们立场相关的基本概念，并阐述了人类监督对于AI智能体系统安全部署的重要性。第3节记录了当前AI智能体监督方法的不足之处，以及其如何可能对人类适当监督的能力产生积极的负面影响。第4节考察了认知退化如何因持续使用自动化系统而产生，并解释了这如何进一步阻碍可靠监督的实现。在第5节中，我们为开发者和部署者提供了具体方案，以在用户与AI智能体系统交互和监督过程中支持适当的主动参与。第6节探讨了不同的观点，涉及AI智能体开发与部署中的主流智慧和规范。最后，第7节得出结论，认为人类监督绝非安全方面的简单附加功能，而是需要深入理解人类注意力与批判性分析的要求。

2 人类监督的角色

有效的人类监督对AI智能体的运行至关重要，因为智能体可能采取后果错误、代价高昂或不可逆转的行动。然而，AI系统出错的频率和模式仅凭输出审查是无法检测到的，这促使人类监督需要更深入地融入系统处理过程。AI智能体的设计目标是在不同用途和场景中保持灵活性，而不需要为每个用例提供逐步指令；因此，部署前测试协议无法涵盖所有可能的AI智能体行动序列和故障模式。这意味着，对AI智能体操作适当性的评估需要在系统执行期间实时进行。这一负担还因智能体评估本身的高昂成本而进一步加重：对多步骤智能体行为的全面部署前测试，成本远高于评估单轮对话系统，因此对大多数部署者而言，在经济上无法实现可靠的全面覆盖。下面我们描述这种监督在当前AI智能体实践中是如何嵌入的，并追溯其难度如何随着AI系统能力的提升而不断升级。

2.1 在环的人类

人类监督是指人类通过各种机制监控、验证、介入或覆盖自动化系统行为的过程。随着AI系统变得无处不在，人类监督作为安全部署的关键已被反复强调。例如，欧盟《人工智能法案》将有效的人类监督规定为主要的风险缓解策略，强调监督者需要监控异常情况、警惕自动化偏见和过度依赖、解读输出、进行干预、撤销、覆盖以及忽略系统输出。商业生成式AI供应商公开说明系统可能出错，因此鼓励用户检查回复和重要信息。咨询机构则建议持续的监督，在自主处理的全过程中建立问责锚点。

人类监督的一种常见方法是人机回路（Human-in-the-Loop，HITL），这是一种开发和部署方法，其中人们通过提供反馈、验证输出、做出决策或标注数据来积极参与系统运行。随着AI系统被大规模部署以在一定程度的自主性下执行多步骤工作流，几条截然不同的人机回路脉络汇聚在了一起：在环的人类必须防止非预期伤害（源自航空领域），授权有重大影响的行动（源自自主武器领域），而他们的交互可以用于进一步的模型训练（源自机器学习领域）。

2.2 系统复杂度的演进

在传统的判别式AI系统中，监督的重点在于AI的输出，例如预测结果或风险分数，主要目标是确保其正确性。随着提升预测准确率的技术不断发展，系统行为的可解释性变得明显更加困难，这推动了用户信任能够得到恰当校准的系统设计研究。更新近的生成式AI（GenAI）系统使监督变得更加复杂：监督者必须处理大量输出，而其生成速度超过了人类可以有意义地审阅的速度。他们必须识别幻觉，并应对能力不可预测性：随着模型规模的增长，出现了一些既未被明确编程也未被预期的能力，这些能力运行不可靠并表现出新的故障模式。

智能体AI引入了进一步的复杂性。与仅限于在用户查询时产生单一输出的基本GenAI系统（如聊天机器人）不同，AI智能体在无需明确的人类编程或直接人类参与的情况下执行多个步骤，从而引入了新的不透明性层级。对人类明确指定需求的降低以及操作灵活性的提高，加剧了影响关键系统和受保护数据的非预见性重大行动的风险，同时也进一步遮蔽了监督者需要应对的内容。

例如，智能体可能悄悄编辑或删除文件、窃取敏感信息、利用软件漏洞、执行金融交易或将私人数据公开。智能体管道涉及多个由模型驱动的角色（规划者、执行者、评估者），其交互可能在用户看到输出之前就模糊了关键信息。AI智能体的“工具使用“通过工具幻觉使这一问题更加严重：生成看似合理但难以验证的误导性或错误的工具信息，例如捏造不存在的工具、以错误的参数调用真实工具，或错误解读工具输出。这些行动的后果随后在多步骤计划中不断级联。与我们的立场相关，有研究发现当前对提升“推理“能力的关注会放大工具幻觉，使人类监督问题更加困难。智能体在运行过程中还表现出行为不可预测性，以开发者未曾预料的方式行动，并且在某些情况下会产生针对用户量身定制的误导性信息。这些挑战在多智能体系统中被进一步放大：当多个智能体在编排器的管理下协同工作时，故障可能源于智能体间的不匹配——当某个智能体未能提供必要信息或未能向另一个智能体请求所需信息时。

3 对监督的监督：当前AI智能体监督讨论遗漏了什么

尽管人们普遍认识到人类监督的重要性，但对于确保监督可靠、有效并同时满足系统和监督者需求所涉及的深层复杂性，认识仍然有限。数十年的研究已经确立了如何在系统设计中考虑人类需求（例如……），推动了可靠、安全和值得信赖的系统的构建。