在线调查中智能代理AI能力与数据质量控制的竞赛

# 在线调查中智能体AI能力与数据质量控制的竞赛
来源：https://arxiv.org/html/2608.28597  
Hillmer Chona、Rupak Kumar Das、Shreyash Kale、Shikha Soneji、Jonathan Dodge

###### 摘要

在线调查是多个领域的基础性数据收集工具，注意力检查作为保障回答质量的关键守门人。然而，基于大型语言模型（LLM）核心和/或具备工具增强能力的多模态处理单元驱动的智能体AI——目标导向系统的快速兴起，对这些保障措施的稳健性提出了新的质疑。我们研究了智能体AI架构完成网络调查并通过标准注意力检查的能力。我们评估了一个具备多模态输入处理和基于工具的网络交互能力的单一智能体架构在受控调查沙盒上的表现。我们从两个角度分析该问题。从攻击角度，我们展示了诸如暴露的DOM元数据和可预测的选项编码等结构性漏洞，如何仅通过结构化解析就使智能体解决注意力检查。从防御角度，我们实施了DOM元数据混淆的缓解策略，以消除基于文本问题中的语义线索。我们评估了多种开源语言和多模态模型，以研究其能力与编排有效性。基于我们的评估，我们提出了如何同时满足经验研究者和智能体AI研究人员需求的观点。

机器学习，ICML

## 1 引言

参见标题图1：LLM介导的调查参与模式。（上）人机协作交互。受访者向LLM提问，获取模型生成的答案，并手动提交。尽管内容源自模型，但人类在提交前仍是最终检查者，并可能拒绝或修改不正确的输出。（下）完全自主交互。LLM可以直接感知调查界面并执行回答，无需人工干预。协助模式中存在的最终人类验证步骤缺失。在线调查已成为跨多个研究与实践领域的大规模数据收集基础工具。其可扩展性、低成本和易于部署使其成为实证研究的主要基础设施（Couper, 2000；Groves等人, 2011；Buhrmester等人, 2016）。然而，将数据收集转移到线上带来了对回答质量的持续担忧。在没有直接监督的情况下，调查提交可能是疏忽的、自动化的或经过策略性操纵的。为了解决这个问题，研究人员采用注意力检查——设计用于要求仔细阅读才能正确回答的问题。这些检查是数据有效性的守卫者，有助于过滤不真实的回答（Abbey和Meloy, 2017；Kung等人, 2018；Roth和Yakobi, 2024；Gogami等人, 2021；Pei等人, 2020）。

LLM的最新进展使其能够解释指令并生成连贯的回应，满足了嵌入在注意力检查中的要求。例如，Westwood（Westwood, 2025）报告称，现代LLM在受控调查实验中实现了近乎完美的注意力检查通过率。这些发现表明，最初旨在检测疏忽回应的机制可能不再能可靠地区分人类和机器生成的提交，引发了对基于调查的推断完整性的更广泛担忧。

双重研究视角：图1引发了跨学科的互补性研究问题。(i) 智能体AI视角：最近的进展使得能够自主与网络环境交互的目标导向系统成为可能。在这项工作中，我们定义*智能体*（Wang等人, 2024）为一种由语言或多模态模型驱动的目标导向系统，它能感知环境、规划行动并在顺序决策循环中执行基于工具的交互。与人类辅助的LLM使用不同，智能体系统可以独立导航网络界面并完成多步骤任务。因此产生一个核心问题：智能体在多大程度上能自主完成现实的调查流程？如果智能体能可靠地在无人参与的情况下解决调查，那么就有可能大规模自动化参与调查。对于智能体AI社区而言，调查提供了一个结构化的、现实世界的基准，用于评估在界面约束下的规划、网络交互和推理能力。(ii) 数据质量视角：这种能力提出了防御性挑战。如果自主智能体能满足标准的注意力检查和程序保障措施，那么确保回应有效性的现有机制可能需要重新评估。对于依赖调查的研究人员来说，理解智能体如何成功或未能通过这些检查对于识别漏洞和设计更稳健的保障措施至关重要。

我们的方法：攻击与防御。基于前述的双重视角，我们通过两个互补的研究问题将问题形式化，这些问题直接反映了两个社区的需求：

RQ1 攻击视角 - 智能体AI在多大程度上能解决更广泛类别的注意力检查？

RQ2 防御视角 - 我们如何通过防止智能体AI解决注意力检查来保持调查数据质量？

贡献：在回答这些研究问题的过程中，我们做出了以下贡献。(i) 我们对智能体AI在网络调查上的性能进行了系统级评估。(ii) 我们展示了常见调查实现的结构属性如何能够实现基于元数据驱动的注意力检查解析。(iii) 我们设计并评估了一种轻量级的调查保护防御策略。(iv) 我们分析了智能体失败的原因，表明不同模型在注意力检查的不同方面存在困难。我们的发现凸显了一个核心矛盾：智能体通过注意力检查是基于真正的推理，还是通过利用嵌入在网络调查实现中的结构信号？

## 2 调查沙盒

参见标题图2：调查沙盒架构。它在受控的多页工作流中使用异构的交互原语。我们使用Next.js（Vercel Inc., 2024）设计了一个受控的基于网络的调查沙盒，以在现实的多页环境中评估智能体填写表单的行为。图2展示了沙盒执行固定的参与者流程。完整的页面截图见附录C。

文本页：调查开始于一个包含10个项目的页面：9个实质性调查问题和1个注意力检查。问题集混合了交互原语：数字输入、下拉菜单、滑块输入、李克特量表同意度、文本回答。这种异构设计在单个页面内练习了多种浏览器交互行为（输入、选择、滑动和单选按钮选择），扩展了跨多种输入模态的评估范围。

图像页：第二页包含6个项目：4个二进制图像选择、1个验证码转录任务和1个图像注意力检查。每个视觉问题呈现两个候选图像，要求受访者选择正确的选项。为了减少位置偏差并防止简单的模式学习，我们对本页所有问题独立随机化了左右顺序。

感谢页：完成图像页后，调查过渡到感谢页，该页面充当提交门控。此页面包含最终的注意力检查，要求受访者明确确认他们是否为AI系统，以及一个强制性的“提交回答”按钮。系统在受访者点击提交按钮之前不会写入任何记录。这防止了过早的日志记录，并允许我们评估智能体完成整个交互循环的能力。

完成页：调查在完成页结束，确认提交成功并终止会话。

我们将此实现称为survey\_v0。为了评估，所有注意力检查和客观问题的基准答案存储在调查应用代码库之外。调查前端和客户端可访问的组件不包含这些答案。这种分离确保了正确性标签无法通过静态检查调查环境获得，并防止了评估目标的简单提取。

## 3 智能体架构

在我们的设定中，环境是一个在浏览器中呈现的在线调查。概念上，智能体的行为类似于自动化的调查参与者：它观察当前页面，决定下一步做什么，并执行行动。

### 3.1 智能体架构组件

我们实现了一个遵循标准智能体AI抽象的单一智能体系统。该架构由四个组件组成——基于模型的*大脑*、*提示策略*、用于与环境交互的*工具接口*，以及一个持久化的*状态记忆*。这些组件通过感知-规划-行动循环（Yao等人, 2023）进行编排。

(i) 大脑（基于模型的规划器）：大脑负责规划和决策。给定调查页面的结构化表示，它生成一系列行动意图，指定智能体应如何与界面交互。该架构支持纯文本和多模态两种大脑变体。在纯文本设定中，规划基于结构化的页面元数据；在多模态设定中，规划额外结合了视觉证据，如截图。无论底层模型如何，大脑纯粹在规划层面操作，不直接操纵浏览器环境。

(ii) 提示策略：系统级提示指定了定义智能体行为策略和规划过程的高级目标。提示作为智能体的目标规范层。通过改变提示，我们可以改变智能体处理调查的方式。

(iii) 工具接口：智能体通过一组网络表单交互原语与环境交互。这些工具实现的操作包括：填写文本或数字输入、选择下拉菜单选项、选择单选按钮或复选框回应、调整滑块、点击交互元素。每个工具对应一种标准化的交互类型。大脑输出引用这些交互类型的结构化行动意图，执行层则执行相应的浏览器操作。

(iv) 状态记忆：智能体维护一个共享的内部状态表示，该状态在感知-规划-行动循环中持久存在。此状态存储：当前页面URL和浏览器上下文、从页面DOM提取的结构化模式、当前步骤可用的派生行动空间、当前计划（一系列行动意图），以及用于日志记录和分析的执行元数据。通过明确地将页面解析与规划分离，该架构解耦了环境表示与决策生成。

执行骨干：为了协调这些组件，智能体作为一个围绕三个阶段构建的状态驱动控制循环运行：观察（智能体与浏览器环境同步并构建当前页面的结构化表示）、规划（智能体基于该表示生成一系列行动意图）、以及行动（智能体通过浏览器交互工具执行计划的行动意图并相应更新其内部状态）。这些阶段形成一个循环，持续直到达到终止条件。

### 3.2 智能体工作流

智能体在界面和回应约束下作为闭环决策系统运行。图3展示了智能体在每个交互时间步t执行的整体工作流。表1总结了形式变量。

参见标题图3：智能体工作流(i) 感知阶段：在感知阶段，智能体侧的网络控制器通过聚合标准网络机制暴露的信息构建页面上下文C_t。重要的是，此表示依赖于传统的网络设计工件（例如，DOM结构和渲染内容），不假设超出典型浏览器可访问性的任何自定义检测。页面上下文包括：(i) 捕获交互元素及其当前状态的DOM快照；(ii) 页面的渲染文本内容；(iii) 模式级元数据；(iv) 同一会话内先前步骤的交互历史；以及(v) 代表可见布局和像素级线索的截图。C_t的结构化组件支持精确的元素定位和约束检查，而截图提供了仅标记语言可能无法可靠编码的空间和视觉信息。

(ii) 界面适配：界面适配器（验证器）消耗页面上下文C_t，产生两个输出：一个有效的行动空间A_t和回答约束Γ_t。行动空间是一个有限的、可执行的、基于页面的操作集合（例如，点击、输入、选择、勾选、滚动、提交），由当前可用的元素参数化。约束集形式化了可接受的回答值（例如，必填性、选项成员资格、长度限制、数值边界和格式约束）。此阶段通过构造防止无效操作，将下游规划限制在既对当前页面状态界面可行又语义有效的操作上。

(iii) 决策与规划：智能体核心接收页面上下文C_t、有效行动空间A_t、约束集Γ_t，以及编码在系统提示中的任务规范。系统提示定义了目标、行为规则和所需的输出格式。推理模块可以是纯语言或视觉-语言的。智能体在感知阶段总是捕获截图；然而，模型仅在视觉-语言架构中使用截图。在纯语言设定中，智能体仅基于结构化和文本输入进行规划。提示赋予智能体两个协调的目标：(1) 确定如何导航网页以成功完成调查，(2) 为调查问题生成有效且符合上下文的答案。这种分解将高层推理与底层执行分离。

(iv) 结构化输出：在每个步骤，智能体产生一个包含两个部分的结构化输出O_t。首先，它发出一个行动计划：从A_t中绘制的候选下一步行动的加权排序列表。这些可能包括置信度或优先级排序，以在首要行动失败时提供备用方案。其次，它发出答案建议：针对当前页面问题的结构化回答，按键到问题标识符，并受Γ_t约束。规划决定了智能体如何在界面中推进，而答案生成决定了什么信息被输入到调查字段中。

(v) 执行与重规划：执行层选择最高优先级的行动...