AsymVerify在SemEval-2026任务6中的应用：面向政治规避检测的非对称置信门控验证

# SemEval-2026 任务 6 的 AsymVerify：面向政治回避检测的非对称置信门控验证系统
来源：https://arxiv.org/html/2607.20439

###### 摘要

政治回避难以检测，因为回避性回答常常看似配合，实则避免做出具体承诺。我们提出 AsymVerify，一个用于 SemEval-2026 任务 6 的置信门控验证系统，该任务是一个三分类任务：明确回答 (Clear Reply, CR)、模棱两可 (Ambivalent, AMB) 和明确不回答 (Clear Non-Reply, CNR)。AsymVerify 在评估集 (\(D_{\text{eval}}, n=237\)) 上取得了 0.85 的宏平均 F1 分数，在官方排行榜上的 41 个参赛队伍中排名第二。该系统首先对每个问答对进行分类，然后选择性地对低置信度预测应用降级验证 (CR/CNR→AMB) 或升级验证 (AMB→CR)。开发集分析表明，错误在“模棱两可”边界上双向集中，这促使我们设计了这种非对称双验证器结构，同时置信门控使得额外的推理成本保持较低。在 \(D_{\text{dev}}\) (\(n=308\)) 上，使用 GLM-4.7 的 AsymVerify 相比单次分类，在 1.48 次调用/示例的开销下，宏平均 F1 提升了 17.1 分，并且仅升级验证器一项，就在 \(D_{\text{dev}}\) 上将每个测试的大语言模型后端的宏平均 F1 相对于其单次分类基线提升了 6.8 到 15.2 分。代码可在 https://github.com/kaons-research/AsymVerify-ACL 获取。

AsymVerify at SemEval-2026 Task 6: Asymmetric Confidence-Gated Verification for Political Evasion Detection

Sebastien Kawada \(\boldsymbol{K}^{\ast}\) (https://kaons.com/) Los Angeles, CA, USA [email protected]

## 1 引言

观众常常难以在缺乏明确线索的情况下检测政治家的回避回答 (Clementson, 2018b, a)。大语言模型也可能面临类似的失败模式：偏好优化的系统可能更倾向于选择讨好用户或与用户一致的解读，而非真实性 (Sharma et al., 2024)，这与回避检测的要求背道而驰。政客们利用这一差距，采用各种修辞策略，在技术层面回应了问题，同时避免做出具体承诺 (Bull and Mayer, 1993)。熟练的回避看起来内容充实，使用与主题相关但感觉信息量丰富、实则未作任何承诺的回答。

SemEval-2026 任务 6 要求将政治问答对分类为明确回答 (CR)、模棱两可 (AMB) 或明确不回答 (CNR) (Thomas et al., 2026)。该任务基于 QEvasion 分类体系和语料库 (Thomas et al., 2024)，CLARITY 数据集提供了 3,448 个训练样本，其中 59% 是模棱两可的回答。该数据集由英语的美国政治访谈记录组成。

我们在三个数据集划分上进行评估：\(D_{\text{train}}\)（3,448 个样本）用于提示词开发，\(D_{\text{dev}}\)（308 个样本）用于阈值调优和消融实验，以及 \(D_{\text{eval}}\)（237 个样本）用于官方排名。在 \(D_{\text{eval}}\) 上，基于 GPT-5.2 的 AsymVerify 提交结果在 CLARITY 子任务 1 上取得了 0.85 的分数，在 41 个队伍中排名第二。在 \(D_{\text{dev}}\) 上，我们通过模型家族分析，检查了其在多个大语言模型后端上的机制。置信度分析显示，高置信度和低置信度预测之间存在明显的准确率差距，这是选择性验证的基础。我们进一步观察到，CR 和 CNR 作为相反的语言行为，很少被直接混淆（仅占错误的 3%），反而更常被误分类为 AMB。由于两个方向的验证都通过 AMB 进行修正，因此任何一个单独的验证通道都能纠正很大一部分错误。

## 2 背景

### 2.1 任务定义

该任务定义了三种回答清晰度类别：

- **明确回答 (Clear Reply, CR)** — 带有具体承诺的直接回答。
- **模棱两可 (Ambivalent, AMB)** — 通过模糊语言、话题转移或隐含回答来进行回避。
- **明确不回答 (Clear Non-Reply, CNR)** — 明确拒绝或声称不知情。

表 1 显示了数据集统计信息。开发集的模棱两可比例（67%）高于训练集（59%），这使得对少数类别的宏平均 F1 分数更难。系统通过宏平均 F1 进行评估，即 \((\mathrm{F1}_{\mathrm{CR}} + \mathrm{F1}_{\mathrm{AMB}} + \mathrm{F1}_{\mathrm{CNR}})/3\)，这是处理不平衡多分类问题的标准选择，因为每个类别对最终分数的贡献相同 (Sokolova and Lapalme, 2009)。我们也将准确率作为次要指标报告。

表 1：数据集划分。开发集偏向模棱两可（67% vs 59%）。
#### 数据集符号说明。

为避免跨划分歧义，我们使用 \(D_{\text{train}}\) (n=3,448)、\(D_{\text{dev}}\) (n=308) 和 \(D_{\text{eval}}\) (n=237)。除非另有说明，提示词调整和消融实验的结果均基于 \(D_{\text{dev}}\) 报告，而官方排名则使用 \(D_{\text{eval}}\) 的结果。

### 2.2 相关工作

Bull 和 Mayer (1993) 对政治访谈中回避问题的策略进行了分类，而 Clayman (2001) 展示了受访者如何在维护回答规范的同时回避问题。Bavelas 等人 (1990) 引入了沟通冲突的情境理论，认为含糊其辞源于沟通困境，即所有直接回应都可能带来负面后果。近期关于政治问答（QA）的研究通过问答匹配度来衡量回答质量 (Alvarez and Morrier, 2026)。我们的任务不同于立场检测 (Mohammad et al., 2016)——后者分类的是观点方向而非回答清晰度——因为回避检测需要推理是否做出了承诺，而非采取了何种立场。

与自洽性 (Wang et al., 2023) 不同——它通过对多个大语言模型样本进行投票来提高准确性——AsymVerify 使用置信度来选择性地将样本路由到验证器调用。这遵循了近期关于语言模型级联 (Gupta et al., 2024)、自适应计算 (Schuster et al., 2022) 和成本感知的 LLM 路由 (Chen et al., 2023) 的工作，这些工作根据难度将输入路由到不同的计算路径。近期的文本分类基准测试也警告，较重的推理策略可能在未带来统一分类增益的情况下施加大量 token 成本 (Guo et al., 2026)，因此我们的验证器设计仅对不确定的边界情况应用额外的推理。

我们的验证过程可以看作是任务特定形式的迭代自我精炼 (Madaan et al., 2023; Shinn et al., 2023)，其重新检查非对称地依赖于初始预测类别，而不是使用开放式的自我修正——后者在没有外部反馈的情况下可能不可靠 (Huang et al., 2024a)。结构化推理在处理隐含的主观分类任务中已显示出潜力 (Sun et al., 2023; Fei et al., 2023)，在这些任务中，表层特征是不够的。回避检测也具有相同的特性。

口头表达的置信度倾向于过度自信 (Groot and Valdenegro-Toro, 2024)，但近期工作表明，如果仔细解读，提示的置信度仍然可以提供有用的不确定性信息 (Xiong et al., 2024; Huang et al., 2024b)。更新的不确定性估计工作区分了不确定性信号是标识了困难样本，还是在概率上得到了校准 (Li et al., 2025)，而 AsymVerify 在前一种意义上使用置信度，即作为路由线索。RLHF 可能进一步降低校准性，尽管口头表达的置信度可以部分恢复它 (Tian et al., 2023)，并且 RLHF 训练模型中的系统性谄媚导致它们更倾向于选择讨好的解读而非准确的解读 (Sharma et al., 2024)。这对于回避检测尤其成问题，因为模型必须抵制将模糊回答接受为清晰回答。我们的提示设计通过结构化的分类学指导和提示怀疑精神的验证提示来对抗这种倾向。

## 3 系统描述

如图 1 所示，AsymVerify 最多运行三个通道，伪代码见附录 A。基础分类器返回 \((\hat{y}, c) = f_{\theta}(q, r)\)，其中 \(\hat{y} \in \{\textsc{cr}, \textsc{amb}, \textsc{cnr}\}\)，且 \(c \in [0,1]\) 是口头表达的置信度，一个从结构化 JSON 输出中得到的自报告标量，而非 token 的对数概率 (Tian et al., 2023; Xiong et al., 2024)。高置信度预测 (\(c \geq \tau\)) 立即退出，这符合级联方法的理念，即延迟处理较难的实例，而用较少的调用解决较简单的实例 (Gupta et al., 2024)。在报告的 \(D_{\text{dev}}\) 分析中，低置信度预测保留单次通道 1 的标签，并接受有针对性的验证，而非 maj@3 投票。

阶段 1：基础分类

\((\hat{y}_1, c_1)\) \(= f_{\theta}(q, r), \quad \hat{y}_1 \in \mathcal{Y}\) \(\mathcal{Y} = \{\mathrm{CR}, \mathrm{AMB}, \mathrm{CNR}\}\)

阶段 2：置信门控（单候选）

\(\hat{y}\) \(= \hat{y}_1\) \((c_1 \geq \tau; \ \mathrm{exit})\), \(\tilde{y}\) \(= \hat{y}_1\) \((c_1 < \tau; \ \mathrm{verify})\).

所示预算：单候选路由。

阶段 3：条件性验证（\(c_1 < \tau\)）

\(\mathcal{E}\) \(= \{\mathrm{CR}, \mathrm{CNR}\}\), \(y^{\downarrow}\) \(=\) \(\begin{cases} \mathrm{AMB}, & \tilde{y} \in \mathcal{E}, g_{\downarrow}(q, r, \tilde{y}) = 1, \\ \tilde{y}, & \text{otherwise}, \end{cases}\) \(\hat{y}\) \(=\) \(\begin{cases} \mathrm{CR}, & y^{\downarrow} = \mathrm{AMB}, g_{\uparrow}(q, r) = 1, \\ y^{\downarrow}, & \text{otherwise}. \end{cases}\)

路由配置

1.48 次调用/样本

图 1：AsymVerify 控制流程。\(D_{\text{dev}}\) 的调用预算使用单候选路由而非 maj@3。P2 可以在 P3 选择性地将 AMB 预测升级为 CR 之前，将 CR/CNR 预测降级为 AMB。路由计数来自 GLM-4.7 在 \(D_{\text{dev}}\) 上的结果 (n=308；表 8)。

基础分类器使用一个包含九种回应子类型（明确、隐含、泛泛而谈、部分、回避、转移、拒绝、声称不知情、澄清）的结构化回避分类法来提示所选模型。官方提交使用了 GPT-5.2，而开发集分析在 \(D_{\text{dev}}\) 上使用 GLM-4.7、DeepSeek-V3.2 和 Llama-3.3-70B。提示词强调具体承诺，并指导模型对听起来内容充实但回避了特定问题的回答保持怀疑。模型返回结构化 JSON，包含标签、置信度 \(c \in [0,1]\) 和推理过程。所有报告的 \(D_{\text{dev}}\) 调用预算都使用单候选流水线：每个样本接收一次基础分类调用，低置信度样本直接发送给条件验证器。一个 maj@3 变体可以替换通道 1 的标签，但它不是表 8 中报告的成本设置。

通道 2 使用“单一 vs. 多种解读”标准重新检查 CR 和 CNR 预测，以判断是否需要降级为 AMB。如果合理的读者对实际所说的内容可能存在分歧，则该回答是模棱两可的。语用学理论 (Grice, 1975; Bavelas et al., 1990; Clayman, 2001) 将间接回答视为满足了对话相关性，但没有做出明确承诺。通道 3 重新检查 AMB 预测，判断是否需要升级为 CR，通过检查第一个实质性句子是否直接回答了问题，同时忽略开场白和后续的题外话，这是一个受新闻访谈话轮结构启发 (Clayman and Heritage, 2002; Bull and Mayer, 1993) 的启发式方法。我们没有包含 AMB→CNR 的升级通道，因为 CNR 仅占数据集的 8%，而且 CNR→AMB 的错误仅占总错误的 5%（表 5），其挽回潜力微乎其微。两个验证通道都仅对低置信度预测运行，并且 P3 对任何在 P2 后当前标签为 AMB 的低置信度样本运行，这解释了为何验证器调用次数可能略多于低置信度样本的数量。

#### 升级候选的预过滤器。

通道 3 可能成本高昂，因为 \(D_{\text{dev}}\) 中 67% 的样本是 AMB。因此，我们分析了一种基于规则的预过滤器（在主 GLM 消融实验中未使用），该过滤器仅选择那些第一句显示出强烈承诺信号的 AMB 预测，然后将其发送给 LLM 验证器。四个词汇规则触发验证：(1) 以“No”开头，后跟短陈述句的回答；(2) 以“Because”（直接因果解释）开头的回答；(3) 以“That is”或“That’s”（陈述性断言）开头的回答；(4) “No, I don’t see”（表明立场）的模式。当将其应用于 GLM-4.7 完整系统的决策时，此预过滤器将 P3 调用从 120 次减少到 3 次，并将错误升级从 19 次减少到 0 次（表 10）。

类别错误分布进一步限制了验证器的设计。CR 和 CNR 是相反的语言行为，很少被直接混淆（仅占错误的 3%），反而更常被误分类为 AMB，因此所有修正都通过 AMB 进行路由。

## 4 实验设置

#### 数据。

我们使用 \(D_{\text{train}}\) (3,448) 进行提示词开发，\(D_{\text{dev}}\) (308) 进行阈值调优和消融实验，以及 \(D_{\text{eval}}\) (237) 进行官方排名。在提交期间，\(D_{\text{eval}}\) 的标签是隐藏的，因此模型选择和分析使用了 \(D_{\text{dev}}\)。

#### 模型。

官方提交使用了参数为 `reasoning_effort=high` 的 GPT-5.2 (OpenAI, 2025)。开发集消融实验使用 GLM-4.7 (OpenRouter, 2026) 作为主要分析模型，并在 \(D_{\text{dev}}\) 上使用 DeepSeek-V3.2 (DeepSeek-AI, 2025) 和 Llama-3.3-70B (Meta AI, 2024) 进行模型家族复制。我们报告了 GPT-5.2 在官方评估划分上的结果