潜在诊断分类法：构建分类器和诊断其决策的框架，应用于提示注入检测

arXiv cs.LG 论文
prompt-injection ai-safety classifier diagnostics machine-learning

摘要

本文提出了潜在诊断分类法框架，用于构建分类器和诊断其决策，应用于提示注入检测，揭示了许多自信决策的脆弱性并提供了补救策略。

arXiv:2608.26423v1 Announce Type: new 摘要：本文提出了一个框架，用于将分类器构建为安全层，并开发一个补充诊断器，以识别分类器的哪些自信决策可以被信任。这个框架，即潜在诊断分类法，包括：(i) 构建一个维度优化的分类器，其中嵌入维度通过交叉验证性能经验性地选择，而不是先验固定；(ii) 定位一个相对较小的潜在支持向量集（约占总训练示例的29%），这些向量代表影响性的提示，用于识别改变分类器预测标签的令牌；(iii) 利用此类令牌及其相关的攻击幅度来构建诊断分类法。这个诊断分类法为标记需要不同处理的提示提供了端到端的指导：安全地依赖分类器的决策；标记启发式偏差和启发式覆盖案例；将上下文不足的案例路由进行进一步的人类/安全审查。将框架应用于在公共提示注入数据集上训练的分类器，我们发现其自信决策的很大一部分（约77%）在移除单个令牌后并不鲁棒，这种脆弱性分为两种不同的失败模式：置信度校准失败和可真正利用的捷径。对于分类法的每个区域，我们还推荐了补救诊断提示的策略。我们将框架说明为一系列步骤，演示每个步骤如何操作。
查看原文
查看缓存全文

缓存时间: 2026/08/28 09:38 

# 潜在诊断分类法：用于构建分类器及其决策诊断的框架，应用于提示词注入检测
来源：https://arxiv.org/abs/2608.26423  
查看PDF（https://arxiv.org/pdf/2608.26423）HTML（实验性）（https://arxiv.org/html/2608.26423v1）

> 摘要：本文提出了一种构建分类器作为防护层的框架，并开发了一套互补的诊断方法，用以识别分类器哪些高置信决策可被信任。该框架——潜在诊断分类法——包括：(i) 构建一个维度优化的分类器，其中嵌入维度通过交叉验证性能经验性地选择，而非先验固定；(ii) 定位一个相对较小的潜在支持向量集（约占总训练样本的29%），这些向量代表了影响分类器预测标签的关键提示词；(iii) 利用这些关键令牌及其关联的攻击强度构建诊断分类法。该诊断分类法为标记需要不同处理的提示词提供了端到端的指导：可安全依赖分类器的决策；标记启发式偏见和启发式覆盖案例；将上下文不足的案例路由至进一步的人工/安全审查。将该框架应用于在公共提示词注入数据集上训练的分类器后，我们发现其高置信决策中有相当大比例（约77%）在移除单个令牌后不再稳健，且这种脆弱性可区分为两种不同的失败模式：置信校准失败和真正的可利用捷径。针对分类法的每个区域，我们也提出了相应的诊断提示词补救策略。我们通过一系列步骤演示该框架，展示每个步骤的运作方式。

## 提交历史记录

来自：Jaturong Kongmanee [查看邮件（https://arxiv.org/show-email/472f30fb/2608.26423）] **[v1]** 2026年8月26日，周三 21:55:15 UTC（233 KB）

相似文章

SCOUT先行：提示注入防御中自适应检测器分配的预推理

Hugging Face Daily Papers

介绍SCOUT，一个通过预测可靠性和延迟来动态分配每个请求的提示注入检测器的框架，提高了安全性和效率。同时提出SCOUT-450，一个针对复杂面向代理的注入的基准测试，与固定的GPT-4o判断器相比，攻击成功率降低46%，延迟降低40%。

从ML预测到基于Toulmin论证模型的知情诊断辅助

arXiv cs.AI

本文提出一个框架，利用Toulmin论证模型对基于OCT图像的ML视网膜诊断进行结构化，整合生物标志物提取、医学大语言模型推理（MedGemma）和相似度度量（MedSigLip），以实现可解释且基于证据的诊断辅助。