论文页面 - 智知所不答：视觉语言模型的选择性拒绝行为

来源：https://huggingface.co/papers/2609.04720 发布于9月4日

·

由 https://huggingface.co/mz-kim 提交

mz-kim (https://huggingface.co/mz-kim) 于9月7日发布

摘要

KoNA 评估视觉语言模型在混合查询场景下的选择性拒绝能力，并通过针对性微调提升模型合规性。

视觉语言模型（VLMs）被期望对恰当请求提供帮助，同时拒绝执行错误、危险、不可行或无法回答的请求。然而现有基准测试主要从查询整体层面评估拒绝行为，假设每个请求要么需要合规执行，要么应当拒绝。实际上，现实查询常混合包含可回答内容与应拒绝执行的组成部分。本文提出 KoNA 基准测试，用于评估 VLMs 在五类场景中的选择性拒绝行为：错误前提、视觉不可及性、普遍未知性、任务可行性和安全性。每项任务评估两种能力：在配对的简单与复合查询下，查询级拒绝与组成级拒绝的能力。我们对多种 VLMs 的评估显示，模型常未能恰当执行拒绝、纠正或弃权操作，当查询需要选择性拒绝时，这些失误更为显著。为解决此问题，我们使用 KoNA 中需要选择性拒绝的示例，结合可完全回答的对照组数据集，对 VLMs 进行微调。微调后的模型在拒绝准确率上获得显著提升，同时基本保持了在完全可回答任务上的性能。这表明微调模型能够区分可回答部分与需拒绝执行的部分，并能做出任务适配的响应。

查看 arXiv 页面 (https://arxiv.org/abs/2609.04720) 查看 PDF (https://arxiv.org/pdf/2609.04720) GitHub (https://github.com/mz-kim/KoNA) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.04720)

通过工具获取本文： hf papers read 2609\.04720

未安装最新CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型0

暂无模型关联本文

在模型 README.md 中引用 arxiv.org/abs/2609.04720 即可从本页面链接。

引用本文的数据集1

mz-kim/KoNA Viewer• 更新于约14小时前 • 3.1k • 20 (https://huggingface.co/datasets/mz-kim/KoNA)

引用本文的Space0

暂无Space关联本文

在 Space README.md 中引用 arxiv.org/abs/2609.04720 即可从本页面链接。

包含本文的合集0

暂无包含本文的合集

将本文添加至合集即可从本页面链接。