大语言模型的维度级意图保真度评估：来自结构化提示消融的证据

arXiv:2605.14517v1 公告类型：新 摘要：整体评估分数捕捉了输出的整体质量，但无法区分模型是再现了用户请求的结构形式，还是保留了用户的特定意图。我们提出了一种维度级意图保真度评估框架，通过一项结构化提示消融研究，覆盖了三种语言、三个任务领域和六个大语言模型的2,880个输出，分别测量每个语义维度的结构恢复和意图保真度。该框架揭示了一个系统性的结构-保真度分裂：在具有完整配对分数的中文语言输出中，25.7%获得了完美的整体对齐分数（GA=5），同时表现出可测量的维度意图缺陷；而在英文语言输出中，这一比例上升至58.6%。人工评估证实，这些分裂区域输出代表了真正的质量缺陷，并且维度保真度分数比整体分数更可靠地追踪了人类判断。对2,520个消融细胞进行的公共-私有分解描述了模型何时成功补偿缺失意图以及何时失败，而代理标注则区分了先验可推断性与默认可恢复性。一项权重扰动实验表明，中等程度的不对齐通常被吸收，而严重的维度反转则始终有害。这些发现表明，在评估大语言模型针对用户特定任务的输出时，维度级意图保真度评估是整体评估的必要补充。

# 大语言模型维度级意图保真度评估：来自结构化提示消融实验的证据
来源：https://arxiv.org/abs/2605.14517
参考文献工具

## 参考文献与引用工具

文献浏览工具

代码、数据与媒体

## 本文相关的代码、数据与媒体

演示

## 演示

相关论文

## 推荐与搜索工具

关于arXivLabs

## arXivLabs：与社区合作者的实验项目

arXivLabs 是一个框架，允许合作者直接在网站上开发和分享 arXiv 的新功能。

与 arXivLabs 合作的个人和组织都接受并认同我们关于开放、社区、卓越和用户数据隐私的价值观。arXiv 致力于践行这些价值观，并仅与遵循这些价值观的合作伙伴合作。

有一个能为 arXiv 社区增添价值的项目想法吗？**了解更多关于 arXivLabs 的信息**（https://info.arxiv.org/labs/index.html）。