角色提示何时真正有帮助？关于LLM中专家角色注入的检索与度量分析

# 角色提示何时真正有用？大语言模型中专家角色注入的检索与指标分析
来源：https://arxiv.org/html/2605.29420

###### 摘要

角色提示被广泛用于引导大语言模型，但其实际价值仍不明确。以往研究通常使用聚合分数评估角色提示，这难以判断专家角色提示是持续提升回答质量，还是在不同质量维度上改变了回答。我们通过控制实验研究了这一问题，比较了四种提示条件，涵盖1,140个开放性问题、38个专家角色和六个领域：无角色提示、通用领域专家提示、基于嵌入的角色检索，以及结合嵌入搜索与大语言模型角色选择的混合检索方法。

聚合结果显示，不同条件之间总体差异较小。然而，基于指标的分析揭示了一个聚合平均值所掩盖的持续权衡：角色提示系统性地提升了专业深度，但降低了清晰度。这些效果高度条件化而非普遍适用。角色提示在顾问型问题以及医学、心理学等领域表现最佳，这些领域中结构化的专家框架和风险沟通具有内在价值。相比之下，基线提示在金融、法律、科学与技术领域的概念性和解释性问题中表现更好，这些领域中简洁明了的语言解释更为重要。

我们进一步表明，混合检索显著优于仅基于嵌入的角色选择，尽管更好的角色检索并不能消除更广泛的专业深度与清晰度之间的权衡。总体而言，我们的发现表明，角色提示主要重塑了回答特征，而非广泛提升能力，多指标评估对于理解其影响是必要的。

## I引言

大语言模型越来越多地通过提示而非特定任务微调来使用，这使得提示设计成为现代模型使用和评估的核心部分[4 (https://arxiv.org/html/2605.29420#bib.bib2),11 (https://arxiv.org/html/2605.29420#bib.bib3),16 (https://arxiv.org/html/2605.29420#bib.bib4),3 (https://arxiv.org/html/2605.29420#bib.bib5)]。在众多提示策略中，角色提示尤为流行，因为它直观：用户可以要求模型像医生、律师、心理学家、科学家或教师那样回答，并预期答案反映领域专业知识[17 (https://arxiv.org/html/2605.29420#bib.bib6),8 (https://arxiv.org/html/2605.29420#bib.bib7),18 (https://arxiv.org/html/2605.29420#bib.bib8),23 (https://arxiv.org/html/2605.29420#bib.bib9)]。角色提示的变体已通过系统提示和助手框架嵌入许多已部署系统中。

尽管角色提示广受欢迎，其实际价值仍不明确。现有研究报告了混合的结论。一些研究表明角色提示可以改善推理、结构化或领域适应[17 (https://arxiv.org/html/2605.29420#bib.bib6),8 (https://arxiv.org/html/2605.29420#bib.bib7),18 (https://arxiv.org/html/2605.29420#bib.bib8)]，而另一些研究发现基于角色的系统提示在事实性任务上几乎没有带来持续改善[23 (https://arxiv.org/html/2605.29420#bib.bib9)]。这种不一致表明，实际问题并非角色提示是否有效，而是它改变了哪些类型的回答、这些改变何时有益，以及如何评估这些效果。

核心困难在于，开放性问题回答质量本质上是多维的。最近的评估工作认为，单一聚合分数可能掩盖不同回答质量和技能之间的重要权衡[10 (https://arxiv.org/html/2605.29420#bib.bib15),21 (https://arxiv.org/html/2605.29420#bib.bib16),5 (https://arxiv.org/html/2605.29420#bib.bib20)]。这个问题与角色提示特别相关。专家角色提示可能鼓励更深入的领域框架、更谨慎的引导和更结构化的推理，同时引入额外的模糊措辞、冗长或术语，降低可读性和直接性。如果这些变化相互抵消，聚合平均值可能错误地表明角色提示几乎没有效果[7 (https://arxiv.org/html/2605.29420#bib.bib32)]。

这种视角也改变了看待检索的方式。如果角色提示仅在某些条件下有帮助，那么选择合适的专家角色比简单添加角色提示更重要。大多数检索增强生成文献关注检索事实性文档、证据段落或外部工具[9 (https://arxiv.org/html/2605.29420#bib.bib11),1 (https://arxiv.org/html/2605.29420#bib.bib12),2 (https://arxiv.org/html/2605.29420#bib.bib13),15 (https://arxiv.org/html/2605.29420#bib.bib14)]。我们的设置不同，我们检索的是专家角色提示而非事实性知识。这将检索重新定义为角色选择问题：选择更好的专家框架是否会改变角色提示所引发的质量权衡。

为了研究这些问题，我们评估了四种提示和检索条件，涵盖1,140个开放性问题、38个专家角色和六个领域。我们比较了无角色提示的基线、通用领域专家提示、仅嵌入角色检索，以及一种结合嵌入搜索与大语言模型角色选择的混合检索方法。我们的主要发现是，聚合平均值严重低估了角色提示的实际作用。虽然总体得分差异很小，但基于指标的分析揭示了一种跨条件的持续权衡：专业深度与清晰度。

这些效果高度条件化。角色提示在顾问式互动以及医学和心理学等领域表现最佳[19 (https://arxiv.org/html/2605.29420#bib.bib29),6 (https://arxiv.org/html/2605.29420#bib.bib31)]，这些领域中用户受益于谨慎的专家框架和结构化指导。相比之下，基线提示在金融、法律、科学和技术领域的概念性和解释性问题中表现更好，这些领域中简洁明了的语言解释通常比专业框架更有价值。我们进一步表明，混合检索优于仅基于嵌入的角色选择，尽管更好的检索并不能消除更广泛的权衡。

本文做出三项贡献。首先，它提供了一个大规模控制比较，涉及38个专家角色、六个领域和1,140个开放性问题的角色提示与检索策略。其次，它证明多指标评估是必要的，因为聚合平均值掩盖了专业深度与清晰度之间的系统权衡。第三，它表明改进的角色选择减少了仅基于嵌入检索的一些弱点，同时也说明角色提示的好处仍然是条件性的而非普遍性的。

## II相关工作

### II-A角色与专家角色提示

提示已成为推理时引导大语言模型的主导接口[4 (https://arxiv.org/html/2605.29420#bib.bib2),11 (https://arxiv.org/html/2605.29420#bib.bib3),16 (https://arxiv.org/html/2605.29420#bib.bib4)]。先前工作表明，提示策略可以显著改变模型行为和回答风格[9 (https://arxiv.org/html/2605.29420#bib.bib11),1 (https://arxiv.org/html/2605.29420#bib.bib12),2 (https://arxiv.org/html/2605.29420#bib.bib13),15 (https://arxiv.org/html/2605.29420#bib.bib14)]。在这一更广泛的领域中，角色提示提供了一种直观的机制，无需模型微调即可诱导领域特定行为[14 (https://arxiv.org/html/2605.29420#bib.bib33)]。

关于角色提示的先前发现仍不一致。RoleLLM及相关工作表明角色提示可以改善推理、领域适应和角色一致行为[17 (https://arxiv.org/html/2605.29420#bib.bib6),8 (https://arxiv.org/html/2605.29420#bib.bib7),18 (https://arxiv.org/html/2605.29420#bib.bib8)]。相比之下，Zheng等人发现嵌入系统提示中的角色并未可靠地提高事实性问答性能[23 (https://arxiv.org/html/2605.29420#bib.bib9)]。最近关于社会人口统计学角色提示的工作也报告称，结果对提示措辞和评估设计高度敏感[13 (https://arxiv.org/html/2605.29420#bib.bib10)]。

我们的工作在三个方面不同于先前的角色提示研究。首先，我们特别关注专家角色提示，而非虚构或人口统计学角色。其次，我们比较了多种角色选择策略，包括基于检索的方法。第三，我们通过多个质量维度评估开放性问题回答，而非主要依赖聚合准确性或偏好分数。

### II-B检索增强提示选择

大多数检索增强生成研究关注检索事实性文档或外部证据，以补充参数化模型知识[9 (https://arxiv.org/html/2605.29420#bib.bib11),1 (https://arxiv.org/html/2605.29420#bib.bib12),2 (https://arxiv.org/html/2605.29420#bib.bib13),15 (https://arxiv.org/html/2605.29420#bib.bib14)]。我们的设置不同，因为我们检索的是专家角色提示而非事实性知识。这将检索重新定义为提示选择问题而非文档检索问题。

我们的混合检索设计结合了嵌入检索与大语言模型角色选择。目标并非与传统RAG系统竞争，而是研究改进的专家角色选择是否会改变角色提示所引发的行为权衡。

### II-C多指标评估与LLM作为评判者

大语言模型系统的评估日益被视为一个多维问题，而非单一数字排名问题[10 (https://arxiv.org/html/2605.29420#bib.bib15),21 (https://arxiv.org/html/2605.29420#bib.bib16)]。HELM和FLASK认为聚合评估可能掩盖回答质量和能力之间的重要差异[10 (https://arxiv.org/html/2605.29420#bib.bib15),21 (https://arxiv.org/html/2605.29420#bib.bib16),20 (https://arxiv.org/html/2605.29420#bib.bib30)]。这一观点有力支持了我们使用多个评估维度，而非仅依赖聚合偏好分数。

开放式生成任务的增长也加速了对LLM作为评判者方法的兴趣[22 (https://arxiv.org/html/2605.29420#bib.bib17),12 (https://arxiv.org/html/2605.29420#bib.bib18)]。与此同时，最近工作强调了自动评估中的系统性偏差，包括可能人为奖励较长回答的冗长效应[5 (https://arxiv.org/html/2605.29420#bib.bib20)]。

我们的评估框架直接建立在此文献基础上。我们并未将性能压缩为单一偏好分数，而是分别评估准确性、专业深度、相关性、安全性、清晰度和时效正确性。我们的核心方法论主张是，指标分解使得角色提示的行为效果更加可见。

## III方法

### III-A实验概述

本研究的目标是在受控条件下隔离专家角色提示如何改变开放性回答质量。我们比较了四种提示策略，它们在专家框架引入方式上有所不同：无角色提示、通用领域专家提示、仅基于嵌入的角色检索，以及混合检索与基于大语言模型的角色选择。

每个问题在全部四种条件下使用相同的生成模型回答。然后通过盲审LLM评估六个质量维度：准确性、专业深度、相关性、安全性、清晰度和时效正确性。

图1 (https://arxiv.org/html/2605.29420#S3.F1) 展示了整体提示与评估流程。

问题↓\\downarrow角色检索（ChromaDB）↓\\downarrowTop-k候选角色↓\\downarrowGemini角色选择器↓\\downarrow选定角色提示↓\\downarrowGPT-4o mini生成↓\\downarrowClaude评判者↓\\downarrow多指标评估

图1：混合角色检索与评估流程概览。基线和通用专家条件跳过检索，直接提示生成模型。

### III-B角色提示语料库

我们构建了一个包含38个专家角色提示的精选语料库，涵盖六个领域：医学、心理学、金融、法律、科学和技术。每个角色都表示为一个可重用的专家风格系统提示，旨在诱导领域特定的框架和沟通模式。

示例角色包括心脏病专家、成瘾咨询师、临床心理学家、经济学家、公司律师、物理学家、软件架构师和网络安全分析师。这些提示有意设计为鼓励专业框架、专业术语和适合领域的沟通风格，同时避免明确的思维链指令或任务特定示范。

### III-C提示条件

基线。基线条件不使用明确的角色提示。问题直接使用中性系统指令呈现给回答模型。

通用专家提示。此条件在提示前加上通用的领域级专家指令，例如“你是一位资深经济学家”或“你是一位经验丰富的心脏病专家”，不进行检索或在广泛领域类别之外进行专门化。

仅嵌入检索。在仅嵌入条件下，使用OpenAI文本嵌入对问题进行嵌入，并通过ChromaDB中的最近邻检索与角色提示语料库匹配。检索到的排名最高的角色提示在回答生成前注入系统提示。

混合检索。混合条件通过基于大语言模型的选择器增强嵌入检索。首先，通过嵌入相似性检索前k个候选角色。然后，Gemini Flash根据与用户问题的语义对齐从候选列表中选择最合适的角色。选定的角色提示随后注入生成过程。

### III-D数据集构建

基准测试包含1,140个开放性问题，涵盖六个领域的38个专家角色。问题有意设计为涵盖顾问型和概念型两种交互类型。

顾问型问题关注指导、不确定性管理、决策和风险沟通。示例包括医学症状解读、心理应对策略、财务规划担忧和法律风险评估。概念型问题关注解释、机制理解和教育澄清。

代表性示例如表I (https://arxiv.org/html/2605.29420#S3.T1)所示。

表I：跨领域和交互类型的代表性基准问题。基准测试有意按角色结构设计，以在近似现实助理交互的场景中，为各领域和交互类型提供受控覆盖。

### III-E模型与评估

所有回答均使用GPT-4o mini生成，以在不同条件下保持回答模型一致。混合角色选择使用Gemini Flash，将检索时的角色消歧与回答生成分离。

通过盲审LLM评判使用Claude Haiku 4.5在六个维度上评估回答：准确性、专业深度、相关性、安全性、清晰度和时效正确性。每个指标均在五分量表上独立评分。评判提示的结构旨在鼓励元评估