Evaluation-as-Search：会议助手中基础失败的适应性发现

# 会议助手基础性故障的自适应发现  
来源：https://arxiv.org/html/2608.20392  

###### 摘要  
基于LLM的会议助手已大规模部署，但对其基础性保真度的系统性评估仍局限于静态基准测试，这些测试遗漏了与特定话语结构或推理需求相关的故障模式。我们提出**评估即搜索（EaS）**，这是一种反馈驱动的方法论，将质量评估框架化为在会议参与者可能提出的自然问题空间中进行的自适应搜索。EaS不采用均匀抽样，而是通过迭代学习评估者反馈，将探测重点集中在最可能出现故障的认知需求上，并以UCB评分的覆盖图谱和盲多维质量评估为指导。利用EaS，我们构建了**会议探测（MeetingProbe）**基准，包含超过3,000个标注的问答对，涵盖来自三种会议类型和三个LLM助手的20个转录文本。在消融实验中，自适应搜索发现的故障数量是随机探测的2.5倍（发现率7.1% vs. 2.9%），其中战略规划器贡献了最大的单一效应。跨三个模型，我们观察到明确的能力梯度，并识别出八类重复出现的故障，这些故障以话语-语用挑战为主，而非事实召回错误。我们进一步在多个模型家族和提供商中验证了MeetingProbe，发现了清晰的能力梯度，并整理出一组无模型能处理的通用故障子集。MeetingProbe已公开发布，以支持会议助手基础性保真度的可重复评估。  

## 1 引言  
基于LLM的会议助手（包括Microsoft Copilot、Google Gemini for Workspace和Zoom AI Companion）现在每天为数百万场企业会议服务，回答有关行动项、决策和讨论主题的自然语言问题，组织日益将其视为权威记录。在此背景下，事实准确性是一项操作要求：一个错误归因承诺或捏造共识的回答，可能在组织决策和下游工作流中传播错误。然而，当前的评估范式依赖于静态基准：固定的问题集描述了*平均情况*性能，但忽视了与特定推理需求或话语结构相关的系统性故障模式。会议助手可能在一百个标准问题上得分很高，但在被问及多发言者分歧或散布在长转录文本中的行动项时仍然失败；没有静态基准能揭示这一点，因为其问题池并非设计用于在这些区域集中抽样。  

先前研究的两条脉络解决了该问题的互补方面，但留下了一个关键缺口。自适应评估方法，包括LLM引导的迭代精炼（Chao等人，2023）、质量-多样性搜索（Samvelyan等人，2024）和行为测试（Ribeiro等人，2020；Ribeiro和Lundberg，2022），证明了自适应抽样能系统性地暴露静态评估遗漏的模型行为，但目标是安全对齐或广泛的NLP能力，而非有基础的话语中的多维质量保真度。会议QA和忠实度基准，包括QMSum（Zhong等人，2021）、MeetingBank（Hu等人，2023）、ELITR-Bench（Thonet等人，2025）和RAGAS（Es等人，2024），直接测量会议内容上的基础保真度，但基于固定问题集评估，且不根据观察到的故障调整探测策略。没有现有方法*自适应搜索*特定会议助手在多个质量维度上同时产生不忠实或低质量响应的条件，也没有现有基准提供在会议QA中已识别的基础性故障的精选、多模型集合。  

我们解决了这两个缺口。首先，我们将质量评估框架化为反馈驱动的自适应自然问题搜索，我们称之为*评估即搜索（EaS）*：与其均匀抽样，EaS通过迭代学习评估者反馈并策略性地分配评估预算，将精力集中在质量故障最可能出现的区域。其次，我们使用EaS构建了MeetingProbe基准，包含3,009个标注的问答对，包括1,047个已识别的基础性故障和1,962个困难负样本（助手针对高要求认知操作仍正确回答的探针），这些内容来自三个类型（产品设计、学术研究、议会程序）的20个转录文本和三个能力各异的LLM助手。  

两项贡献都依赖于可靠的评估者：反馈循环的有效性取决于它所依赖的信号，MeetingProbe标签的可信度取决于其背后的评分标准。然而，评估会议QA回答比看起来更难：现成的LLM-as-a-Judge框架（Zheng等人，2023；Es等人，2024）在传统RAG流程中表现良好，但遗漏了特定会议故障模式，如发言者错误归因、跨议程项的时间混淆以及选择性省略异议观点，并且没有现有的评审基准是为会议QA专门设计的。因此，我们构建了**MARC（会议回答评级与校准）**，这是一个采用为会议QA设计的评分标准的LLM评估器，以及**QMSumCal50**，这是一个包含50个分层QMSum查询的校准数据集，增强了针对六种会议特定故障类型的标准答案、受控扰动和人工验证的质量分数；两者均已公开发布。  

我们的贡献有四个方面。  
（1）*评估即搜索*方法论，结合了UCB引导的认知需求覆盖、三种类型的搜索算子（探索、精炼、变异）和盲多维评估，在跨转录文本的配对t检验下，达到了随机探测2.5倍的发现率。  
（2）基于20个QMSum转录文本（Zhong等人，2021）、三种会议类型和三个LLM助手的3,009个标注条目的MeetingProbe基准，包含忠实度和完整性的MARC评分以及故障类别标签，公开发布以供可重复评估。  
（3）一个包含八类基础性错误的故障分类法，其中过度自信的转述、不合理的量化和发言者错误归因占故障的60%以上，且具有明显的按模型特征。  
（4）跨模型和跨家族分析揭示了清晰的能力梯度（GPT-5.2-chat、GPT-4.1、GPT-4.1-mini的发现率分别为5.2%、10.1%、15.3%；p<0.0001），模型间存在强烈不对称的迁移，并整理出跨多个模型家族和提供商共享的通用故障子集。  

## 2 相关工作  
#### 会议摘要和QA基准。  
QMSum（Zhong等人，2021）提供基于查询的会议摘要，涵盖AMI、ICSI和议会转录文本；我们使用QMSum的转录文本集合作为MeetingProbe的来源。MeetingBank（Hu等人，2023）聚合带有摘要的市议会会议转录文本，ELITR-Bench（Thonet等人，2025）提供基于真实会议转录文本、具有人工评分质量分数的长上下文会议助手QA基准；我们通过自适应生成的探针和校准的多维MARC评估器扩展了该评估范式。MeetingQA（Prasad等人，2023）和MeeQA（Apel等人，2023）使用固定问题集评估会议理解。DialSim（Kim等人，2024a）模拟实时多方对话以评估长上下文理解，证明了话语结构以静态基准遗漏的方式影响理解。MESA（Kirstein等人，2025）使用多LLM面板从多个维度评估会议摘要质量，证明了多评估者一致性提高了评估可靠性，这一发现为我们的多维MARC设计提供了信息。所有这些基准都使用静态问题池；MeetingProbe通过提供自适应发现的故障案例和多维质量注释来补充它们。  

#### LLM评估和忠实度评估。  
HELM（Liang等人，2023）建立了整体多指标评估作为模型比较的原则性框架。FActScore（Min等人，2023）建立了分解-然后-验证的事实精度范式；RAGAS（Es等人，2024）提供了一套RAG评估指标，包括忠实度。链式验证（Dhuliawala等人，2023）表明结构化自我验证减少了幻觉，这激励了我们流程中的多阶段验证。SummEdits（Laban等人，2023）通过摘要中细粒度的一致性判断衡量事实推理，BAMBOO（Dong等人，2024）在多个文本建模任务中对长上下文忠实度进行基准测试；两者都在固定输入上评估，而我们的方法自适应地生成评估问题。G-Eval（Liu等人，2023）和UniEval（Zhong等人，2022）证明了LLM可以可靠地衡量多维质量。ARES（Saad-Falcon等人，2024）在RAG评估中使用预测驱动推理计算置信区间。Zheng等人（2023）描述了LLM-as-a-Judge设置中的位置偏差和自我增强偏差，Panickssery等人（2024）建立了LLM评估器中自我识别与自我偏好之间的因果联系，强调了我们架构所强制实施的信息壁垒的重要性。这些工作提供了我们部署在搜索循环中的测量工具，但没有一个能自适应地生成评估问题。  

#### 动态评估和自适应测试。  
静态基准最终会饱和，因为直接的训练基准污染扭曲了流行评估套件中的模型比较（Sainz等人，2024）。DynaBench（Kiela等人，2021）引入了模型在环的数据集创建，对抗性NLI（Nie等人，2020）应用了人与模型在环的程序。Li等人（2025a）使用项目反应理论，在保持准确性的同时将所需评估项目减少了约90%，Li等人（2025b）学习了用于最小评估子集选择的强化学习策略。我们的工作扩展了这一范式，自适应地*生成*针对特定认知需求的新评估问题，而不是从固定池中选择。  

#### 生成式AI系统的反馈优化。  
越来越多的工作将自然语言反馈作为生成系统的优化信号。TextGrad（Yuksekgonul等人，2025）将语言模型的批评通过多智能体流程反向传播为文本“梯度”以改进下游任务；反馈下降（Lee等人，2025）通过从成对比较中迭代精炼候选进行开放式文本优化；AlphaEvolve（Novikov等人，2025）将代码生成智能体与评估器反馈相结合以发现改进的算法。这些系统共享一个共同模式：生成器提出候选，评估器返回结构化反馈，生成器的下一个提议以累积结果为条件。我们的规划器实例化了这一模式用于评估问题生成：它从覆盖图谱（每个需求的测试计数、发现、接近命中和反思）中学习，并在迭代中将分配转向富有成效的认知需求，无需任何模型权重更新。EaS在目标和输出上有所不同：反馈循环不是优化生成的工件，而是驱动*发现*能揭示基础性故障的自然问题，产生精选基准作为其输出。  

#### 基于自动搜索的评估。  
自动探测表现出根本性的多样性-有效性权衡（Perez等人，2022）。安全导向的方法，包括PAIR（Chao等人，2023）、TAP（Mehrotra等人，2024）和彩虹团队（Samvelyan等人，2024），通过迭代精炼、树搜索和质量-多样性算法解决了这一权衡，但优化单一标量安全目标。CheckList（Ribeiro等人，2020）和AdaTest（Ribeiro和Lundberg，2022）通过基于模板或基于扰动的项目探测能力维度。我们的方法在三个方面有所不同：我们优化多维质量向量而非标量安全指标，我们的问题是自然的而非对抗性的，我们的输出是精选基准而非越狱集。我们的覆盖机制借鉴了MAP-Elites原理（Mouret和Clune，2015），即维护按行为描述符索引的解决方案，但用基于UCB探索分数（Auer等人，2002）的开放式认知需求记分板替换了固定网格。在信息不对称方面，Irving等人（2018）表明，在智能体之间强制实施信息壁垒使较弱的评判者能够正确评估其单独无法验证的主张；我们的架构通过盲验证实例化了这一点。  

## 3 评估即搜索框架  
MeetingProbe基准是使用一个多智能体框架构建的，该框架将LLM会议助手的质量评估重新定义为反馈驱动的自适应搜索问题。与其手动整理问题或从固定池中抽样，EaS系统通过迭代学习评估者反馈来导航自然问题的空间，将精力集中在最可能出现基础性故障的认知需求和转录文本区域。我们描述了搜索公式、智能体架构、搜索算子、覆盖机制（所...